DataFlow-Harness réduit l'écart des pipelines de traitement de données générées par l'IA

Des chercheurs de l'Université de Pékin, de l'Académie de Zhongguancun et de l'Institut de Shanghai pour la recherche en algorithmes avancés ont présenté DataFlow-Harness, un framework open-source conçu pour guider les agents d'IA dans la construction de flux de traitement de données structurés et visuels.

Si les agents d'IA peuvent facilement générer des scripts Python autonomes pour des tâches simples comme l'analyse d'un seul fichier JSON, ils rencontrent des difficultés lorsqu'on leur demande de construire des pipelines systématiques de traitement de données. Ces pipelines, qui peuvent impliquer l'ingestion de milliers de documents, la segmentation de texte et l'évaluation de la qualité pour des systèmes tels que la Génération Augmentée par Récupération (RAG), aboutissent généralement à des scripts informels difficiles à gérer.

DataFlow-Harness vise à relever ce défi en orientant les agents d'IA pour construire des flux de travail étape par étape plutôt que de générer du code brut à partir de zéro. Cette approche rend les pipelines générés par l'IA plus gérables et plus faciles à intégrer dans les architectures existantes, car les artefacts résultants sont persistants et modifiables.

Selon la recherche, la plateforme atteint un taux de réussite de 93,3 % sur un benchmark de 12 tâches d'ingénierie de données. Comparé à Claude Code standard, elle réduit les coûts d'API jusqu'à 72,5 % et la latence de réponse de 49,9 %. Cela permet aux équipes d'entreprise de tirer parti de l'automatisation par l'IA sans accumuler de dette technique importante, garantissant que les pipelines restent sécurisés, audibles et prêts pour la production.