DataFlow-Harness schließt Lücke bei KI-generierten Datenverarbeitungspipelines

Forscher der Peking-Universität, der Zhongguancun Academy und des Shanghai Institute for Advanced Algorithms Research haben DataFlow-Harness vorgestellt, ein Open-Source-Framework, das KI-Agenten beim Erstellen strukturierter, visueller Datenverarbeitungs-Workflows unterstützt.

Während KI-Agenten oft eigenständige Python-Skripte für einfache Aufgaben wie das Parsen einer einzelnen JSON-Datei generieren können, haben sie Schwierigkeiten, wenn sie gebeten werden, systematische Datenverarbeitungs-Pipelines zu erstellen. Diese Pipelines, die die Aufnahme Tausender von Dokumenten, die Textzerlegung und die Qualitätsbewertung für Systeme wie Retrieval-Augmented Generation (RAG) umfassen können, führen typischerweise zu freien Skripten, die schwer zu verwalten sind.

DataFlow-Harness zielt darauf ab, diese Herausforderung zu bewältigen, indem es KI-Agenten anleitet, Workflows Schritt für Schritt aufzubauen, anstatt Rohcode von Grund auf neu zu generieren. Dieser Ansatz macht die KI-generierten Pipelines besser handhabbar und einfacher in bestehende Architekturen zu integrieren, da die resultierenden Artefakte persistent und editierbar sind.

Laut der Forschung erreicht die Plattform eine Erfolgsquote von 93,3 % bei einem Benchmark mit 12 datentechnischen Aufgaben. Im Vergleich zu Standard-Claude-Code reduziert sie die API-Kosten um bis zu 72,5 % und die Antwortlatenz um 49,9 %. Dies ermöglicht es Unternehmenskunden, KI-Automatisierung zu nutzen, ohne erhebliche technische Schulden anzuhäufen, und stellt sicher, dass die Pipelines sicher, prüfbar und produktionsreif bleiben.