Composio testete KI-Programmieragenten mit DeepSeek V4 Flash

Die KI-Integrationsplattform Composio führte am 6. August Tests mit vier KI-Programmieragenten-Frameworks durch, um festzustellen, welches die Leistung der offiziellen Version des DeepSeek V4 Flash-Modells am besten nutzen konnte. Die Bewertung umfasste 30 Aufgaben in realen Werkzeugen wie Gmail, GitHub, Slack und Notion.

Das "Oh My Pi"-Framework erreichte die höchste Erfolgsquote und schloss 17 von 30 Aufgaben ab. Es war jedoch auch das langsamste, wobei jede Aufgabe durchschnittlich 272 Sekunden dauerte. "OpenCode" erwies sich im Gegensatz dazu als das kostengünstigste, mit Kosten von nur 0,073 USD pro erfolgreicher Aufgabe.

Das "Claude Code"-Framework war das schnellste und schloss Aufgaben in durchschnittlich 122 Sekunden ab. Es war auch das teuerste mit Kosten von 0,195 USD pro Aufgabe. Obwohl "Claude Code" weniger Werkzeugaufrufe verwendete und weniger Output-Tokens generierte, zeigte es eine starke Leistung im Vergleich zu den anderen getesteten Frameworks.

Composio, gegründet 2023 und mit Sitz in San Francisco, bietet eine Open-Source-Integrationsplattform für KI-Agenten. Das Unternehmen zielt darauf ab, große Sprachmodelle mit verschiedenen externen Anwendungen zu verbinden, um Entwicklern den schnellen Aufbau produktionsreifer KI-Agenten zu ermöglichen.