Composio testade AI-verktyg med DeepSeek V4 Flash

AI-integrationsplattformen Composio genomförde den 6 augusti ett test av fyra olika AI-programmeringsagentramverk. Syftet var att utvärdera vilket ramverk som bäst kunde utnyttja prestandan hos den officiella versionen av DeepSeek V4 Flash-modellen. Testet omfattade 30 uppgifter och använde verkliga verktyg som Gmail, GitHub, Slack och Notion.

Resultaten visade att ramverket "Oh My Pi" uppnådde högst framgångsgrad med 17 av 30 slutförda uppgifter. Detta ramverk var dock också det långsammaste, med en genomsnittlig tid per uppgift på 272 sekunder. "OpenCode" visade sig vara det mest kostnadseffektiva alternativet, med en kostnad på endast 0,073 USD per lyckad uppgift.

Ramverket "Claude Code" var det snabbaste, med en genomsnittlig tid på 122 sekunder per uppgift. Det var dock också det dyraste, med en kostnad på 0,195 USD per uppgift. Trots att "Claude Code" använde färre verktygsanrop och genererade färre output-tokens, presterade det starkt jämfört med de andra testade ramverken.

Composio, grundat 2023 och baserat i San Francisco, är en integrationsplattform för öppen källkod för AI-agenter. Företaget fokuserar på att koppla samman stora språkmodeller med olika externa applikationer för att hjälpa utvecklare att snabbt bygga produktionsklara AI-agenter.