Composio testasi tekoälytyökaluja DeepSeek V4 Flash -mallin kanssa

Tekoälyintegraatioalusta Composio testasi 6. elokuuta neljää tekoälyohjelmointiagenttikehystä hyödyntäen DeepSeek V4 Flash -mallin virallista versiota. Testin tarkoituksena oli selvittää, mikä kehys pystyy parhaiten hyödyntämään mallin suorituskykyä. Testauksessa käytettiin 30 tehtävää ja työkaluja kuten Gmail, GitHub, Slack ja Notion.

Testitulosten mukaan "Oh My Pi" -kehys saavutti korkeimman onnistumisprosentin, 17/30 tehtävästä. Se oli kuitenkin myös hitain, kunkin tehtävän kesto oli keskimäärin 272 sekuntia. "OpenCode" puolestaan oli kustannustehokkain, minkä tehtävän suoritus maksoi vain 0,073 dollaria.

"Claude Code" -kehys oli nopein, suorittaen tehtävät keskimäärin 122 sekunnissa. Se oli kuitenkin myös kallein, tehtäväkohtainen kustannus oli 0,195 dollaria. Vaikka "Claude Code" käytti vähiten työkaluja ja tuotti vähiten merkkejä, sen suorituskyky oli korkein verrattuna muihin testattuihin kehyksiin.

Composio, joka on perustettu vuonna 2023 ja jonka pääkonttori sijaitsee San Franciscossa, tarjoaa avoimen lähdekoodin alustan tekoälyagenttien integrointiin. Sen tavoitteena on yhdistää suuret kielimallit erilaisiin ulkoisiin sovelluksiin, auttaen kehittäjiä luomaan tuotantovalmiita tekoälyagentteja nopeasti.