Composio teste des agents de codage IA avec le modèle DeepSeek V4 Flash

La plateforme d'intégration IA Composio a mené des tests le 6 août, évaluant quatre frameworks d'agents de programmation IA pour déterminer lequel exploitait le mieux les performances de la version officielle du modèle DeepSeek V4 Flash. L'évaluation comprenait 30 tâches sur des outils réels tels que Gmail, GitHub, Slack et Notion.

Le framework "Oh My Pi" a atteint le taux de réussite le plus élevé, accomplissant 17 tâches sur 30. Cependant, il était aussi le plus lent, chaque tâche prenant en moyenne 272 secondes. "OpenCode", en revanche, s'est avéré être le plus rentable, avec un coût de seulement 0,073 USD par tâche réussie.

Le framework "Claude Code" était le plus rapide, accomplissant les tâches en moyenne en 122 secondes. Il était également le plus cher, coûtant 0,195 USD par tâche. Bien qu'utilisant moins d'appels d'outils et générant moins de tokens de sortie, "Claude Code" a démontré des performances solides par rapport aux autres frameworks testés.

Composio, fondée en 2023 et basée à San Francisco, fournit une plateforme d'intégration open-source pour les agents IA. L'entreprise vise à connecter de grands modèles linguistiques à diverses applications externes, permettant aux développeurs de créer rapidement des agents IA prêts pour la production.