Google met à jour Android Bench avec de nouveaux modèles de langage

Google a mis à jour Android Bench, son outil d'évaluation des performances des grands modèles de langage (LLM) dans le développement d'applications Android. La plateforme révisée intègre désormais huit nouveaux modèles, y compris des versions récentes de systèmes reconnus.

Lancé plus tôt cette année, Android Bench mesure l'efficacité des agents LLM sur un ensemble de 100 tâches de développement Android. La plateforme vise à aider les développeurs à distinguer les suggestions de code utiles des résultats moins fiables. La mise à jour introduit également des métriques de coût et d'efficacité, ainsi que des modèles open-weight.

Parmi les nouveaux modèles figurent Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus et Qwen 3.7 Max. Google invite les développeurs à exécuter leurs propres tests et à soumettre leurs commentaires pour guider le développement futur d'Android Bench.

Alors que les LLM sont de plus en plus utilisés pour la génération de code, leurs performances varient considérablement selon les tâches. Android Bench cherche à apporter de la clarté dans ce domaine en offrant un cadre de comparaison standardisé.