Google uppdaterar Android Bench med nya språkmodeller

Google har uppdaterat Android Bench, en plattform som utvärderar stora språkmodellers (LLM) förmåga att assistera med Android-apputveckling. Den reviderade plattformen lägger till åtta nya modeller, inklusive de senaste versionerna av populära system.

Android Bench lanserades tidigare i år för att mäta LLM-agenternas effektivitet i 100 specifika Android-utvecklingsuppgifter. Tjänsten syftar till att hjälpa utvecklare att skilja användbara kodförslag från mindre pålitliga. Uppdateringen har också infört mätvärden för kostnad och effektivitet, samt modeller med öppen vikt.

Bland de nya modellerna finns Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus och Qwen 3.7 Max. Google bjuder in utvecklarcommunityt att köra egna tester och ge feedback för att forma plattformens framtida utveckling.

Användningen av språkmodeller för kodgenerering ökar, men deras prestanda varierar avsevärt beroende på uppgift. Android Bench strävar efter att skapa transparens inom detta område genom att erbjuda en standardiserad jämförelseplattform.