Google päivitti Android Bench -arviointityökalua uusilla kielimalleilla

Google on päivittänyt Android Bench -työkaluaan, joka arvioi suurten kielimallien (LLM) kykyjä Android-sovelluskehityksessä. Uudistettu alusta sisältää kahdeksan uutta mallia, mukaan lukien viimeisimmät kehitysversiot suosituista järjestelmistä.

Android Bench lanseerattiin aiemmin tänä vuonna mittaamaan LLM-agenttien tehokkuutta 100 erityyppisessä Android-kehitystehtävässä. Palvelu pyrkii auttamaan kehittäjiä erottamaan hyödylliset koodiehdotukset vähemmän luotettavista. Päivityksen myötä arviointiin on lisätty myös kustannus- ja tehokkuusmittareita sekä avoimen lähdekoodin malleja.

Uusien mallien joukossa ovat muun muassa Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus ja Qwen 3.7 Max. Google kutsuu kehittäjäyhteisöä osallistumaan testien ajamiseen ja palautteen antamiseen, jotta alustan kehitystä voidaan jatkaa.

Kielimallien käyttö koodin generoinnissa on kasvussa, mutta niiden suorituskyvyssä on merkittäviä eroja eri tehtävissä. Android Bench pyrkii tuomaan läpinäkyvyyttä tähän kenttään tarjoamalla standardoidun vertailualustan.