Google aktualisiert Android Bench mit neuen Sprachmodellen
Google hat Android Bench, seine Bewertungsplattform für große Sprachmodelle (LLMs) in der Android-App-Entwicklung, aktualisiert. Das Update führt neue Modelle und verbesserte Metriken zur Bewertung der LLM-Leistung ein.
Google hat Android Bench, seinen Benchmark zur Bewertung der Leistung großer Sprachmodelle (LLMs) bei Android-App-Entwicklungsaufgaben, aktualisiert. Die überarbeitete Plattform integriert nun acht neue Modelle, darunter aktuelle Versionen prominenter Systeme.
Android Bench wurde Anfang des Jahres eingeführt, um die Effizienz von LLM-Agenten in einer Reihe von 100 Android-Entwicklungsaufgaben zu bewerten. Die Plattform zielt darauf ab, Entwicklern dabei zu helfen, nützliche Codevorschläge von weniger zuverlässigen Ausgaben zu unterscheiden. Das Update führt außerdem Metriken für Kosten und Effizienz sowie Open-Weight-Modelle ein.
Zu den neu hinzugefügten Modellen gehören Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus und Qwen 3.7 Max. Google lädt Entwickler ein, eigene Tests durchzuführen und Feedback zu geben, um die zukünftige Entwicklung von Android Bench zu gestalten.
Da LLMs zunehmend für die Codegenerierung eingesetzt werden, variiert ihre Leistung erheblich je nach Aufgabe. Android Bench strebt danach, in diesem Bereich Klarheit zu schaffen, indem es einen standardisierten Vergleichsrahmen bietet.