Snorkel AI fördert erste offene Benchmark-Projekte
Snorkel AI hat die erste Gruppe von Projekten hervorgehoben, die durch das Open Benchmarks Grants-Programm gefördert werden. Die Initiative zielt darauf ab, Open-Source-Datensätze, Benchmarks und Evaluationsforschung für KI-Systeme voranzutreiben.
San Francisco – Snorkel AI hat die ersten Projekte bekannt gegeben, die im Rahmen des Open Benchmarks Grants-Programms gefördert werden. Diese Initiative, die im Februar 2026 gestartet wurde, umfasst ein Budget von 3 Millionen US-Dollar zur Unterstützung von Open-Source-Datensätzen, Benchmarks und Evaluationsforschung im Bereich der künstlichen Intelligenz.
Das Programm reagiert auf die Herausforderung, dass sich KI-Systeme schneller entwickeln, als die Fähigkeit des Feldes, ihre Leistung auf realistische Aufgaben hin rigoros zu messen. Geförderte Teams erhalten Finanzmittel, fachkundige Unterstützung bei der Datenentwicklung sowie Forschungs- und Ingenieurskooperationen.
Zu den ausgewählten Projekten der ersten Welle gehören Frontier-Bench, das als anspruchsvollere und domänübergreifend vielfältigere Weiterentwicklung früherer Evaluierungswerkzeuge konzipiert ist, sowie Agents' Last Exam, das die Leistung von KI-Agenten in langfristigen professionellen Arbeitsabläufen in über 55 Branchen bewertet.
Weitere unterstützte Projekte umfassen OSWorld 2.0 zur Bewertung von Computer-Nutzungsagenten in verschiedenen Umgebungen, Continual Learning Bench zur Messung der kontinuierlichen Lernfähigkeit von Agenten und SlopCode Bench zur Bewertung der Qualität von generiertem Code.
Zusätzlich zu den Förderungen hat Snorkel AI auch die Entwicklung von Senior SWE-Bench geleitet, einem Benchmark zur Bewertung von Codierungsagenten bei anspruchsvollen Ingenieuraufgaben. Das Open Benchmarks Grants-Programm wird zudem durch Partnerschaften mit Organisationen wie Hugging Face und PyTorch unterstützt, und Bewerbungen werden fortlaufend geprüft.