Snorkel AI met en avant les premiers projets financés par ses bourses Open Benchmarks
Snorkel AI a mis en lumière la première série de projets soutenus par son programme Open Benchmarks Grants. Cette initiative vise à promouvoir les ensembles de données, les benchmarks et la recherche en évaluation open source pour les systèmes d'IA.
San Francisco – Snorkel AI a annoncé les premiers projets bénéficiant du soutien de son programme Open Benchmarks Grants, un engagement de 3 millions de dollars destiné à promouvoir les ensembles de données, les benchmarks et la recherche en évaluation open source dans le domaine de l'intelligence artificielle. Le programme a été lancé en février 2026.
L'initiative répond au défi de l'évolution rapide des systèmes d'IA, qui dépasse la capacité du domaine à mesurer rigoureusement leurs performances sur des tâches réalistes. Les équipes soutenues reçoivent des financements, une assistance experte en développement de données, ainsi qu'une collaboration en recherche et ingénierie.
Parmi les projets sélectionnés pour cette première vague figurent Frontier-Bench, conçu comme un successeur plus exigeant et plus diversifié sur le plan des domaines que les outils d'évaluation précédents, et Agents' Last Exam, qui évalue les agents d'IA sur des flux de travail professionnels de longue durée dans plus de 55 secteurs.
D'autres projets soutenus visent à évaluer les agents d'utilisation d'ordinateurs (OSWorld 2.0), à mesurer l'amélioration réelle dans les tâches séquentielles (Continual Learning Bench) et à évaluer la dégradation de la qualité du code (SlopCode Bench).
Au-delà de ces bourses, Snorkel AI a également dirigé le développement de Senior SWE-Bench, un benchmark pour évaluer les agents de codage sur des tâches d'ingénierie de niveau senior. Le programme Open Benchmarks Grants bénéficie également de partenariats avec des organisations telles que Hugging Face et PyTorch, les candidatures étant examinées en continu.