Snorkel AI tukee ensimmäisiä avoimia arviointihankkeita
Snorkel AI on julkistanut ensimmäiset hankkeet, joita se tukee Open Benchmarks Grants -ohjelman kautta. Ohjelma pyrkii parantamaan tekoälyn suorituskyvyn mittaamista.
San Francisco – Snorkel AI on ilmoittanut ensimmäisestä kolmen miljoonan dollarin arvoisen Open Benchmarks Grants -ohjelmansa tukemasta hankkeiden joukosta. Ohjelma keskittyy avoimen lähdekoodin tietoaineistojen, vertailukohtien ja arviointitutkimuksen edistämiseen.
Helmikuussa 2026 käynnistetyn ohjelman tavoitteena on vastata tekoälyjärjestelmien nopean kehityksen haasteeseen, jossa alan kyky mitata suorituskykyä realistisesti on jäänyt jälkeen. Valituille tiimeille tarjotaan rahoitusta, asiantuntija-apua tietojen kehittämiseen sekä tutkimus- ja insinööriyhteistyötä.
Mukana ensimmäisessä tukijoukossa ovat muun muassa Frontier-Bench, joka on laajempi ja monipuolisempi versio aiemmasta arviointityökalusta, sekä Agents' Last Exam, joka arvioi agenttien suorituskykyä pitkäkestoisissa ammatillisissa työnkuluissa yli 55 eri alalla.
Muita tuettuja projekteja ovat OSWorld 2.0, joka mittaa tietokoneen käyttöagenttien suorituskykyä erilaisissa ympäristöissä, sekä Continual Learning Bench ja SlopCode Bench, jotka keskittyvät agenttien jatkuvaan oppimiseen ja koodin laadun arviointiin.
Snorkel AI on myös ilman apurahaohjelmaa kehittänyt Senior SWE-Bench -työkalua, joka arvioi koodausagenttien suorituskykyä korkean tason suunnittelutehtävissä. Open Benchmarks Grants -ohjelmaa tukevat Hugging Face, Prime Intellect, Together AI, Factory, Harbor ja PyTorch, ja hakemuksia otetaan vastaan jatkuvasti.