Snorkel AI stöder första omgången av öppna jämförelseprojekt
Snorkel AI har lyft fram den första gruppen projekt som stöds via Open Benchmarks Grants, en satsning på 3 miljoner dollar för att stödja öppna datamängder, jämförelsepunkter och utvärderingsforskning.
San Francisco – Snorkel AI har presenterat den första gruppen projekt som mottar stöd genom Open Benchmarks Grants, ett initiativ på 3 miljoner dollar för att främja utvecklingen av öppna datamängder, jämförelsepunkter och utvärderingsforskning inom artificiell intelligens. Initiativet lanserades i februari 2026.
Programmet syftar till att adressera den snabba utvecklingen inom AI, där förmågan att rigoröst mäta systemens prestanda på realistiska uppgifter har kommit på efterkälken. Stödet inkluderar finansiering, expertstöd för datautveckling samt forsknings- och ingenjörssamarbete.
Bland de utvalda projekten finns Frontier-Bench, en mer krävande och domänmässigt mångsidig efterföljare till tidigare verktyg, och Agents' Last Exam, som utvärderar agenters förmåga i långsiktiga professionella arbetsflöden inom över 55 olika branscher.
Andra stödda projekt inkluderar OSWorld 2.0 för utvärdering av datoranvändningsagenter i olika miljöer, Continual Learning Bench för att mäta agenters kontinuerliga lärande, och SlopCode Bench för att bedöma kvaliteten på kod som genereras av AI.
Utöver programmet har Snorkel AI även utvecklat Senior SWE-Bench, ett verktyg för att utvärdera kodningsagenters förmåga att utföra seniora utvecklingsuppgifter. Open Benchmarks Grants stöder även genom olika partners som Hugging Face och PyTorch, och ansökningar behandlas löpande.