Nvidia lanserar routerprogramvara och öppen AI-modell för att minska kostnader

Nvidia har lanserat NeMo Switchyard, ett open source-bibliotek för att dirigera AI-uppgifter, tillsammans med den öppna AI-modellen Nemotron 3.5 Lightning. Syftet är att drastiskt minska driftskostnaderna för AI-agenter genom att optimera modellvalet för varje steg i en arbetsuppgift.

Enligt Nvidias egna tester kan kombinationen av Switchyard och Lightning minska kostnaderna till ungefär en tredjedel jämfört med att enbart använda avancerade modeller. Nemotron 3.5 Lightning, en modell med 30 miljarder parametrar, är optimerad för specialiserade uppgifter med hög volym och erbjuder upp till fyrfaldigt snabbare resultat än jämförbara modeller. Lanseringen sker under en period av intensiv utveckling inom öppna AI-modeller.

NeMo Switchyard konkurrerar med andra öppna ramverk för modellrouting, som Not Diamond och RouteLLM. Nvidias strategi är att erbjuda en integrerad lösning som inkluderar både en effektiv router och optimerade modeller under en gemensam öppen licens. Detta differentierar sig från lösningar som enbart fokuserar på antingen routing eller modeller.

"Kraften ligger i ett system av modeller, där rätt modell matchas mot varje steg i arbetsflödet", säger Kari Briski, vice VD för generativ AI på Nvidia. Switchyard erbjuder flexibla routingstrategier som kan anpassa sig efter uppgiftens utveckling, inklusive att fatta kostnadsbeslut baserat på förväntad textmängd från en modell.

Flera testföretag har rapporterat betydande kostnadsbesparingar och prestandaförbättringar. LangChain rapporterade en 74-procentig kostnadsminskning och Ramp en 58-procentig minskning. Nvidia har integrerat Switchyard med populära plattformar som LangChain och Kong AI Gateway för att underlätta implementeringen.