Nvidia esittelee reititinohjelmiston ja avoimen tekoälymallin kustannusten alentamiseksi

Nvidia on julkaissut NeMo Switchyard -kirjaston ja Nemotron 3.5 Lightning -avoimen tekoälymallin, joiden tavoitteena on vähentää merkittävästi tekoälyagenttien käyttökustannuksia. Switchyard-kirjasto reitittää kunkin tehtävän vaiheen sopivimmalle mallille, kun taas Lightning-malli on optimoitu suuren volyymin erikoistehtäviin.

Yhtiön omien testien mukaan yhdistelmä pystyy alentamaan kustannuksia jopa kolmannekseen verrattuna pelkästään kehittyneiden mallien käyttöön. Nemotron 3.5 Lightning tarjoaa myös jopa nelinkertaisen suorituskyvyn verrattuna vastaaviin malleihin erikoistuneissa tehtävissä. Tämä julkaisu sijoittuu ajallisesti keskelle nopeaa avoimen lähdekoodin tekoälymallien kehitystä, jossa useat yritykset ovat tuoneet markkinoille kilpailukykyisiä malleja.

NeMo Switchyardin kilpailijoita ovat avoimen lähdekoodin reititinratkaisut, kuten Not Diamond ja RouteLLM. Nvidia erottuu tarjoamalla sekä reititinohjelmiston että optimoidun tekoälymallin saman avoimen lisenssin alla. Yhtiö korostaa, että mallien ja reitityksen yhdistäminen avoimella lähdekoodilla on avainasemassa tekoälyagenttien kustannusten hallinnassa.

"Mallijärjestelmän voima on siinä, että jokaiselle työnkulun vaiheelle valitaan sopivin malli", sanoi Nvidian generatiivisen tekoälyn varatoimitusjohtaja Kari Briski. Switchyard tukee erilaisia reititysstrategioita, jotka mukautuvat tehtävän edetessä muuttuviin tilanteisiin, kuten mallin tuottaman tekstin määrän perusteella tehtäviin kustannuspäätöksiin.

Useat yritykset, kuten LangChain ja Ramp, ovat raportoineet merkittävistä kustannussäästöistä ja suorituskyvyn paranemisesta Switchyardia testatessaan. LangChain raportoi 74 % kustannussäästöistä ja Ramp 58 % kustannusten vähenemisestä. Nvidia on integroinut Switchyardin suosittuihin kehitysympäristöihin, kuten LangChainiin ja Kong AI Gatewayhin.