Nvidia: Lineaarinen matematiikka voi korvata kalliit tekoälymallien vaihdot

Nvidian tutkijat ovat kehittäneet uuden menetelmän, jolla voidaan merkittävästi vähentää tekoälymallien välisistä vaihdoista aiheutuvia kustannuksia ja viiveitä. Tekniikka perustuu yksinkertaiseen lineaariseen matematiikkaan ja korvaa tarpeen laskea koko keskusteluhistoria uudelleen mallia vaihdettaessa.

Tämä ongelma ilmenee erityisesti monimutkaisissa tekoälyjärjestelmissä, joissa pienemmät mallit hoitavat rutiinitehtäviä ja suuremmat mallit monimutkaisempaa päättelyä. Kun järjestelmä vaihtaa mallia kesken suorituksen, vastaanottavan mallin on aloitettava alusta, mikä kasvattaa laskentatehoa ja hidastaa toimintaa. Tämä on merkittävä pullonkaula pitkiä työnkulkuja hyödyntävissä yrityssovelluksissa.

Nvidian ratkaisu hyödyntää "cross-model KV cache transfer" -tekniikkaa. Se mahdollistaa valmiiksi lasketun muistin (KV cache) siirtämisen suoraan lähdemallista kohdemalliin. Kokeelliset tulokset osoittavat, että yhteensopivien malliparien kohdalla tämä menetelmä on 2,7–25 kertaa nopeampi kuin uudelleenlaskenta, säilyttäen samalla jopa 98 prosenttia kohdemallin itsenäisestä tarkkuudesta.

Tutkimuksessa havaittiin, että mallien välinen muistin siirto on luonteeltaan lineaarista. Tämä mahdollistaa muunnoksen toteuttamisen yksinkertaisilla algebrallisilla menetelmillä ilman tarvetta raskaalle neuroverkkokoulutukselle. Tutkijat kehittivät menetelmän, joka hyödyntää lineaarisia regressiomalleja ja huomioi eri mallikerrosten erot.

Menetelmä tarjoaa kustannussäästöjä ja parempaa suorituskykyä pitkiä ja monivaiheisia tekoälytyönkulkuja käyttäville yrityksille. Nvidian tutkimus avaa uusia mahdollisuuksia tekoälysovellusten optimointiin ja tehokkaampaan hyödyntämiseen.