Nvidia: Enkel linjär matematik kan ersätta kostsamma AI-modellbyten

Forskare vid Nvidia har utvecklat en ny metod som avsevärt kan minska kostnaderna och fördröjningarna som uppstår vid byte mellan olika AI-modeller. Tekniken bygger på enkel linjär matematik och eliminerar behovet av att räkna om hela konversationshistoriken vid modellbyte.

Detta problem uppstår särskilt i komplexa AI-system där mindre modeller hanterar rutinmässiga uppgifter och större modeller mer avancerad resonemang. När systemet byter modell mitt i en process måste den mottagande modellen börja om från början, vilket ökar beräkningskraften och saktar ner driften. Detta utgör en betydande flaskhals för företagsapplikationer som utnyttjar långa arbetsflöden.

Nvidias lösning utnyttjar tekniken "cross-model KV cache transfer". Den möjliggör direkt överföring av det förberäknade minnet (KV cache) från källmodellen till mållmodellen. Experimentella resultat visar att för kompatibla modellpar är denna metod 2,7 till 25 gånger snabbare än omräkning, samtidigt som den bibehåller upp till 98 procent av mållmodellens fristående noggrannhet.

Studien visade att minnesöverföringen mellan modeller är linjär till sin natur. Detta möjliggör omvandlingen med enkla algebraiska metoder, utan behov av tung neuroverksutbildning. Forskarna utvecklade en metod som utnyttjar linjära regressionsmodeller och tar hänsyn till skillnader mellan olika modellager.

Metoden erbjuder kostnadsbesparingar och förbättrad prestanda för företag som använder långa och flerstegs AI-arbetsflöden. Nvidias forskning öppnar nya möjligheter för optimering och effektivare användning av AI-applikationer.