Nvidia: Einfache lineare Mathematik kann teure KI-Modellwechsel ersetzen

Forscher von Nvidia haben eine neue Technik entwickelt, um die Kosten und Latenzzeiten beim Wechsel zwischen verschiedenen KI-Modellen erheblich zu reduzieren. Dieser Ansatz nutzt einfache lineare Mathematik und macht eine Neuberechnung der gesamten Konversationshistorie beim Modellwechsel überflüssig.

Dieses Problem tritt insbesondere in komplexen KI-Systemen auf, bei denen kleinere Modelle Routineaufgaben und größere Modelle komplexere Schlussfolgerungen übernehmen. Wenn das System während eines Prozesses das Modell wechselt, muss das empfangende Modell von vorne beginnen, was den Rechenaufwand erhöht und den Betrieb verlangsamt. Dies stellt eine erhebliche Engstelle für Unternehmensanwendungen dar, die auf erweiterte Arbeitsabläufe angewiesen sind.

Nvidias Lösung verwendet die Technik des „Cross-Model KV Cache Transfer“. Sie ermöglicht die direkte Übertragung des voremperechneten Speichers (KV-Cache) von einem Quellmodell auf ein Zielmodell. Experimentelle Ergebnisse zeigen, dass diese Methode für kompatible Modellpaare 2,7- bis 25-mal schneller ist als eine Neuberechnung, während sie bis zu 98 % der eigenständigen Genauigkeit des Zielmodells beibehält.

Die Studie ergab, dass die Speicherübertragung zwischen Modellen von Natur aus linear ist. Dies ermöglicht die Umwandlung mit einfachen algebraischen Methoden, ohne dass ein intensives Training von neuronalen Netzen erforderlich ist. Die Forscher entwickelten eine Methode, die lineare Regressionsmodelle nutzt und Unterschiede zwischen verschiedenen Modellschichten berücksichtigt.

Diese Technik bietet Kosteneinsparungen und verbesserte Leistung für Unternehmen, die lange und mehrstufige KI-Arbeitsabläufe nutzen. Nvidias Forschung eröffnet neue Möglichkeiten zur Optimierung und Steigerung der Effizienz von KI-Anwendungen.