Nvidia stellt KI-Router und offenes Modell zur Kostensenkung vor
Nvidia hat die NeMo Switchyard-Bibliothek und das offene Modell Nemotron 3.5 Lightning veröffentlicht, die darauf abzielen, die Kosten für KI-Aufgaben auf ein Drittel zu senken.
Nvidia hat NeMo Switchyard, eine Open-Source-Bibliothek zur intelligenten Weiterleitung von KI-Aufgaben an die am besten geeigneten Modelle, zusammen mit Nemotron 3.5 Lightning, einem neuen offenen Modell für spezialisierte Agentenaufgaben mit hohem Volumen, vorgestellt. Das kombinierte Angebot soll die Betriebskosten für Unternehmen, die KI-Agenten einsetzen, erheblich senken.
Nach internen Tests von Nvidia können die Kosten für Benchmark-Aufgaben durch den Einsatz von Switchyard mit Modellen wie Lightning auf etwa ein Drittel reduziert werden, verglichen mit der alleinigen Nutzung fortschrittlicher Spitzenmodelle. Nemotron 3.5 Lightning selbst liefert bei spezialisierten Agentenaufgaben bis zu viermal schnellere Ergebnisse als vergleichbare Modelle seiner Klasse. Diese Veröffentlichung erfolgt inmitten einer Welle konkurrierender offener KI-Modelle von verschiedenen globalen Anbietern.
Die NeMo Switchyard-Bibliothek positioniert Nvidia im Wettbewerb mit anderen Open-Source-Routing-Frameworks wie Not Diamond und RouteLLM. Nvidias Ansatz betont eine systemweite Lösung, die sowohl die Routing-Logik als auch optimierte Modelle unter einer einheitlichen offenen Lizenz bietet, was dem Unternehmen laut eigener Aussage einen Wettbewerbsvorteil gegenüber reinen Modell- oder Router-Lösungen verschafft.
"Die Stärke liegt in einem System von Modellen, das für jeden Schritt des Arbeitsablaufs das richtige Modell auswählt", erklärte Kari Briski, Vice President of Generative AI bei Nvidia. Switchyard unterstützt dynamische Routing-Strategien, die sich an den sich entwickelnden Zustand einer Agentenaufgabe anpassen und sogar Kostenüberlegungen wie die typische Ausführlichkeit eines Modells berücksichtigen.
Erste Testpartner haben erhebliche Kosteneinsparungen und Leistungsverbesserungen gemeldet. LangChain berichtete über eine Kostenreduzierung von 74 %, während Ramp eine Kostensenkung von 58 % verzeichnete. Nvidia hat Switchyard in beliebte Entwicklungs-Frameworks und Gateways integriert, darunter LangChain und Kong AI Gateway, um die Einführung zu erleichtern.