Snowflake AI Gateway leitet Modelle automatisch weiter zur Kostensenkung
Snowflake hat die dynamische Modellweiterleitung in seinem Cortex AI Gateway eingeführt, eine Funktion, die darauf abzielt, die KI-Kosten von Unternehmen durch intelligente Aufgabenverteilung um bis zu das Dreifache zu senken.
Snowflake hat sein Cortex AI Gateway um eine dynamische Modellweiterleitungsfunktion erweitert. Diese neue Funktion soll KI-Aufgaben automatisch an das am besten geeignete Modell weiterleiten, um Kosten zu senken und die Effizienz für Unternehmen zu steigern, die KI-Agenten in großem Maßstab einsetzen.
Viele Unternehmen sehen sich mit dem Problem konfrontiert, dass ein einziges, leistungsfähiges KI-Modell alle Aufgaben bearbeitet, was zu hohen Kosten für einfache Anfragen oder unzureichender Leistung für komplexe Aufgaben führt. Snowflake behauptet, dass die neue automatische Weiterleitung die Token-Kosten für bestimmte Arbeitslasten um bis zu das Dreifache senken kann, indem sie kostengünstigere Modelle für einfache Anfragen nutzt.
Das System verwendet zwei Hauptmechanismen. Zunächst versucht ein kleineres, kostengünstigeres Modell, die Aufgabe zu lösen. Scheitert es, wird ein größeres Modell aufgerufen. Zusätzlich analysiert ein Klassifikator frühere Anfragen, um einfache Aufgaben automatisch an Basismodelle weiterzuleiten. Kunden behalten die Option, bestimmte Modelle manuell auszuwählen.
Snowflake betont, dass diese Weiterleitung über Kosteneinsparungen hinausgeht und Governance sowie Kontext einbezieht. Die Funktion ist in die bestehenden Data-Governance- und Zugriffskontrollrahmen des Unternehmens integriert, um sicherzustellen, dass Daten in der sicheren Umgebung des Unternehmens verbleiben. Dieser Ansatz hebt Snowflake in einem Markt hervor, in dem auch Wettbewerber wie Databricks und AWS Modellweiterleitungstechnologien anbieten.