Buoyant veröffentlicht Kontrollinstanz für KI-Inferenz in Kubernetes
Das Unternehmen Buoyant hat mit Kinference eine Open-Source-Lösung vorgestellt, die die Verwaltung und Optimierung von KI-Modellen in Kubernetes-Umgebungen vereinfachen soll.
Buoyant, bekannt für das Service-Mesh Linkerd, hat Kinference allgemein zugänglich gemacht. Die Software dient als Kontrollinstanz für Unternehmen, die generative KI-Modelle innerhalb ihrer Kubernetes-Infrastruktur betreiben und dabei eine zentrale Steuerung für Routing, Lastverteilung und Richtlinienverwaltung benötigen.
Da Organisationen vermehrt dazu übergehen, Inferenz-Workloads intern auf eigenen GPUs auszuführen, um Kosten zu senken und die Kontrolle über ihre Daten zu behalten, wächst der Bedarf an effizienter Orchestrierung. Kinference baut auf der Inferenz-Engine vLLM auf und bietet Funktionen für die mandantenfähige Nutzung sowie eine detaillierte Kostenzuordnung.
Das System optimiert die GPU-Auslastung, indem es Inferenzanfragen basierend auf Echtzeitdaten wie Warteschlangenstatus und Cache-Verfügbarkeit verteilt. Laut internen Benchmarks des Herstellers lassen sich dadurch die Latenzzeiten bei der Token-Generierung im Vergleich zu herkömmlichen Kubernetes-Lastverteilern reduzieren.
Kinference steht unter der Apache-2.0-Lizenz zur Verfügung. Das Produkt ist Teil der Strategie von Buoyant, bewährte Ansätze aus dem Bereich des Infrastrukturmanagements auf die Anforderungen moderner KI-Plattformen zu übertragen.