Buoyant lanserar kontrollplan för AI-inferens i Kubernetes
Buoyant, kända för tjänstenätet Linkerd, har släppt Kinference, ett verktyg för att styra och optimera körning av AI-modeller i Kubernetes-miljöer.
Buoyant har tillkännagett den officiella lanseringen av Kinference, en kontrollplan för inferens i Kubernetes-kluster. Programvaran syftar till att ge organisationer bättre kontroll över kostnader och prestanda när de kör egna AI-modeller lokalt eller i molnet.
I takt med att företag väljer att flytta inferens in-house för att minska beroendet av externa leverantörer och hantera regelverk, har behovet av effektiv GPU-hantering ökat. Kinference fungerar som ett lager ovanpå inferensmotorn vLLM och tillhandahåller funktioner som resursallokering, kostnadsattribuering och policybaserad trafikstyrning.
Verktyget är utformat för att optimera GPU-utnyttjande genom att fatta beslut baserade på realtidsdata om köstatus och cacheanvändning. Enligt företagets egna tester kan Kinference förbättra svarstiderna avsevärt jämfört med standardmetoder för lastbalansering i Kubernetes.
Kinference finns nu tillgänglig som öppen källkod under Apache 2.0-licensen. Med denna lansering utökar Buoyant sin portfölj inom infrastrukturhantering för att möta efterfrågan på mer automatiserade AI-plattformar.