Buoyant julkaisi avoimen lähdekoodin ohjaustason tekoälypäättelylle Kubernetesissa
Linkerd-palveluverkon kehittäjä Buoyant on julkaissut Kinference-ohjelmiston, joka on tarkoitettu tekoälymallien päättelyn optimointiin ja hallintaan Kubernetes-ympäristöissä.
Buoyant on tuonut markkinoille Kinference-ohjelmiston, jonka tavoitteena on helpottaa generatiivisten tekoälymallien ajamista yritysten omassa Kubernetes-infrastruktuurissa. Työkalu tarjoaa hallintakerroksen, joka sisältää kuormantasausta, reititystä ja käytäntöihin perustuvaa ohjausta vLLM-päättelymoottorin päällä.
Yritykset siirtyvät yhä useammin ajamaan omia mallejaan paikan päällä vähentääkseen riippuvuutta pilvipohjaisista API-palveluista ja hallitakseen kustannuksia. Kinference mahdollistaa resurssien kohdentamisen ja kustannusten seurannan tiimikohtaisesti, mikä tekee infrastruktuurin ylläpidosta ennakoitavampaa.
Buoyantin mukaan Kinference parantaa GPU-resurssien käyttöastetta optimoimalla päättelypyyntöjen reititystä reaaliaikaisten tietojen perusteella. Yrityksen julkaisemien vertailutestien mukaan ratkaisu voi lyhentää vasteaikoja perinteisiin Kubernetes-ratkaisuihin verrattuna.
Ohjelmisto on saatavilla avoimena lähdekoodina Apache 2.0 -lisenssillä. Julkaisu laajentaa Buoyantin tarjontaa, joka on aiemmin keskittynyt ensisijaisesti verkkoinfrastruktuurin hallintaan.