Buoyant lance un plan de contrôle open source pour l'inférence IA sous Kubernetes
La société Buoyant a dévoilé Kinference, un outil conçu pour gérer et optimiser l'exécution de modèles d'IA au sein d'environnements Kubernetes.
Buoyant, à l'origine du service mesh Linkerd, vient de rendre public Kinference. Ce logiciel fait office de plan de contrôle pour l'inférence, permettant aux entreprises d'orchestrer, de sécuriser et de gérer leurs modèles d'IA générative directement sur Kubernetes.
Face à la volonté des organisations de rapatrier l'inférence sur leurs propres infrastructures pour mieux contrôler les coûts et la conformité, Kinference propose une couche unifiée au-dessus du moteur vLLM. Le logiciel facilite notamment le routage intelligent des requêtes, la répartition de la charge et l'attribution des coûts par équipe ou projet.
Le système vise à améliorer l'efficacité des GPU en optimisant la distribution des requêtes en fonction de l'état réel des ressources. Selon les tests réalisés par Buoyant, cette solution permettrait de réduire significativement les temps de latence comparativement aux méthodes de routage standard sous Kubernetes.
Kinference est disponible sous licence Apache 2.0. Cette sortie marque une extension de l'expertise de Buoyant, qui passe de la gestion des réseaux de services à l'optimisation des infrastructures dédiées aux modèles d'intelligence artificielle.