Nvidia lance un routeur IA et un modèle ouvert pour réduire les coûts des tâches

Nvidia présente NeMo Switchyard, une bibliothèque open source conçue pour acheminer intelligemment les tâches d'IA vers les modèles les plus appropriés, ainsi que Nemotron 3.5 Lightning, un nouveau modèle ouvert optimisé pour les tâches d'agents spécialisées à haut volume. L'offre combinée vise à réduire considérablement les coûts opérationnels des entreprises utilisant des agents IA.

Selon les tests internes de Nvidia, l'utilisation de Switchyard avec des modèles comme Lightning peut réduire les coûts des tâches de référence à environ un tiers, par rapport à la seule utilisation de modèles de pointe avancés. Nemotron 3.5 Lightning offre lui-même des résultats jusqu'à quatre fois plus rapides que les modèles comparables de sa catégorie pour les tâches d'agents spécialisées. Cette annonce intervient dans un contexte d'explosion de modèles d'IA ouverts et concurrentiels provenant de divers acteurs mondiaux.

La bibliothèque NeMo Switchyard positionne Nvidia face à d'autres frameworks de routage open source tels que Not Diamond et RouteLLM. L'approche de Nvidia met l'accent sur une solution au niveau du système, fournissant à la fois la logique de routage et des modèles optimisés sous une licence ouverte unifiée, ce que l'entreprise considère comme un avantage concurrentiel par rapport aux solutions axées uniquement sur les modèles ou les routeurs.

"La puissance réside dans un système de modèles, où le bon modèle est associé à chaque étape du flux de travail", a déclaré Kari Briski, vice-présidente de l'IA générative chez Nvidia. Switchyard prend en charge des stratégies de routage dynamiques qui s'adaptent à l'évolution de l'état d'une tâche d'agent, en tenant même compte de considérations de coûts telles que la verbosité typique d'un modèle.

Les premiers partenaires de test ont signalé des économies de coûts substantielles et des améliorations de performance. LangChain a rapporté une réduction des coûts de 74 %, tandis que Ramp a noté une réduction de 58 %. Nvidia a intégré Switchyard à des frameworks de développement et des passerelles populaires, notamment LangChain et Kong AI Gateway, pour faciliter son adoption.