VentureBeat lance un nouveau framework de routage de modèles IA

VentureBeat Software a introduit son nouveau framework open-source, Agent-as-a-Router, ainsi que sa mise en œuvre concrète, ACRouter. Ce système est conçu pour router dynamiquement les requêtes IA vers les modèles les plus appropriés, dans le but d'améliorer l'efficacité des coûts et la vitesse par rapport aux méthodes statiques antérieures.

Les systèmes traditionnels de routage de modèles sont souvent statiques, reposant soit sur des règles définies manuellement, soit sur des modèles pré-entraînés incapables de s'adapter aux conditions changeantes ou d'apprendre pendant le déploiement. ACRouter résout ce problème en employant une boucle de Contexte-Action-Feedback (C-A-F). Cette boucle collecte des données sur les succès et les échecs des modèles dans l'exécution des tâches et utilise ce retour d'information pour améliorer les décisions de routage futures.

La recherche indique qu'ACRouter a surpassé de manière significative les routeurs statiques et les stratégies qui utilisent exclusivement des modèles premium coûteux. Lors des tests, il a atteint une efficacité de coût jusqu'à 2,6 fois supérieure par rapport aux solutions qui utilisent par défaut uniquement les modèles les plus performants, sans nécessiter l'entraînement de modèles massifs ni la création de règles complexes. Le framework permet des systèmes auto-optimisants dans les déploiements d'IA d'entreprise.

ACRouter se compose de trois composants principaux : l'Orchestrator, qui sélectionne le modèle approprié ; le Verifier, qui évalue la sortie du modèle ; et le Memory, qui stocke le feedback pour une utilisation future. Cette architecture est soutenue par une couche d'outils qui s'intègre à des environnements d'exécution réels, tels que des interpréteurs de code, pour collecter le feedback.