La passerelle IA de Snowflake optimise le routage des modèles pour réduire les coûts des entreprises

Snowflake a amélioré sa passerelle Cortex AI avec le routage dynamique de modèles, une nouvelle fonctionnalité visant à diriger automatiquement les tâches d'IA vers le modèle le plus approprié. L'objectif est de réduire les coûts et d'améliorer l'efficacité des entreprises utilisant des agents IA à grande échelle.

De nombreuses entreprises ont été confrontées à des défis où un seul modèle IA performant gère toutes les tâches, entraînant des coûts élevés pour les requêtes simples ou des performances insuffisantes pour les tâches complexes. Snowflake affirme que sa nouvelle fonction de routage automatique peut réduire les coûts de "tokens" jusqu'à trois fois pour certaines charges de travail, en utilisant des modèles moins coûteux pour les requêtes simples.

Le système utilise deux mécanismes principaux. Initialement, un modèle plus petit et moins coûteux tente d'exécuter la tâche. S'il échoue, un modèle plus grand est invoqué. De plus, un classificateur analyse les requêtes antérieures pour diriger automatiquement les tâches simples vers des modèles de base. Les clients conservent la possibilité de sélectionner manuellement des modèles spécifiques.

Snowflake souligne que ce routage va au-delà des économies de coûts, intégrant la gouvernance et le contexte. La fonctionnalité est intégrée aux cadres existants de gouvernance des données et de contrôle d'accès de l'entreprise, garantissant que les données restent dans l'environnement sécurisé de l'entreprise. Cette approche distingue Snowflake sur un marché où des concurrents tels que Databricks et AWS proposent également des technologies de routage de modèles.