OpenAI publie des modèles IA temps réel plus rapides

OpenAI a annoncé la sortie de deux nouveaux modèles, gpt-realtime-2.1 et gpt-realtime-2.1-mini, disponibles via son API. L'entreprise indique que ces modèles apportent une amélioration significative en termes de temps de réponse.

Ces nouveaux modèles sont principalement destinés aux applications nécessitant une faible latence, notamment pour les agents vocaux et les interactions multimodales. OpenAI affirme que grâce à des optimisations de ses mécanismes de mise en cache, la latence p95 (réponse dans 95 % des cas) a été réduite d'au moins 25 %.

Le modèle gpt-realtime-2.1-mini prend en charge les entrées audio et texte en temps réel, ainsi que l'utilisation d'outils et les appels de fonction. Il est conçu pour effectuer un raisonnement interne avant d'exécuter des actions et maintenir la continuité de la conversation par des indices vocaux.

De plus, le modèle gpt-realtime-2.1 présente des améliorations dans la reconnaissance alphanumérique, la gestion du silence et du bruit de fond, le traitement des interruptions et le suivi des instructions. L'intensité de l'inférence du modèle peut être ajustée sur cinq niveaux, avec une recommandation d'utiliser des réglages bas pour les environnements de production.