Tencent rend public son modèle d'IA pour la traduction en temps réel

Tencent a mis à disposition les poids et le code source de son modèle Hy-SimulMT. Conçu pour la traduction simultanée, l'outil traite le flux vocal en continu et propose une sortie textuelle ou orale, avec une fonction de clonage vocal visant à conserver les caractéristiques sonores du locuteur initial.

Selon les données du benchmark RealSI, le modèle affiche une latence d'environ trois secondes. Tencent affirme que ses performances dépassent celles de plusieurs autres modèles open source ainsi que celles de la majorité des API commerciales testées, bien que la génération de parole nécessite la configuration d'un service de synthèse vocale distinct.

Le kit inclut les outils d'entraînement et le logiciel d'inférence nécessaires aux développeurs. Les utilisateurs peuvent également tester cette technologie via l'application Hy Translate de l'entreprise.