Tencent lance un nouveau modèle VLM pour la robotique

Le géant technologique chinois Tencent a annoncé la sortie de son modèle de base de vision-langage incarné (VLM) de deuxième génération, Hy-Embodied-VLM-1.0. Développé en collaboration avec Tencent Robotics X Lab, Futian Lab et Tencent Hunyuan, ce modèle vise à améliorer significativement l'autonomie des robots et leurs interactions avec l'environnement.

Le Hy-Embodied-VLM-1.0 est conçu pour traiter et comprendre le monde physique du point de vue d'un robot. Il est capable d'identifier des objets, leurs attributs, la profondeur et les relations spatiales. Le modèle analyse également la perspective du robot, ses composants fonctionnels et les possibilités offertes par l'environnement pour planifier et exécuter des tâches plus efficacement.

Évalué sur 37 tâches de référence, le modèle a obtenu un score moyen de 65,6. Cette performance est notable car sa version à l'échelle A3B égale les capacités globales du modèle phare de la génération précédente, A32B. Les points forts comprennent la compréhension des états physiques, le raisonnement sur les actions et leurs conséquences, ainsi que le raisonnement temporel et adaptatif.

De plus, le modèle prend en charge la planification de tâches à long terme, la navigation visuelle et les fonctions de mémoire. Il peut diagnostiquer des erreurs, effectuer des analyses contrefactuelles et replanifier dynamiquement des actions en fonction des retours de l'environnement. Tencent a rendu le modèle disponible en open-source, avec le code accessible via GitHub et Hugging Face.