Xiaomi présente son modèle d'IA incarnée Xiaomi-Robotics-U0

Xiaomi a dévoilé mercredi Xiaomi-Robotics-U0, un nouveau modèle de base multimodal autorégressif de 38 milliards de paramètres conçu pour l'IA incarnée (Embodied AI).

L'entreprise a indiqué que le modèle intègre quatre capacités principales au sein d'un seul cadre : la génération de scènes incarnées, le transfert incarné, la génération de vidéos d'interaction robotique et la génération/édition d'images à usage général.

Selon Xiaomi, le modèle peut générer des environnements prêts à l'emploi pour les robots à partir d'invites textuelles. Il est également capable d'adapter les trajectoires de robots existantes à de nouvelles scènes tout en préservant les caractéristiques du mouvement, et de produire des vidéos d'interaction robotique basées sur des instructions de tâche.

Le modèle Xiaomi-Robotics-U0 utilise des connaissances visuelles à l'échelle d'Internet pour les applications d'IA incarnée, dans le but de faire progresser le développement de robots intelligents capables d'interagir et d'opérer dans des environnements physiques.