Meituan Lance LongCat-Video en Open Source
Meituan a publié son modèle LongCat-Video en open source. Le modèle peut générer des vidéos à partir de texte, d'images et de clips vidéo existants.
La société technologique chinoise Meituan a lancé son modèle LongCat-Video sous une licence MIT open source, permettant une large utilisation et modification.
Le modèle est capable de générer du contenu vidéo à partir de diverses entrées, y compris des invites textuelles, des images et en continuant des séquences vidéo existantes. Une caractéristique clé soulignée est sa capacité à produire des vidéos de plusieurs minutes, un défi notable pour de nombreux modèles open source antérieurs.
LongCat-Video fonctionne sur une architecture Transformer dense de 13,6 milliards de paramètres. Il prend en charge les tâches de texte-vers-vidéo (T2V), d'image-vers-vidéo (I2V) et de continuation vidéo dans un cadre unifié. Sa capacité de continuation vidéo est particulièrement appréciée pour éviter les problèmes courants tels que la dérive des couleurs et l'incohérence du mouvement.
L'efficacité du modèle est attribuée à son mécanisme Block Sparse Attention, qui permet la création de vidéos plus longues sans augmentation exponentielle des coûts de calcul. La décision de Meituan de rendre le modèle open source vise à favoriser le développement communautaire et à accélérer l'innovation dans la technologie de génération vidéo.
Le modèle est disponible sur GitHub et Hugging Face, et son rapport technique a également été publié.