CrePal analyse la synchronisation labiale de Seedance 2.0

CrePal a publié une analyse de l'outil Seedance 2.0 de Bytedance, détaillant son efficacité et ses limites en matière de synchronisation labiale pour les acteurs synthétiques. L'article vise à guider les créateurs vers de meilleurs résultats grâce à des conseils pratiques.

L'auteur rapporte que Seedance 2.0 synchronise de manière fiable les phrases courtes et claires, avec un taux de réussite d'environ 70 % lors des tests. Cette performance est attribuée à un mappage affiné des phonèmes aux visèmes et à un lissage temporel, particulièrement efficace avec des narrations enregistrées dans des environnements calmes et avec un rythme régulier.

Cependant, l'outil rencontre des difficultés avec des audios plus complexes. Des problèmes surviennent avec les locuteurs rapides, les élisions, le bruit de fond ou la musique, entraînant des mouvements de bouche inexacts ou retardés. Des inflexions émotionnelles intenses, telles que des cris ou des sanglots, peuvent également provoquer des expressions faciales exagérées ou un décalage temporel.

L'article souligne que la qualité de l'entrée audio est cruciale. Pour améliorer la synchronisation, CrePal recommande de stabiliser les niveaux audio, d'éliminer le bruit de fond et d'intégrer des pauses respiratoires cohérentes. Une diction claire et une interprétation émotionnelle contrôlée lors de l'enregistrement améliorent considérablement les performances de l'outil.

De plus, l'analyse met en évidence l'importance de faire des "prompts" (instructions) détaillés. Des indications plus riches décrivant l'émotion et le style de parole aident Seedance 2.0 à mieux aligner l'intention visuelle avec l'audio, produisant ainsi une synchronisation labiale plus naturelle. Des instructions spécifiques, telles que "sardonique, mesuré" ou l'ajout de pauses avant les mots clés, se sont avérées efficaces pour affiner le résultat.