CrePal analysoi Seedance 2.0:n huulisynkronointia

CrePalin julkaisemassa artikkelissa analysoidaan yksityiskohtaisesti Bytedancen Seedance 2.0 -työkalun suorituskykyä huulisynkronoinnin ja äänentoiston yhdistämisessä synteettisten näyttelijöiden kanssa.

Artikkelin kirjoittaja, joka itse testasi työkalua viidellä eri ääninauhoituksella ja erilaisilla mikrofoneilla, toteaa, että Seedance 2.0 pystyy luotettavasti synkronoimaan lyhyitä, selkeitä lauseita ja rauhallista puhetta. Erityisen hyvin työkalu onnistui tilanteissa, joissa äänitys oli tehty hiljaisessa ympäristössä ja puhe oli selkeää, onnistumisprosentin ollessa noin 70 % testeissä.

Työkalu kuitenkin kompastelee haastavimmissa olosuhteissa. Nopeapuheisilla puhujilla, joissa on paljon äänteiden sulautumista, tai taustamelun ja musiikin läsnäollessa Seedance 2.0:n tuottamat huuliliikkeet saattoivat olla epätarkkoja tai laahata ajallisesti. Myös voimakkaat tunneilmaisut, kuten huutaminen tai itku, johtivat joskus epärealistisen suuriin suun liikkeisiin tai ajoitusvirheisiin.

Artikkelissa korostetaan, että parempi syöte johtaa parempaan lopputulokseen. Vinkkejä synkronoinnin parantamiseksi ovat muun muassa vakaan äänitasapainon varmistaminen, taustamelun poistaminen ja tasaiset hengitystauot äänitteeseen. Nauhoituksen laatu, kuten selkeä artikulaatio ja hillitty tunneilmaisu, parantaa merkittävästi Seedance 2.0:n suoriutumista.

Lisäksi artikkelissa annetaan ohjeita kehotusten (promptien) käyttöön. Monipuolisemmat kehotukset, jotka kuvaavat tunnetta ja puhetyyliä, auttavat Seedance 2.0:aa ymmärtämään paremmin ääniraidan tarkoitusta ja tuottamaan luonnollisemman näköisiä huuliliikkeitä. Yksinkertaisista ohjeista siirryttiin tarkempiin, kuten "rauhallinen, hieman huvittunut: tauko ennen iskulausetta", mikä paransi lopputulosta.