CrePal analyserar Seedance 2.0:s läppsynkronisering

En artikel publicerad av CrePal analyserar i detalj prestandan hos Bytedances Seedance 2.0-verktyg när det gäller att synkronisera läpprörelser med ljud och voiceovers för syntetiska skådespelare.

Författaren till artikeln, som själv testade verktyget med fem olika röstinspelningar och varierande mikrofoner, konstaterar att Seedance 2.0 på ett tillförlitligt sätt kan synkronisera korta, tydliga meningar och lugnt tal. Verktyget presterade särskilt bra i situationer med ljudinspelningar i tysta miljöer och med tydligt tal, med en framgångsfrekvens på cirka 70 % i testerna.

Verktyget har dock svårigheter i mer utmanande förhållanden. Vid snabbt tal med många ljudförkortningar, eller när bakgrundsljud och musik närvarar, kan de läpprörelser som Seedance 2.0 producerar bli oexakta eller släpa efter tidsmässigt. Även kraftfulla känslomässiga uttryck, som skrik eller gråt, ledde ibland till orealistiskt stora munrörelser eller tidsfel.

Artikeln betonar att bättre input leder till bättre output. Tips för att förbättra synkroniseringen inkluderar att säkerställa en stabil ljudbalans, ta bort bakgrundsljud och inkludera konsekventa andningspauser i ljudinspelningen. Kvaliteten på inspelningen, såsom tydlig artikulation och återhållsam känslomässig expression, förbättrar Seedance 2.0:s prestanda avsevärt.

Dessutom ger artikeln instruktioner för användning av "prompts" (kommandon). Mer mångsidiga prompts som beskriver känslan och talstilen hjälper Seedance 2.0 att bättre förstå ljudspårets avsikt och producera mer naturligt utseende läpprörelser. Instruktionerna gick från enkla till mer specifika, som "lugn, lite road: paus före punchline", vilket förbättrade resultatet.