CrePal analysoi tekoälypohjaisia menetelmiä kaunokirjallisuuden muuntamiseksi videomuotoon

CrePal on julkaissut teknisen katsauksen, jossa kuvataan prosessia kaunokirjallisen tekstin muuntamiseksi videomuotoon. Menetelmä perustuu usean eri tekoälysovelluksen yhdistämiseen, joilla luodaan käsikirjoituksia, visuaalista materiaalia ja ääniraitoja.

Prosessi alkaa tekstin jakamisella kohtauksiin, jota seuraa LLM-pohjainen käsikirjoituksen muotoilu. Visualisointiin käytetään työkaluja kuten Runway Gen-3 ja Pika, joiden avulla generoidaan lyhyitä, 3–5 sekunnin mittaisia videopätkiä. CrePal korostaa yhtenäisen visuaalisen tyylin merkitystä, johon päästään käyttämällä toistuvia kuvauksia valaistuksesta ja kameratekniikasta.

Äänimaailman rakentamisessa käytetään puheen synteesiä ja lisensoitua musiikkia, joiden avulla videon rytmi sidotaan yhteen. Testien perusteella monimutkaiset toimintakohtaukset ovat edelleen haastavia tekoälytyökaluille, mutta tunnelmalliset lyhytvideot ovat toteutettavissa muutamassa tunnissa.

Yritys huomauttaa, että tekijänoikeudet on varmistettava ennen ulkopuolisten tekstien adaptiota. Menetelmää voidaan hyödyntää esimerkiksi markkinointimateriaalin luomisessa kirjallisuudelle.