CrePal undersöker metoder för att omvandla litterära verk till video med AI

CrePal har redogjort för en teknisk process för att omvandla skönlitterära kapitel till videobaserat innehåll. Metodiken bygger på en kombination av språkmodeller för manusbearbetning, visuella generationsverktyg för filmsekvenser och ljudmodeller för röst och ljudeffekter.

Arbetsflödet inleds med att dela upp texten i narrativa beats, vilka sedan konverteras till ett filmmanus. För att bibehålla en konsekvent visuell stil använder användaren referensbilder och fastställda stilistiska parametrar, såsom ljussättning och objektivval, i verktyg som Runway och Pika. Dessa genererar korta klipp som sedan redigeras samman i traditionell programvara.

Enligt CrePal är nyckeln till framgång att arbeta i korta segment på 3–5 sekunder för att minska risken för visuella inkonsekvenser. Ljuddesign och röstkloning används i ett tidigt skede för att styra klippningen och skapa en sammanhängande atmosfär.

Bolaget betonar att detta angreppssätt lämpar sig för produktion av boktrailers eller kortare visuella tolkningar. Samtidigt påminner man om vikten av att inneha rättigheter till källmaterialet vid skapande av narrativt innehåll.