Sony patenterar AI som förutsäger spelbilder före rendering
Sony har ansökt om patent för en ny AI-teknik som förutsäger nästa bildruta i spel innan grafikrendering är klar. Målet är att minska bildryckningar.
En ny patentansökan avslöjar att Sony utvecklar en AI som kan förutsäga nästa bildruta i ett spel innan grafikprocessorn (GPU) har slutfört renderingen. Målet är att jämna ut spelets bildhastighet och minska ryckningar.
Traditionellt måste spel vänta tills två renderade bildrutor är klara innan de kan infoga en ny, artificiellt skapad bildruta. Enligt Sonys metod förutsäger AI:n nästa bildruta baserat på den aktuella bilden, vilket minskar fördröjningen.
Tekniken använder en gemensamt tränad enkodare-dekoder-modell. Den renderade bilden omvandlas till en kompakt numerisk representation som avkodaren använder för att skapa den förutsagda bildrutan. Systemet körs parallellt med grafikens renderingprocess. När hårdvaran renderar en ny bildruta, bearbetar AI:n den föregående och skickar den förutsagda bildrutan till bildbufferten.
Systemet kan även ta hänsyn till rörelsevektorer och spelarens tidigare inmatningar för att förbättra förutsägelsen. AI:n tränas med kontinuerliga videobildrutor, och dess förutsägelser jämförs med faktiska bilder för att minimera fel.
Teknikens praktiska effektivitet beror på om AI:n kan producera förutsägelser tillräckligt snabbt och exakt för att kompensera för eventuella nedgångar i bildhastighet.