Sony-Patent enthüllt KI, die Spielbilder vor dem Rendern vorhersagt
Sony hat ein Patent für eine neue KI-Technologie angemeldet, die das nächste Bild eines Spiels vorhersagt, bevor das GPU-Rendering abgeschlossen ist. Ziel ist die Reduzierung von Bildrucklern.
Ein neu enthüllter Patentantrag deutet darauf hin, dass Sony ein künstliches Intelligenzsystem entwickelt, das das nächste Bild eines Spiels vorhersagen kann, bevor die Grafikprozessoreinheit (GPU) das Rendern abgeschlossen hat. Das Hauptziel ist die Glättung der Bildraten und die Reduzierung von Rucklern.
Traditionell warten Spiele oft auf zwei gerenderte Bilder, bevor sie ein interpoliertes Bild einfügen. Sonys Ansatz legt nahe, dass die KI das nächste Bild basierend auf dem aktuellen Bild vorhersagt und dadurch die Latenz reduziert. Diese Methode umgeht die Notwendigkeit, auf die Fertigstellung von zwei vollständigen Bildern vor der Interpolation zu warten.
Die Technologie nutzt einen gemeinsam trainierten Encoder-Decoder-Codec. Gerenderte Bilder werden in eine kompakte numerische Darstellung umgewandelt, die der Decoder zur Erzeugung des vorhergesagten Bildes verwendet. Das System arbeitet parallel zur Grafik-Rendering-Pipeline. Während die Hardware das nächste Bild rendert, verarbeitet die KI das vorherige und sendet seine Vorhersage an den Anzeigepuffer.
Darüber hinaus kann das System Bewegungsvektoren und jüngste Spielereingaben einbeziehen. Diese historischen Daten von Spieleraktionen können als Grundlage für die Vorhersage der Bewegungen im nächsten Bild dienen. Die KI wird anhand sequenzieller Videobilder trainiert, wobei ihre Vorhersagen mit tatsächlichen nachfolgenden Bildern verglichen werden, um Fehler zu minimieren.
Die praktische Wirksamkeit dieser Technologie wird davon abhängen, ob die KI in der Lage ist, genaue Vorhersagen schnell genug zu generieren, um potenzielle Lücken in der Bildausgabe zu füllen, wenn die Rendering-Geschwindigkeit abnimmt.