Le brevet Sony révèle une IA prédisant les images de jeu avant le rendu
Sony a déposé un brevet pour une nouvelle technologie d'IA conçue pour prédire la prochaine image d'un jeu avant que le rendu par GPU ne soit terminé. L'objectif est de réduire le bégaiement visuel.
Une demande de brevet récemment révélée indique que Sony développe un système d'intelligence artificielle capable de prédire la prochaine image d'un jeu avant que l'unité de traitement graphique (GPU) n'ait terminé son rendu. L'objectif principal est de lisser les cadences d'images des jeux et de réduire les saccades.
Traditionnellement, les jeux attendent souvent que deux images soient rendues avant d'insérer une image interpolée. L'approche de Sony suggère que l'IA prédira l'image à venir en se basant sur l'image actuelle, réduisant ainsi la latence. Cette méthode évite d'avoir à attendre le rendu complet de deux images avant l'interpolation.
La technologie utilise un codec encodeur-décodeur entraîné conjointement. Les images rendues sont converties en une représentation numérique compacte, que le décodeur utilise pour générer l'image prédite. Le système fonctionne en parallèle avec le pipeline de rendu graphique. Pendant que le matériel rend la prochaine image, l'IA traite la précédente et envoie sa prédiction au tampon d'affichage.
De plus, le système peut intégrer des vecteurs de mouvement et les entrées récentes du joueur. Ces données historiques des actions du joueur peuvent servir de base à la prédiction des mouvements de la prochaine image. L'IA est entraînée à l'aide d'images vidéo séquentielles, comparant ses prédictions aux images réelles ultérieures pour minimiser les erreurs.
L'efficacité pratique de cette technologie dépendra de la capacité de l'IA à générer des prédictions précises suffisamment rapidement pour combler les lacunes potentielles dans la sortie d'images lorsque la vitesse de rendu diminue.