Les mods réalistes sont très nombreux sur Grand Theft Auto V, et nombre d'entre eux sont très convaincants. Mais des chercheurs d'Intel ont poussé la recherche de ce réalisme encore plus loin, grâce au machine-learning.
Stephan R. Richter, Hassan Abu AlHaija and Vladlen Koltun sont chercheurs à la Cornell University et travaillent pour Intel Intelligent Systems Lab. Ils ont travaillé sur une nouvelle méthode pour améliorer les images générées par un ordinateur, grâce à des assets photoréalistes. Leur démonstration s'est faite sur GTA V.
Pour faire (très) simple, voilà comment ça fonctionne : l'intelligence artificielle analyse les images du jeu, et utilise une base de données d'images réelles, afin de remplacer les assets du jeu par ces images réelles. Ils utilisent en particulier un dataset nommé Cityscapes, composé d'images prises d'une voiture dans la rue, comme Street View (ici, principalement des rues d'Allemagne, d'où la différence avec le soleil californien de Los Santos). Le principe ressemble au fameux DLSS de Nvidia, avec une grosse différence : le DLSS ingère une image puis génère une version plus nette de la même image, la méthode d'Intel ISL ingère une image puis améliore son photoréalisme en utilisant Cityscapes. Mais là aussi, la méthode crée une image entièrement nouvelle en extrayant des éléments visuels de Cityscapes qui correspondent au mieux à ce qui était affiché par GTA à la base.
L'idée d'utiliser des images réelles pour améliorer des images de syntèse n'a rien de nouveau, mais Intel ISL a largement perfectionné la méthode. Jusque-là, les méthodes existantes produisaient des artefacts, étaient instables, ou trop lentes. Il y avait souvent un écart évident entre les images utilisées pour entrainer l'IA et le résultat final en jeu. La nouvelle méthode récupère des correctifs d'apparence similaire pour fournir de meilleurs points de référence à l'amélioration (tels que des voitures et des personnes d'apparence similaire), tout en maintenant la fréquence d'images relativement élevée. De plus, cette nouvelle méthode n'analyse pas seulement l'image rendue par le moteur du jeu, mais analyse toutes les données individuellement, comme vous pouvez-le voir sur l'image ci-dessous. Ainsi, la méthode d'ISL analyse chaque donnée disponible afin de déterminer précisément quelles parties de son dataset photoréaliste doivent l'inspirer dans chaque image, en temps réel.
G-buffers, la représentation de chaque frame du jeu en temps réel, donnant chacune des informations différentes.
Cette méthode donne au procédé une stabilité dans le temps (les objets qui bougent ont l'air géométriquement cohérents d'une image à l'autre) et une stabilité "sémantique" (les objets dans l'image générée représentent correctement ce qui était dans l'image d'origine). Cependant, la méthode utilise énormément de ressources encore actuellement. Si on prend le top (et le plus cher) du matériel "grand public", avec une RTX 3090, le procédé fait tourner GTA V à 2 FPS. Les chercheurs indiquent cependant penser que la méthode peut être optimisée afin de fonctionner en harmonie avec le moteur du jeu, et non par-dessus celui-ci comme c'est le cas actuellement. Ils imaginent même pouvoir un jour l'appliquer à la réalité virtuelle, apportant ainsi des graphismes photoréalistes à un genre de jeu propice à les exploiter au mieux. Les chercheurs déclarent :
Notre méthode intègre des approches basées sur l'apprentissage, combiné à des pipelines de rendu en temps réel conventionnels. Nous espérons que notre méthode continuera de profiter aux futurs pipelines graphiques, et sera compatible avec le Ray-Tracing en temps réel. (...) Etant donné que les G-buffers utilisés comme entrée sont produits nativement sur le GPU, notre méthode pourrait être intégrée plus profondément dans les moteurs de jeu, augmentant ainsi l'efficacité et peut-être aller encore plus loin dans le niveau de réalisme.
On appelle pipeline 3D la succession des opérations généralement réalisées par une carte graphique nécessaires au rendu d'un lot de données, ndlr.
La méthode est donc loin d'arriver dans des mods dans les prochaines années, mais il est certain que le machine-learning pourrait modifier complètement la manière dont les jeux rendent graphiquement. Le procédé est détaillé dans un fichier PDF publié par les trois chercheurs.
Source des images.
A lire également :