fournier nicolas

Une équipe de l’Inria 🇫🇷 a conçu un système de vision par ordinateur, qui permet d'obtenir un rendu en 3D de scènes à partir de simples photos, dont la vitesse et la qualité surpassent Google et Nvidia, dans leur domaine d'excellence. L'équipe de l’Institut national de recherche en sciences et technologies du numérique (Inria) à Nice, nommée GraphDeco, a mis au point un algorithme qui bat ceux des grandes entreprises comme Google et Nvidia, dans un domaine où elles excellent, la vision par ordinateur. Plus particulièrement, ce nouveau programme réalise un vieux rêve : obtenir un rendu en trois dimensions de scènes à partir de simples photos, en quelques minutes. Autrement dit, quelques clichés d’un objet, d’un bâtiment, d’une foule suffisent pour les voir ensuite sous n’importe quel angle, zoomer, pivoter… Les professionnels des effets spéciaux du cinéma, ceux des jeux vidéo, les architectes pour visualiser leurs projets, les agences immobilières pour faire visiter des maisons, et les ingénieurs roboticiens sont friands d’une telle fonction. Avant, des méthodes permettaient déjà de faire ce rendu, mais demandaient beaucoup de temps de calcul pour des résultats assez imprécis. Pour commencer, à partir de deux images, prises sous deux angles différents mais ayant des pixels en commun, une carte de profondeur était calculée. Cela générait dans l’espace un nuage de points peu dense, sorte de fantôme diaphane de la scène qui était par la suite densifié pour l'étoffer. Puis, étape coûteuse en calcul, un maillage de petits triangles était déduit de ces points, sur lequel les surfaces, couleurs et textures étaient appliquées pour générer les formes. Il y a 4 ans, une équipe de Google a entamé une première révolution dans ce domaine avec sa méthode NeRF, à base de réseaux de neurones artificiels. Toutefois, son encodage prenait encore beaucoup du temps, 48 heures de calcul pour les scènes servant de référence aux chercheurs pour tester les algorithmes, mais la précision des images était bien meilleure. Puis est arrivé l’été 2023, quand l’équipe de Nice de l'Inria a frappé fort en annonçant sa nouvelle méthode « 3D Gaussian Splatting » ou 3DGS. En 30 minutes, elle parvient à obtenir à partir d’une centaine de photos un modèle tridimensionnel qu’on peut ensuite voir sous tous les angles à raison de 100 images, de grande qualité, par seconde. Soit 100 fois plus qu’Instant NGP de Nvidia, qui lui-même fait 100 fois mieux que NeRF de Google. « Je n’ai pas pour habitude de me mettre en avant. Mais je ne pensais pas connaître cette situation où, après plus de vingt ans de travail consacré à ce problème, je peux presque dire qu’il est résolu », témoigne George Drettakis, responsable de l'équipe GraphDeco et spécialiste de la synthèse d'images. Depuis la présentation et la mise en ligne de leur algorithme à la conférence phare du domaine, Siggraph, en août 2023, les succès s’enchaînent. Prix du meilleur article de la conférence. Plus de 580 citations de leur article en neuf mois, notamment par des équipes d’Adobe, de Meta, d’Apple ou de Google. Une douzaine de contrats de licence, dont certains, encore confidentiels, avec des grandes entreprises du secteur… Sur le Net, les démonstrations ludiques fleurissent et des applications pour téléphone ou des sites web proposent déjà de tester l’outil. L’équipe est déjà à pied d’œuvre pour améliorer son algorithme (accélération des calculs, gestion des éclairements, suppression d’artefacts…), mais pour George Drettakis « le rendu de scènes tridimensionnelles devient très facile. On peut s’attendre à des applications au-delà de celles qui ont motivé ces recherches ». Le 1er mai, l’équipe a publié un nouvel article appliquant son idée à des scènes très grandes. Ils l’ont démontré en créant une vidéo permettant de circuler virtuellement sur plusieurs kilomètres dans la ville de Nice, à partir de photos prises sur le casque vélo de George Drettakis. Sources : - lemonde.fr/sciences/article/… - inria.fr/fr/3d-gaussian-spla… - comptoir-hardware.com/actus/… - magnopus.com/blog/the-rise-o… - youtube.com/watch?v=p-mb2TzV…