OpenAI Sora : tout savoir sur l'IA qui crée des vidéos, et son potentiel pour la VR

OpenAI Sora est une IA capable de créer une vidéo à partir d’une simple description textuelle. Cet outil pourrait être la pièce manquante permettant de rendre la réalité virtuelle véritablement immersive ! Découvrez tout ce qu’il faut savoir…

En février 2024, OpenAI dévoilait Sora : une intelligence artificielle permettant de créer des vidéos à partir de texte. Les premières démonstrations ont choqué le monde entier, tant les vidéos paraissent réalistes et fidèles au prompt !

Près d’un an plus tard, Sora n’est toujours pas disponible pour le grand public. Pour cause, OpenAI préfère prendre le temps de tester longuement cet outil à l’aide d’experts de divers horizons, afin d’éviter les potentielles dérives…

Entre-temps, plusieurs logiciels similaires ont vu le jour, sans toutefois égaler les performances de Sora. Parmi les plus populaires, on peut citer Luma Dream Machine, Runway Gen-3, MiniMax, ou encore Kling.

Même s’il faudra patienter encore un peu pour mettre la main sur Sora, nous vous proposons de découvrir tout ce qu’il faut sur cette IA, et notamment la façon dont elle pourrait propulser la VR au prochain niveau !

Sora, l’IA qui crée des vidéos à partir des mots

Sora est un outil IA capable de générer des vidéos d’une durée maximale d’une minute. Il suffit pour cela de lui donner une description textuelle (le prompt).

L’intelligence artificielle va alors générer une vidéo correspondant à cette description, à la manière dont DALL-E ou MidJourney créent des images.

Il s’agit de la même méthode appelée « diffusion », mais le processus demande simplement davantage d’étapes que pour générer des images.

Une vidéo est d’abord transformée entièrement en statique, puis le statique est inversé pour donner une vidéo nette.

Très avancée, Sora est capable de représenter des reflets dans les miroirs, des mouvements de fluides dans les liquides ou même des particules de neige de façon réaliste.

Afin de parvenir à ce niveau de performance, l’IA a été nourrie d’exemples de vidéos accompagnées de textes décrivant leur contenu. Ceci a permis au modèle d’apprendre à associer les images et les événements.

Ainsi, elle est désormais capable de comprendre les mots d’un prompt pour en faire une vidéo. C’est beaucoup plus complexe que de générer de simples images, car le modèle doit comprendre la 3D, le mouvement, les reflets et bien d’autres caractéristiques à reproduire.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf
— OpenAI (@OpenAI) February 15, 2024

Lors de sa présentation par OpenAI, Sora a fait beaucoup de bruit sur les réseaux sociaux. Néanmoins, n’étant toujours pas disponible 6 mois après l’annonce initiale, cet outil demeure méconnu du grand public.

Pour le moment, OpenAI s’est contenté de présenter des vidéos d’exemples ou des vidéos créées en partenariat avec des artistes et autres créateurs choisis au compte-goutte.

La firme préfère se montrer prudente, et laisser quelques experts en cybersécurité tester son outil pour mettre en lumière les risques d’abus et de détournements.

Après cette période de test, Sora devrait être mis à disposition d’une poignée d’artistes, designers et autres cinéastes pour mieux comprendre comment les professionnels créatifs utilisent cet outil.

Par la suite, Sora devrait enfin être accessible au grand public. On peut s’attendre à un lancement fin 2024 ou début 2025 !

Une révolution pour la réalité virtuelle ?

Au-delà du cinéma, de la publicité ou des clips musicaux, Sora pourrait aussi se révéler révolutionnaire pour le domaine de la réalité virtuelle.

En effet, cette IA pourrait potentiellement permettre à n’importe qui de créer des environnements immersifs et réalistes à partir d’un simple prompt textuel.

Ses capacités à simuler l’éclairage, la texture et la physique pourraient permettre de créer des environnements virtuels impossibles à distinguer de la réalité. Les utilisateurs auraient donc l’impression de plonger dans un véritable monde parallèle.

De plus, Sora est capable de créer du contenu d’une façon dynamique. Les environnements qu’elle génère peuvent réagir et évoluer en fonction des interactions des utilisateurs ou de la progression de la narration.

If you think OpenAI Sora is a creative toy like DALLE, … think again. Sora is a data-driven physics engine. It is a simulation of many worlds, real or fantastical. The simulator learns intricate rendering, « intuitive » physics, long-horizon reasoning, and semantic grounding, all… pic.twitter.com/pRuiXhUqYR
— Jim Fan (@DrJimFan) February 15, 2024

Dans le cas d’un jeu VR, l’environnement pourrait changer en fonction des décisions du joueur, d’un cycle météo, ou encore de l’heure de la journée pour offrir une expérience immersive et dynamique.

Les expériences VR pourraient aussi devenir hautement personnalisées. À partir des prompts de l’utilisateur, ou même de ses préférences ou de ses interactions passées, Sora peut modifier l’environnement en temps réel.

Elle peut créer des scénarios personnalisés, changer le niveau de difficulté d’un jeu ou d’une simulation de formation, ou même altérer l’esthétique d’un monde virtuel pour l’adapter à l’humeur de l’utilisateur.

Dès lors, les expériences pourront devenir beaucoup plus immersives et engageantes émotionnellement. Ceci peut s’avérer tout particulièrement intéressant dans les domaines tels que la thérapie, où la création d’une atmosphère spécifique peut fortement accroître l’efficacité d’un traitement par la VR.

La création de mondes virtuels à la portée de n’importe qui

Cette IA instaure aussi la possibilité de démocratiser la création d’environnements virtuels. Par exemple, pour les besoins de son cours, un enseignant pourrait demander à Sora de recréer une scène historique dans laquelle les élèves pourraient se plonger.

De même, les étudiants en médecine pourraient s’entraîner à effectuer des opérations chirurgicales au sein de simulations anatomiquement réalistes.

En permettant à n’importe qui de créer un environnement visuel à partir d’un texte, Sora peut éliminer les barrières à la création de contenu VR. Il ne sera plus nécessaire de posséder d’onéreuses ressources de développement, et tout un chacun pourra donner vie à ses idées !

Même pour les développeurs professionnels, Sora pourrait simplifier le processus de création de contenu VR et réduire le coût et le temps nécessaire. On pourrait donc s’attendre à une explosion du contenu de haute qualité.

Les scénaristes et créateurs d’expériences VR pourraient aussi exploiter Sora pour créer des histoires plus complexes et profondes, avec de multiples aspects. L’expérience pourrait être unique chaque fois que l’utilisateur recommence à s’y plonger.

Quels sont les champs d’application possibles ?

De toute évidence, Sora pourra révolutionner le VR Gaming en offrant aux développeurs tous les outils nécessaires pour créer des jeux détaillés et dynamiques réagissant aux actions du joueur.

Toutefois, les environnements VR créés par l’IA peuvent aussi servir pour des simulations de formation réalistes dans les domaines de la médecine, de l’aviation ou de l’ingénierie pour permettre d’acquérir des compétences plus rapidement.

Dans le secteur de la santé, les expériences VR créées par Sora peuvent être utilisées à des fins thérapeutiques, telles que le traitement des phobies ou pour aider les patients à se relaxer et à réduire leur stress.

Pour la culture et l’exploration historique, Sora peut permettre d’explorer les civilisations antiques et les planètes lointaines au travers d’expériences créées sur mesure.

De nombreux défis restent à relever

Avant que Sora fasse passer la réalité virtuelle au prochain niveau, d’importants défis doivent encore être relevés.

À l’heure actuelle, cette IA se contente de créer des vidéos. Il n’est donc pas possible de s’en servir pour générer des environnements 3D interactifs, dans lesquels il serait possible de s’immerger.

Pour créer ce type de contenu, il sera nécessaire de combiner Sora avec un autre outil afin de convertir les vidéos qu’elle crée en expériences immersives.

De plus, même si les vidéos présentées par OpenAI Sora sont impressionnantes, il ne s’agit que de démos soigneusement sélectionnées.

Comme les autres IA génératives de vidéos, telles que Luma Dream Machine ou Runway, on peut se douter que Sora crée souvent des vidéos incohérentes ou aberrantes en termes de physique.

Il faudra donc attendre que cet outil évolue pour permettre de créer des vidéos parfaitement réalistes afin de pouvoir les exploiter pour des cas d’usage comme la simulation chirurgicale.

Néanmoins, d’autres outils IA pourraient se révéler utiles bien avant pour la VR. C’est le cas de Google GameNGen : une intelligence artificielle capable de créer des jeux vidéo interactifs en temps réel !

Diffusion Models Are Real-Time Game Engines

abs: https://t.co/Fg8EOZ9DlI
project page: https://t.co/HK9IhZwYDa

Google presents GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories… pic.twitter.com/8YBvNbBsy0
— Tanishq Mathew Abraham, Ph.D. (@iScienceLuvr) August 28, 2024

Cette IA n’est pour l’instant qu’un projet de recherche, et se contente uniquement de recréer le vieux jeu vidéo Doom. À long terme, elle pourrait toutefois évoluer pour permettre de créer n’importe quel jeu à partir d’une description textuelle…

Quoi qu’il en soit, l’avenir de la réalité virtuelle semble bel et bien reposer sur l’intelligence artificielle et la capacité à créer des environnements virtuels à partir d’un simple prompt textuel.

Ceci va permettre de laisser libre cours à l’imagination humaine, et même de la transcender en laissant l’IA nous surprendre et inventer elle-même des mondes virtuels dans lesquels nous immerger !

Et vous, qu’en pensez-vous ? Êtes-vous enthousiasmé par les possibilités offertes par OpenAI Sora pour la VR ? Pensez-vous que l’IA soit la clé vers la prochaine étape de la réalité virtuelle ? Partagez votre avis en commentaire !

Partager l'article :