Meta défie OpenAI avec Movie Gen, son nouveau modèle génératif de vidéo avec du son

Meta, la maison mère de Facebook et Instagram, vient de lancer Movie Gen, un modèle d’intelligence artificielle capable de générer des vidéos réalistes en HD de 16 secondes avec du son. Il suffit de lui communiquer un prompt ou si vous voulez de rédiger un court texte décrivant votre vidéo.

Plusieurs clips de courtes vidéos partagés par Meta

Le modèle d’IA Movie Gen a la capacité de produire des vidéos réalistes avec des effets sonores et de la musique en 16 ou 24 images par seconde. Les vidéos générées ont des résolutions pouvant aller jusqu’à 1080 pixels. Ainsi, il sera bientôt très facile de générer des vidéos à partir des commandes textuelles de base. Meta affirme également que son outil d’IA est aussi capable de produire des vidéos sur mesure à partir d’une simple une photo.

Selon l’entreprise, Movie Gen est perçu comme sa « troisième innovation IA générative », les deux précédents étant Make-A-Scene et son modèle le plus récent qui génère des contenus textuels, IA Llama.

Pour que le son puisse être intégré à la vidéo, Meta possède s’appuie sur un autre modèle audio avec 13 milliards de paramètres pouvant générer 45 secondes de contenu à 48 kHz synchronisé avec la vidéo. Ainsi, les effets sonores se synchronisent parfaitement avec les séquences vidéo générées.  Toutefois, la prise en charge de la voix synchronisée n’est pas encore disponible. Il se pourrait que Meta continue de travailler dessus.

Pour montrer les capacités de Movie Gen, Meta a partagé des clips tels qu’un bébé hippopotame nageant dans une rivière, un pingouin vêtu d’une tenue victorienne, une « femme DJ » faisant tourner des disques et un koala surfant. Selon l’entreprise, ces modèles ont été entraînés à l’aide d’une combinaison d’ensembles de données sous licence et accessibles au public, sans préciser la source de données spécifique utilisée pour Movie Gen.

Movie Gen sera disponible dès l’année prochaine sur Instagram

Meta an affirmé dans un billet de blog annonçant l’outil : « nous croyons que tout le monde devrait pouvoir bénéficier d’outils qui favorisent leur créativité, que ce soit un jeune cinéaste qui aspire à faire ses débuts à Hollywood ou un créateur qui apprécie créer des vidéos pour son public ». Alors, pour éviter toute polémique, la maison mère de Facebook souligne que même si ce modèle de base présente de nombreux cas d’utilisation intéressants, il convient de préciser que l’IA générative ne se substitue pas au travail des artistes et des animateurs.

L’entreprise a annoncé que Movie Gen était encore en phase d’essai avant sa mise en ligne. Elle a fourni des informations techniques supplémentaires sur Movie Gen dans un document de recherche de 92 pages.

Meta n’est pas seul à vouloir fournir ce service. Un autre système similaire de conversion de texte en vidéo est Sora d’OpenAI, mais il n’est pas encore disponible pour le grand public. De nombreuses personnes du domaine des médias et du divertissement commencent à montrer leur inquiétude face à ces outils IA qui risquent de bouleverser le secteur de l’audio-visuel.