La communauté de l’intelligence artificielle (IA) est devenue si douée dans la production de faux gifs – jetez un œil à Sora d’OpenAI, introduit le mois dernier, avec ses fantastiques envolées de fantaisie – qu’il faut se poser une question intellectuelle et pratique : quoi ? Que devons-nous faire de toutes ces vidéos ?

aussi: OpenAI dévoile son modèle de conversion texte-vidéo, et les résultats sont étonnants.

Contrôlez-les avec notre outil VLOGGER, ont répondu cette semaine le chercheur de Google Enrique Corona et ses collègues. VLOGGER peut créer une vidéo HD de personnes parlant sur la base d'une seule image. Plus important encore, VLOGGER peut animer une vidéo sur la base d’un échantillon de parole, ce qui signifie que la technologie peut animer des vidéos comme une ressemblance contrôlée d’une personne – un « avatar » haute résolution.

Cet outil peut permettre toutes sortes de créativité. À un niveau plus simple, l’équipe Corona suggère que VLOGGER pourrait avoir un impact important sur les avatars du service d’assistance, car des humains parlant artificiellement plus réalistes peuvent « cultiver l’empathie ». Ils soulignent que la technologie pourrait « permettre des cas d’utilisation entièrement nouveaux, tels qu’une communication en ligne améliorée, l’éducation ou les assistants virtuels personnels ».

VLOGGER pourrait également ouvrir de nouvelles frontières en matière de deepfakes, de ressemblances réalistes qui disent et font des choses que la personne réelle ne ferait jamais. L'équipe Corona a l'intention de prendre en compte les impacts sociétaux de VLOGGER dans le matériel complémentaire supplémentaire. Cependant, ce matériel n'est pas disponible Sur la page GitHub du projet. ZDNET a contacté Corona pour lui demander des informations sur les documents justificatifs, mais n'a pas reçu de réponse au moment de la publication.

aussi: À mesure que les agents d’IA prolifèrent, les risques augmentent également, selon les scientifiques

Comme décrit dans le livre blanc « VLOGGER : Multimodal Diffusion for Embodied Avatar Synthesis », l’équipe Corona vise à aller au-delà des inexactitudes des avatars de pointe. « Créer des vidéos réalistes d'humains est encore complexe et truffé d'artefacts », a écrit l'équipe Corona.

L’équipe a remarqué que les avatars de la vidéo coupaient souvent le corps et les mains, ne montrant que le visage. VLOGGER peut montrer des torses complets avec des mouvements de main. D'autres outils ont généralement des variations limitées entre les expressions faciales ou les poses, ne fournissant qu'une synchronisation labiale rudimentaire. VLOGGER peut créer « une vidéo haute résolution des mouvements de la tête et du haut du corps » […] Il présente des expressions faciales et des gestes très divers » et constitue « le premier moyen de générer des humains parlants et animés à partir d’une entrée vocale ».

Comme l’explique l’équipe de recherche : « C’est spécifiquement l’automatisation et le réalisme comportemental qui [are] Ce que nous visons dans ce travail : VLOGGER est une interface multimodale pour un agent conversationnel incarné, équipée d'une représentation audio et visuelle animée, présentant des expressions faciales complexes et un niveau accru de mouvements corporels, et est conçue pour prendre en charge des conversations naturelles avec l'humain. utilisateur. »

VLOGGER rassemble quelques tendances récentes en matière d'apprentissage profond.

Le multimédia rassemble les nombreux modes que les outils d’IA peuvent ingérer et synthétiser, notamment le texte, l’audio, les images et la vidéo.

Les grands modèles de langage, tels que GPT-4 d'OpenAI, permettent d'utiliser le langage naturel comme entrée pour guider des actions de toutes sortes, qu'il s'agisse de créer des paragraphes de texte, une chanson ou une image.

Les chercheurs ont également découvert de nombreuses façons de créer des images et des vidéos réalistes ces dernières années en améliorant la « diffusion ». Ce terme vient de la physique moléculaire et fait référence à la façon dont, à mesure que la température augmente, les molécules d'une substance passent d'une forte concentration dans une zone à une plus grande dispersion. Par analogie, les bits d’information numérique peuvent être considérés comme « étalés » à mesure qu’ils deviennent incohérents avec le bruit numérique.

aussi: En passant par Gemini, vous constaterez que l'IA open source a ses propres astuces vidéo

L'IA de déploiement introduit du bruit dans l'image et reconstruit l'image originale pour entraîner le réseau neuronal à trouver les règles selon lesquelles elle a été générée. La diffusion est à la base de la création de superbes images dans Stable Diffusion de Stability AI et DALL-E d'OpenAI. C'est aussi ainsi qu'OpenAI crée de superbes vidéos dans Sora.

Pour VLOGGER, l'équipe Corona a formé un réseau neuronal pour associer la voix d'un locuteur aux images vidéo individuelles de ce locuteur. L'équipe a combiné un processus de déploiement pour reconstruire une image vidéo à partir de l'audio en utilisant une autre innovation récente, le transformateur.

Le convertisseur utilise une méthode d'attention pour prédire les images vidéo en fonction des images survenues dans le passé, en conjonction avec l'audio. En prédisant les actions, le réseau neuronal apprend à restituer avec précision les mouvements des mains et du corps ainsi que les expressions faciales, image par image, en synchronisation avec le son.

La dernière étape consiste à utiliser les prédictions de ce premier réseau neuronal pour alimenter ultérieurement la génération d'images vidéo haute résolution à l'aide d'un deuxième réseau neuronal qui utilise également la diffusion. Cette deuxième étape représente également une note élevée dans les données.

aussi: L’IA générative échoue face à cette capacité bien trop courante de la pensée humaine

Pour créer des images haute résolution, l’équipe Corona a compilé MENTOR, un ensemble de données de 800 000 « identités » à partir de vidéos de personnes parlant. MENTOR comprend 2 200 heures de vidéo, qui, selon l'équipe, constituent « le plus grand ensemble de données utilisé à ce jour en termes d'identités et de longueur » et est dix fois plus volumineux que les ensembles de données similaires précédents.

Les auteurs ont découvert qu’ils pouvaient améliorer ce processus grâce à une étape de suivi appelée « réglage fin ». En envoyant une vidéo complète à VLOGGER, après avoir été « pré-entraînés » sur MENTOR, ils peuvent capturer de manière plus réaliste les particularités du mouvement de la tête d'une personne, comme le clignement des yeux : « En affinant notre modèle de diffusion en utilisant plus de données, en un seul clic. vidéo. » Pour un sujet, VLOGGER peut apprendre à mieux capturer l’identité, par exemple lorsqu’une image de référence montre les yeux fermés, un processus que l’équipe appelle « personnalisation ».

Le point le plus important de cette approche – connecter les prédictions dans un seul réseau neuronal à des images haute résolution, et ce qui rend VLOGGER passionnant – est que le logiciel ne se contente pas de créer une vidéo, comme le fait Sora. VLOGGER associe cette vidéo à des actions et expressions contrôlables. Les vidéos réalistes peuvent être manipulées au fur et à mesure de leur apparition, comme des marionnettes.

aussi: Le PDG de Nvidia, Jensen Huang, dévoile la famille de chipsets « Blackwell » de nouvelle génération au GTC

« Notre objectif est de combler le fossé entre les efforts récents de synthèse vidéo, qui peuvent créer des vidéos dynamiques sans contrôler l'identité ou la pose, et les méthodes de génération d'images contrôlables », a écrit l'équipe Corona.

Un VLOGGER peut non seulement être un avatar à commande vocale, mais peut également remplir des fonctions d'édition, telles que changer la bouche ou les yeux de la personne qui parle. Par exemple, la personne par défaut qui cligne beaucoup des yeux dans une vidéo peut être modifiée pour cligner peu ou pas du tout. La méthode pour parler avec une bouche large peut être réduite à un mouvement plus distinct des lèvres.

Maintenant que nous avons atteint un nouveau niveau de progrès dans la simulation humaine, la question que l’équipe Corona n’a pas abordée est de savoir ce que le monde devrait attendre de toute utilisation abusive de la technologie. Il est facile d’imaginer des personnalités politiques dire quelque chose de complètement catastrophique à propos d’une guerre nucléaire imminente, par exemple.

Vraisemblablement, la prochaine étape de ce jeu d'avatar sera celle des réseaux de neurones, tels que 'Test de Voight-Kampf« Dans le film Blade Runner, cela peut aider la communauté à déterminer lesquels sont de vrais orateurs et lesquels ne sont que de faux avec une morale remarquablement dynamique.