Connect with us

Tech

Lumiere de Google rend la vidéo IA plus proche de la réalité que de l'irréalité

Published

on

Lumiere de Google rend la vidéo IA plus proche de la réalité que de l'irréalité

Le nouveau modèle d'IA de Google pour la génération vidéo Lumière A est utilisé Un nouveau modèle de diffusion est appelé Space-Time-U-Net, ou STUNet, qui détermine où se trouvent les objets dans la vidéo (espace) et comment ils se déplacent et changent en même temps (temps). Ars Technica Cette méthode permet à Lumiere de créer la vidéo en un seul processus plutôt que d'assembler des images fixes plus petites, note cette méthode.

Lumière commence par créer un cadre de base à partir du vecteur. Il utilise ensuite le framework STUNet pour commencer à approximer l'endroit où les objets se déplaceront dans cette image afin de créer davantage d'images qui s'enchaînent les unes dans les autres, créant ainsi l'apparence d'un mouvement fluide. Lumiere crée également 80 images contre 25 images pour Stable Video Diffusion.

Certes, je suis plus un journaliste textuel qu'un spécialiste de la vidéo, mais le communiqué de presse de Google, ainsi qu'un article scientifique pré-imprimé, montrent que les outils de création et d'édition vidéo IA sont passés de l'étrange vallée à presque la réalité en quelques années seulement. . Il implante également la technologie de Google dans un espace déjà occupé par des concurrents comme Runway, Stable Video Diffusion ou Meta's Emu. Runway, l'une des premières plates-formes texte-vidéo produites en masse, a lancé Runway Gen-2 en mars de l'année dernière et a commencé à proposer des vidéos plus réalistes. Les vidéos de défilés ont également du mal à capturer l’action.

Google a eu la gentillesse de mettre les clips et les invites sur le site Lumière, ce qui m'a permis de placer les mêmes invites sur Runway à des fins de comparaison. Voici les résultats:

READ  La prise en charge de DirectX 12 arrive sur CrossOver sur Mac avec la dernière mise à jour - Ars Technica

Oui, certains des clips présentés ont une touche industrielle, surtout si l'on regarde bien la texture de la peau ou si la scène est plus atmosphérique. mais Regardez cette tortue ! Elle bouge comme une tortue dans l'eau ! On dirait une vraie tortue ! J'ai envoyé la vidéo d'introduction de Lumière à un ami qui est monteur vidéo professionnel. Même si elle a noté que « on peut clairement dire que ce n'est pas tout à fait réel », elle a trouvé impressionnant que si je ne lui disais pas que c'était de l'IA, elle penserait que c'était CGI. (Elle a également dit : « Cela me prendrait mon travail, n'est-ce pas ? »)

D'autres modèles assemblent des clips vidéo à partir d'images clés générées là où l'action s'est réellement produite (pensez aux dessins dans un livre papier), tandis que STUNet permet à Lumiere de se concentrer sur l'action elle-même en fonction de l'endroit où le contenu généré doit se trouver à un moment spécifique de la vidéo.

Google n'a pas été un acteur majeur dans la catégorie texte-vidéo, mais il a lentement publié des modèles d'IA plus avancés et s'est orienté vers le multimédia. Son Grand Modèle de Langage Gemini apportera éventuellement la génération d’images au Barde. Lumiere n'est pas encore disponible pour les tests, mais il montre la capacité de Google à développer une plate-forme vidéo IA comparable – et sans doute légèrement meilleure – aux générateurs vidéo IA généralement disponibles comme Runway et Pika. Et pour mémoire, c’est là qu’en était Google avec la vidéo IA il y a quelques années.

READ  5 choses à savoir avant de jouer à Forza Horizon 5

Clip Google Imagen de 2022
Image : Google

En plus de créer une conversion texte-vidéo, Lumiere permettra également de créer une conversion image-vidéo, une création stylisée, permettant aux utilisateurs de créer des vidéos dans un style spécifique, des graphiques cinématographiques qui n'animent qu'une partie de la vidéo et de dessiner pour masquez une zone de la vidéo pour changer la couleur ou le style.

Cependant, l'étude de Google Lumière souligne qu'« il existe un risque d'abus pour créer du contenu faux ou malveillant à l'aide de notre technologie, et nous pensons qu'il est essentiel de développer et de mettre en œuvre des outils pour détecter les préjugés et les cas d'utilisation malveillante afin de garantir une expérience sûre et équitable. « . est utilisé. » Les auteurs du document n’ont pas expliqué comment cela pourrait être réalisé.

Continue Reading
Click to comment

Leave a Reply

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Tech

Google vient de lancer un nouvel outil pour vous aider à identifier les appels téléphoniques frauduleux

Published

on

Google vient de lancer un nouvel outil pour vous aider à identifier les appels téléphoniques frauduleux

Le nombre d’appels qui s’avèrent provenir d’escrocs opportunistes est actuellement hors de contrôle – au point que vous ne voulez même plus répondre au téléphone. Il existe de nombreux outils pour vous aider à lutter contre les appels frauduleux, mais Google commence tout juste à déployer ce qui pourrait être le meilleur à ce jour.

le Application de téléphone Google Il dispose déjà d’une fonction d’annuaire, fournissant une identification de l’appelant pour les numéros que vous n’avez pas déjà dans votre liste de contacts. D’après mon expérience, ceux-ci sont souvent liés à des entreprises ou à des sous-traitants, et non à des numéros personnels. Alors, que faites-vous si un numéro aléatoire inconnu tente de vous joindre ? Vous pouvez utiliser le nouveau bouton de recherche.

Continue Reading

Tech

Des chercheurs profitent de l’impression à jet d’encre pour fabriquer une caméra multispectrale 3D portable

Published

on

Les chercheurs ont utilisé l’impression à jet d’encre pour créer une version multispectrale compacte d’une caméra à champ lumineux. La caméra, qui peut tenir dans la paume de la main, pourrait être utile pour de nombreuses applications, notamment la conduite autonome, le tri des matériaux recyclés et la télédétection.

Les informations spectrales 3D peuvent être utiles pour classer des objets et des matériaux ; Cependant, la capture d’informations spatiales et spectrales 3D à partir d’une scène nécessite généralement plusieurs appareils ou des analyses fastidieuses. La nouvelle caméra à champ lumineux résout ce défi en acquérant simultanément des informations 3D et des données spectrales en une seule prise.

« À notre connaissance, il s’agit de la version la plus avancée et la plus intégrée d’une caméra à champ lumineux multispectral », a déclaré Uli Lemmer, chef de l’équipe de recherche de l’Institut de technologie de Karlsruhe en Allemagne. « Nous l’avons combiné avec de nouvelles méthodes d’IA pour reconstruire la profondeur et les propriétés spectrales d’une scène afin de créer un système de détection avancé pour les informations 3D. »

Dans la revue Optica Publishing Group Optique ExpressLes nouvelles méthodes de reconstruction de caméra et d’image peuvent être utilisées pour distinguer les objets d’une scène en fonction de leurs propriétés spectrales, rapportent les chercheurs. Le recours à l’impression jet d’encre pour fabriquer les principaux composants optiques de l’appareil photo permet de les personnaliser facilement ou de les fabriquer en grande quantité.

« Les données 3D reconstruites à partir d’images de caméras sont largement utilisées dans la réalité virtuelle et augmentée, les voitures autonomes, la robotique, les appareils domestiques intelligents, la télédétection et d’autres applications », a déclaré Michael Heisman, membre de l’équipe de recherche. « Cette nouvelle technologie pourrait, par exemple, permettre aux robots de mieux interagir avec les humains ou d’améliorer la précision du tri et de la séparation des matériaux lors du recyclage. Elle pourrait également être utilisée pour classer les tissus sains et malades. »

READ  Casque Apple Reality AR/VR : Une fuite majeure partage de nouveaux détails

Ajoutez de la couleur avec l’impression jet d’encre

Les caméras à champ lumineux, également appelées caméras complètes, sont des dispositifs d’imagerie spécialisés qui capturent la direction et l’intensité des rayons lumineux. Après l’acquisition de l’image, un traitement informatique est utilisé pour reconstruire les informations de l’image 3D à partir des données acquises. Ces caméras utilisent généralement des réseaux de microlentilles compatibles avec les pixels de la puce de la caméra haute résolution.

Pour créer une caméra à champ lumineux multispectral, les chercheurs ont utilisé l’impression à jet d’encre pour déposer une seule goutte de matériau afin de former chaque lentille individuelle sur un côté des lames de microscope à super-résolution, puis ont imprimé des réseaux de filtres couleur entièrement alignés de l’autre côté du microscope. diapositives. Le composant optique obtenu est intégré directement dans une puce de caméra CMOS. La méthode d’impression à jet d’encre a permis un alignement précis entre les composants optiques, réduisant considérablement la complexité de fabrication et améliorant l’efficacité.

Étant donné que cette configuration produit des informations spectrales et de profondeur entrelacées dans l’image de la caméra, les chercheurs ont développé des méthodes pour séparer chaque composant. Ils ont constaté qu’une approche basée sur l’apprentissage profond est la meilleure pour extraire les informations requises directement à partir des mesures acquises.

Détection d’objets spectraux

« Relever le défi de la création d’une caméra à champ lumineux multispectral n’a été possible qu’en combinant les progrès récents en matière de fabrication, de conception de systèmes et de reconstruction d’images basée sur l’IA », a déclaré Qiaoshuang Zhang, premier auteur de l’étude. « Ce travail repousse les limites de l’impression à jet d’encre – une méthode polyvalente à haute résolution et évolutive industrielle – pour la fabrication de composants photoniques. »

READ  La prise en charge de DirectX 12 arrive sur CrossOver sur Mac avec la dernière mise à jour - Ars Technica

Les chercheurs ont testé la caméra en enregistrant une scène de test contenant des objets 3D multicolores à différentes distances. L’algorithme de reconstruction d’images a été entraîné et testé sur plusieurs images multispectrales synthétiques et réelles. Les résultats démontrent qu’une caméra typique peut acquérir simultanément des informations spatiales et spectrales 3D, et que différents objets peuvent être imagés et étiquetés avec différentes compositions spectrales et informations de profondeur en une seule prise.

Maintenant qu’ils ont terminé cette première preuve de concept, les chercheurs explorent plusieurs applications dans lesquelles une caméra à champ lumineux capable d’acquérir des informations multispectrales pourrait être utile.

Continue Reading

Tech

Les fonds d’écran Xbox s’améliorent et peuvent enfin mémoriser davantage de réseaux Wi-Fi

Published

on

Les fonds d’écran Xbox s’améliorent et peuvent enfin mémoriser davantage de réseaux Wi-Fi

Microsoft est Déployer une mise à jour Xbox Vous permet d’afficher l’image du jeu avec n’importe quel arrière-plan Xbox Home. Cela signifie que vous continuerez à voir votre arrière-plan dynamique ou régulier lorsque vous ne faites pas défiler différents jeux.

Auparavant, Microsoft vous permettait uniquement d’afficher l’image du jeu en utilisant le fond d’écran Xbox Home par défaut. Maintenant, vous pouvez conserver votre arrière-plan Et Découvrez l’art du jeu sans avoir à choisir entre les deux. Microsoft a commencé à tester cette fonctionnalité pour la première fois en avril, et vous pouvez voir à quoi elle ressemble dans cet article intégré de mon collègue Tom Warren.

Pour activer cette option, accédez au menu Paramètres Xbox, puis sélectionnez Général > Personnalisation > Mon fond d’écran. De là, choisissez Afficher l’illustration du jeu sélectionnée. Vous pouvez désormais également mettre à jour votre couleur d’arrière-plan dynamique sans changer la couleur de votre profil.

Microsoft déploie également d’autres mises à jour, notamment la possibilité pour votre Xbox de mémoriser jusqu’à 10 réseaux Wi-Fi, ce qui vous évite d’avoir à configurer à nouveau les informations réseau et les mots de passe chaque fois que vous déplacez votre console d’un réseau. d’un endroit à un autre.

Une mise à jour de la console est également en cours de déploiement, permettant à la manette adaptative Xbox d’avoir « une prise en charge étendue pour davantage d’accessoires USB connectés », chaque port prenant désormais en charge jusqu’à 12 boutons, une deuxième clé et un interrupteur chapeau, ainsi qu’un son plus stable. connexions aux PC. Casque connecté à une manette de jeu Elite Wireless 2.

READ  Casque Apple Reality AR/VR : Une fuite majeure partage de nouveaux détails

De plus, Microsoft offre à tous la prise en charge de la souris et du clavier dans Xbox Cloud Gaming et permettra désormais aux joueurs de gérer les données de jeu et de sauvegarder automatiquement les titres joués sur leur navigateur, le site Web Xbox ou l’application Xbox sur les téléviseurs Samsung.

Continue Reading

Trending

Copyright © 2023