La nouvelle recherche AI ​​vous permet de cliquer et de faire glisser des images pour les manipuler en quelques secondes

Non, ce n’est pas fini : la capacité des outils d’IA à traiter les images ne cesse de croître. Le dernier exemple n’est pour l’instant qu’un document de recherche, mais il est très impressionnant, car il permet aux utilisateurs de simplement faire glisser des éléments d’une image pour modifier leur apparence.

À première vue, cela ne semble pas très excitant, mais jetez un œil aux exemples ci-dessous pour avoir une idée de ce que ce système peut faire.

Non seulement vous pouvez modifier les dimensions de la voiture ou manipuler un sourire en fronçant les sourcils d’un simple toucher et glisser, mais vous pouvez également faire pivoter le sujet de la photo comme s’il s’agissait d’un modèle 3D, en changeant la direction à laquelle une personne fait face, par exemple. Une démo montre l’utilisateur ajustant les reflets sur un lac et la hauteur d’une chaîne de montagnes en quelques clics.

Voici un aperçu des différents sujets :

Voici un examen plus approfondi du traitement du paysage :

Et juste pour le fun, bricolez avec le noir :

Ces vidéos proviennent de Page d’accueil de l’équipe de recherchebien que cela puisse être perturbé par la quantité de trafic envoyé au site par Twitter (Principalement par user_akhaliq, qui fait un excellent travail en mettant en évidence des articles intéressants sur l’IA et mérite un suivi si cela vous intéresse). Vous pouvez également lire l’article sur arXiv ici.

Comme l’a noté l’équipe responsable, la chose vraiment intéressante à propos de ce travail n’est pas nécessairement la manipulation d’images en soi, mais l’interface utilisateur. Nous avons pu utiliser des outils d’IA comme les GAN pour créer des images photoréalistes depuis un certain temps déjà, mais la plupart des méthodes manquent de flexibilité et de précision. Vous pouvez demander à un générateur d’images IA de « faire une image d’un lion traquant une savane », et il en obtiendra une, mais ce ne sera peut-être pas le cas. exactement Composez ce dont vous avez envie ou besoin.

Ce modèle, appelé DragGAN, offre une solution évidente à cela. L’interface est exactement la même que la déformation d’image traditionnelle, mais au lieu de simplement maculer et pixeliser les pixels existants, le modèle crée le thème à nouveau. Comme l’ont écrit les chercheurs :[O]Votre approche peut conduire à des hallucinations du contenu enfermé, comme les dents à l’intérieur de la gueule d’un lion, et il peut se déformer après que l’objet se soit solidifié, comme plier la jambe d’un cheval. »

Évidemment, ce n’est qu’une démonstration pour le moment, et il est impossible d’évaluer complètement la technologie. (Dans quelle mesure les images finales sont-elles réalistes, par exemple ? C’est difficile à dire sur la base des vidéos basse résolution disponibles.) Mais c’est un autre exemple de faciliter la manipulation d’images.