Connect with us

Tech

La nouvelle IA de DeepMind crée des clips audio et des dialogues pour les vidéos

Published

on

La nouvelle IA de DeepMind crée des clips audio et des dialogues pour les vidéos

DeepMind, le laboratoire de recherche sur l’IA de Google, affirme développer une technologie d’IA pour créer des clips audio pour les vidéos.

dans mail Sur son blog officiel, DeepMind déclare considérer la technologie V2A (vidéo vers audio) comme une pièce clé du puzzle médiatique généré par l’IA. Bien que de nombreuses organisations, dont DeepMind, aient développé des modèles d’IA pour la création vidéo, ces modèles ne peuvent pas créer d’effets audio à synchroniser avec les vidéos qu’ils créent.

« Les modèles de génération vidéo progressent à un rythme incroyable, mais de nombreux systèmes actuels ne peuvent générer qu’une sortie silencieuse », a écrit DeepMind. « La technologie V2A [could] « C’est devenu une manière prometteuse de donner vie aux films qui ont été produits. »

La technologie V2A de DeepMind prend une description de la bande sonore (par exemple, « méduses palpitant sous l’eau, vie marine, océan ») combinée à une vidéo pour créer de la musique, des effets sonores et même des dialogues qui correspondent aux personnages et au ton de la vidéo, filigranés par un deepfake pour DeepMind. -Technologie Anti-SynthID. DeepMind affirme que le modèle d’IA qui alimente V2A – un modèle de publication – a été formé sur une combinaison de voix et de transcriptions de dialogues ainsi que de clips vidéo.

« En s’entraînant sur de la vidéo, de l’audio et des annotations supplémentaires, notre technologie apprend à associer des événements audio spécifiques à différentes scènes visuelles, en réponse aux informations fournies dans les annotations ou le texte », écrit DeepMind.

C’est maman qui sait si l’une des données de formation est protégée par le droit d’auteur – et si les créateurs de données connaissaient le travail de DeepMind. Nous avons contacté DeepMind pour obtenir des éclaircissements et mettrons à jour cet article si nous recevons une réponse.

READ  Tag Heuer lance la montre Carrera Chronograph en or 18 carats – WWD

Les outils de génération audio basés sur l’IA ne sont pas nouveaux. Startup Stability AI en a publié un la semaine dernière et ElevenLabs en a lancé un en mai. Il n’existe aucun modèle pour créer des effets sonores vidéo. Microsoft projet Il peut créer des vidéos parlantes et chantantes à partir d’une image fixe et de plateformes telles que Becca Et TypeX Ils ont formé des modèles à prendre une vidéo et à deviner au mieux quelle musique ou quels effets sont appropriés dans une scène donnée.

Mais DeepMind affirme que sa technologie V2A est unique dans la mesure où elle peut comprendre les pixels bruts d’une vidéo et synchroniser automatiquement les sons résultants avec la vidéo, éventuellement sans description.

V2A n’est pas parfait, et DeepMind le reconnaît. Étant donné que le modèle de base n’est pas entraîné sur un grand nombre de vidéos contenant des artefacts ou des distorsions, il ne crée pas un son de qualité particulièrement élevée pour ces clips. En général, le son résultant n’est pas excellent masqué; Ma collègue Natasha Lomas l’a décrit comme « une variété de voix stéréotypées », et je ne peux pas dire que je ne suis pas d’accord.

Pour ces raisons, et afin d’éviter toute utilisation abusive, DeepMind déclare qu’elle ne rendra pas cette technologie au public de si tôt, voire pas du tout.

« Pour garantir que notre technologie V2A puisse avoir un impact positif sur la communauté créative, nous recueillons diverses perspectives et idées auprès de créateurs et cinéastes de premier plan, et utilisons ces précieux commentaires pour guider nos recherches et développements en cours », a écrit DeepMind. « Avant d’envisager d’ouvrir l’accès au grand public, notre technologie V2A sera soumise à des évaluations et des tests de sécurité rigoureux. »

READ  forfait | Le prix du smartphone Google Pixel 6a a été réduit de 33% sur Amazon

DeepMind propose sa technologie V2A comme un outil particulièrement utile pour les archivistes et les personnes travaillant avec des images historiques. Mais, comme je l’ai écrit dans un article ce matin, l’IA générative dans ce sens menace également de bouleverser l’industrie du cinéma et de la télévision. Il faudra renforcer la protection des travailleurs pour garantir que les outils de médias génératifs ne suppriment pas des emplois – ou, selon le cas, des carrières entières.

Continue Reading
Click to comment

Leave a Reply

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Tech

Conseils, réponses et aide du New York Times aujourd’hui, 13 juillet, #132

Published

on

Strands ne reçoit pas autant d’attention que Wordle and Connections du New York Times, mais cela peut être tout aussi stimulant et divertissant. Strands vient de sortir de la version bêta, il est donc désormais disponible sur l’application de jeu officielle du New York Times, ce qui pourrait lui attirer encore plus de fans. Je parlerai en détail des règles de Strands dans cette histoire.

Si vous lisez ceci, vous avez probablement besoin d’aide Casse-tête de filBon, commençons. Attention : si vous descendez trop loin, trop vite, vous verrez des spoilers.

Besoin de plus de réponses ? Voici les réponses au puzzle Wordle d’aujourd’hui, et voici les réponses au puzzle Connections d’aujourd’hui.

En savoir plus: NYT Connections fête son premier anniversaire : voici les 5 énigmes les plus difficiles à ce jour

Indice pour le casse-tête du fil d’aujourd’hui

Le sujet du fil de discussion d’aujourd’hui est : Hello Kitty.

Mais si cela ne suffit pas, en voici la preuve : un bon chat.

Mots d’indice pour débloquer des indices dans le jeu

Votre objectif est de trouver des mots cachés qui correspondent au thème du puzzle. Si vous êtes bloqué, recherchez tous les mots que vous pouvez trouver. Chaque fois que vous trouvez trois mots de quatre lettres ou plus, Strands révélera l’un des mots-clés. Voici les mots que j’ai utilisés pour ces astuces, mais tous les mots de quatre lettres ou plus que vous trouverez fonctionneront :

  • bébé, dommages, tortue, coquille, carence, crabe, carence, tortue, poney, grand, gamme, garde.

Réponses au casse-tête du fil d’aujourd’hui

Ce sont les réponses qui se rapportent au sujet. Le but du puzzle est de trouver toutes les réponses, y compris le « spangram », un mot thématique qui court d’un côté à l’autre du puzzle. Lorsque vous aurez obtenu toutes les réponses (au départ, je pensais qu’il y en avait toujours huit, mais j’ai appris que le nombre peut varier), vous utiliserez chaque lettre du tableau. Voici les réponses non-spangram :

  • Rayé, festonné, noir, calicot, smoking, orange.
READ  Athboy accueille les bénévoles de Google pour participer aux activités de Tidy Towns

Discussions sur Spanggram aujourd’hui

Aujourd’hui, la chaîne spangram est Manteau de fourrure. Pour illustrer cela, commencez par la lettre F qui se trouve à cinq lettres dans la première colonne de gauche, puis passez au chiffre suivant.

Le mystère du jeu Threads du 13 juillet a été résolu. Le mystère du jeu Threads du 13 juillet a été résolu.

Ce doit être le miaulement du chat.

Capture d’écran de Gael Fashingbauer Cooper/CNET

Comment jouer à NYT Strands

1. Utilisez le sujet du jour pour rechercher des mots liés à ce sujet. Avez-vous vu le mot ? Faites glisser ou cliquez sur les lettres dans l’ordre. Cliquez deux fois sur la dernière lettre pour soumettre votre proposition. Si vous trouvez un mot thématique, il s’allumera en bleu et restera ainsi.

2. Les autres mots que vous trouvez sont des mots-indices qui vous donnent des indices sur les mots-clés. Trouvez trois mots-indices (chacun doit contenir au moins quatre lettres) et le jeu vous récompensera en vous montrant un mot-clé. Mais si vous ne parvenez pas à le déchiffrer, recherchez trois autres mots-clés et le jeu mettra en évidence les lettres du mot-clé dans l’ordre.

3. Recherchez spangramme, un mot thématique spécial qui traverse tout le puzzle, bien qu’il puisse circuler à travers le puzzle ou de haut en bas. Il résume le thème du puzzle.

4. Lorsque vous aurez terminé, vous aurez utilisé chaque lettre du tableau soit dans un mot thématique, soit dans un spangram. Les mots du sujet remplissent tout le tableau et ne se chevauchent pas.

Continue Reading

Tech

La machine à griffes chimiques se plie et s’étire lorsqu’elle est exposée aux fumées

Published

on

Des scientifiques de l’Université des sciences et technologies King Abdullah (KAUST) en Arabie Saoudite ont réussi à développer une petite « machine à griffes » capable de ramasser et de laisser tomber une balle de la taille d’une bille en réponse à une exposition à des vapeurs chimiques.

Les résultats ont été publiés le 12 juillet dans la revue chimieLes chercheurs évoquent une technologie qui pourrait permettre aux actionneurs souples – les pièces qui déplacent une machine – d’effectuer plusieurs tâches sans avoir recours à des matériaux supplémentaires coûteux. Alors que les actionneurs souples actuels peuvent être des « outils simples » limités à un seul type de mouvement, ce nouveau film composite se déforme de différentes manières en fonction de la vapeur à laquelle il est exposé.

L’auteur Nevin M. dit : « Il peut se plier et s’étirer en fonction d’interactions moléculaires, ce qui est très sophistiqué dans cette gamme de taille », Khashab, professeur de chimie à KAUST. « Nous espérons que nos résultats seront utilisés pour développer des systèmes robotiques logiciels avancés capables d’effectuer des mouvements précis et adaptables dans différents environnements », ajoute-t-elle, notant que les systèmes pourraient être utilisés dans les dispositifs médicaux, l’automatisation industrielle et les instruments utilisés pour mesurer la température, l’air. qualité et humidité.

Pour tester la capacité de la machine à griffes à effectuer plusieurs tâches, les chercheurs l’ont d’abord exposée à l’acétone. En présence de cette vapeur, l’appareil saisit une boule de coton rouge et l’étendit pour pouvoir la déposer dans une boîte. Lorsque l’équipe a exposé la machine à de la vapeur d’éthanol, elle a saisi la boule de coton et l’a retirée de la boîte.

READ  Athboy accueille les bénévoles de Google pour participer aux activités de Tidy Towns

Contrairement aux actionneurs rigides des « robots rigides », qui peuvent être en métal ou en plastique durable, les actionneurs souples sont flexibles, leur permettant d’effectuer une gamme de tâches que leurs homologues rigides ne peuvent pas. En conséquence, les actionneurs souples sont devenus la technologie de choix pour les applications de pointe telles que l’agriculture de précision, l’exploration des fonds marins et les appareils portables.

Mais les actionneurs souples sont encore limités : ils peuvent se plier, se tordre ou s’étirer, mais aucun actionneur ne peut se déplacer de plusieurs manières, ce qui les empêche d’effectuer des tâches plus complexes qui leur permettraient un plus large éventail d’utilisations. Alors que les chercheurs ont récemment expérimenté des conceptions de moteurs visant à donner aux appareils une plus grande amplitude de mouvement, bon nombre de ces stratégies impliquent la combinaison de différents matériaux, ce qui les rend coûteux et difficiles à fabriquer tout en augmentant le risque de défaillance mécanique.

Pour surmonter ce défi, Khashab et ses collègues ont développé une machine à griffes constituée d’une matrice polymère contenant des cages moléculaires avec l’urée, un composé organique. Les chercheurs ont choisi l’urée pour les cages car le composé peut former plusieurs liaisons hydrogène, permettant aux molécules d’urée de se reconstituer rapidement lorsqu’elles sont exposées à différentes molécules présentes dans les vapeurs. En conséquence, les propriétés du matériau peuvent être contrôlées avec précision, ce qui facilite sa personnalisation.

Les résultats suggèrent que le matériau à partir duquel la machine est fabriquée peut être « programmé efficacement pour réaliser des mouvements complexes en contrôlant judicieusement le type et la concentration du stimulus vapeur », écrivent les auteurs.

READ  WhatsApp propose un plan d'abonnement premium pour les propriétaires d'entreprise

« La découverte la plus impressionnante a été le comportement d’actionnement unique dans lequel l’actionneur souple effectuait un mouvement complexe impliquant ‘courbure, étirement et retour’, qui n’avait jamais été rapporté auparavant », explique Khashab.

Khashab dit que l’équipe prévoit ensuite d’étudier la densité énergétique de la machine à griffes et l’efficacité de la conversion d’énergie afin d’améliorer ses performances. Ils testeront également sa capacité à produire des signaux électriques lorsque l’actionneur souple est combiné avec des matériaux générant une charge électrique. L’objectif ultime est de développer des appareils électroniques flexibles et portables, explique Khashab.

Ce travail a été soutenu par l’Université des sciences et technologies du roi Abdallah (KAUST).

Continue Reading

Tech

Anita Sasdi a été nommée responsable de la production chez Hijinks après une période de croissance mondiale pour la startup

Published

on

Anita Sasdi a été nommée responsable de la production chez Hijinks après une période de croissance mondiale pour la startup

Hijinks, une agence de création à service complet qui estime que la publicité doit être amusante, a annoncé la nomination d’Anita Sasdi au poste de première responsable de la production.

Elle relève directement d’Alicia Iveson, co-fondatrice et PDG de Hijinks, et fait partie de l’équipe de direction aux côtés de Mark Allenby et Tammin Kerr, co-fondateurs et directeurs de la création.

Anita se joint à l’équipe avec pour mission de façonner la production et la division de production de l’agence, notamment au niveau de ses capacités intégrées. Son arrivée intervient peu de temps après qu’Hyginx ait déménagé dans un nouveau bureau au cœur de Soho.

Depuis 2021, Anita a occupé plusieurs postes de productrice exécutive pour des agences telles que VCCP et adam&eveDDB. Avant cela, elle a passé 22 ans chez AMV BBDO, plus récemment en tant qu’associée de production.

Les marques notables sur lesquelles elle a travaillé incluent : Bvlgari, Playstation, Pepsi, Guiness, Eurostar, Mars et, plus récemment, la campagne de lancement de la marque de boissons pour sportifs Mas+ du footballeur Lionel Messi.

Alicia Iveson, PDG d’Hygenics, a déclaré : « Nous sommes ravis qu’Anita rejoigne notre charmante équipe. Bien sûr, Anita apporte une richesse d’expérience dans la réalisation de campagnes aux proportions épiques pour certaines des marques les plus grandes et les plus emblématiques du monde. , parallèlement à toute cette expérience, « Ils apportent tellement d’énergie et de positivité à tout ce qu’ils font. Mark et Tam sont très heureux de travailler avec Anita pour former un département de production moderne qui répond aux besoins en constante évolution de notre clientèle croissante. »

READ  WhatsApp propose un plan d'abonnement premium pour les propriétaires d'entreprise

Anita Sasdi a déclaré : « Après avoir travaillé pour certaines des plus grandes et meilleures agences du Royaume-Uni, je suis incroyablement excitée pour mon prochain chapitre chez Hijinks. Je n’aurais pas pu être plus motivée lorsque j’ai rencontré Tam, Alicia et Mark pour la première fois. Nous parlons de l’opportunité de créer un département de production adapté à l’époque dans laquelle nous vivons et nous sommes impatients de lancer bientôt des activités passionnantes. Avec l’équipe de direction, j’ai hâte de développer la clientèle et de renforcer notre intégration. capacités. J’ai vraiment hâte de voir ce que l’avenir de Hijinks nous réserve à nous quatre.

Le travail d’Anita a reçu une reconnaissance importante de l’industrie, notamment des prix du Cannes Lions Festival, du D&AD Festival et du British Arrows Festival. Parmi ses œuvres primées figurent « Cowboys » de Guinness avec Henry Alex Rubin, « Unexpected Wonders » de Bulgari réalisé par Paolo Sorrentino et le projet le plus primé de Carrey à ce jour, « Spare the Act », dans lequel il a joué Jeff Goldblum.

Continue Reading

Trending

Copyright © 2023