Connect with us

Tech

Cet article sur l'IA de Huawei présente DenseSSM : une nouvelle approche d'apprentissage automatique pour améliorer le flux d'informations cachées entre les couches dans les modèles spatiaux d'états (SSM).

Published

on

Cet article sur l'IA de Huawei présente DenseSSM : une nouvelle approche d'apprentissage automatique pour améliorer le flux d'informations cachées entre les couches dans les modèles spatiaux d'états (SSM).
https://arxiv.org/abs/2403.00818

Le développement de grands modèles de langage (LLM) efficaces et robustes représente une frontière d’innovation. Ces modèles étaient basés sur l'architecture Transformer, célèbre pour sa capacité à comprendre et à générer du texte de type humain. Cependant, à mesure que ces modèles se développent, ils se heurtent à des obstacles importants, notamment en termes d’intensité de calcul et de mémoire. Une nouvelle frontière dans l'ingénierie des modèles se présente sous la forme des modèles spatiaux d'état (SSM), qui promettent une empreinte informatique inférieure tout en aspirant à égaler les performances de leurs homologues de transformateur.

L'introduction de DenseSSM, une avancée cruciale dans cette entreprise, est le résultat d'un effort de collaboration d'une équipe de chercheurs dévoués du Noah's Ark Lab de Huawei. DenseSSM innove en améliorant le flux d'informations cachées entre les couches du modèle, tout en conservant efficacement les détails fins qui sont importants pour la compréhension et la génération de texte, un défi auquel les SSM traditionnels sont confrontés en raison de leur nature hiérarchique.

L'approche unique de DenseSSM réside dans ses connexions denses, une méthode inspirée des avancées des réseaux de neurones convolutifs mais conçue pour répondre aux défis spécifiques du traitement du langage. En intégrant les états cachés des couches peu profondes dans des couches plus profondes, DenseSSM préserve les informations fines tout au long du modèle, garantissant que chaque couche contribue de manière significative au résultat final. Cette méthode maintient et améliore l'efficacité et le parallélisme inhérents au matériel SSM. Le résultat est un modèle qui non seulement égale, mais dans certains cas surpasse, les performances de ses prédécesseurs, offrant une amélioration de la précision allant jusqu'à 5 % par rapport aux références globales, un exploit confirmé par son évaluation minutieuse sur un large éventail de tâches.

Le framework DenseSSM introduit un nouveau module de transition sélective, permettant un affichage et une sélection efficaces des parties utiles des états cachés à travers les couches. Cette innovation garantit que le modèle capture et utilise les informations les plus pertinentes pour chaque tâche. Les nombreuses connexions à distance utilisées ne sont pas seulement un plus ; Il représente une réinvention fondamentale de la manière dont les informations circulent et sont utilisées dans un modèle.

READ  Pioneer dévoile deux nouveaux récepteurs AV pour les séries PS5 et Xbox

Comparé à une gamme de tâches de compréhension et de génération de langues, DenseSSM a montré une efficacité supérieure et des améliorations significatives en termes de précision et de vitesse de traitement. Ces améliorations étaient particulièrement évidentes dans les tâches nécessitant une compréhension complexe et précise du langage, mettant en évidence la capacité améliorée du modèle à traiter et à générer du texte de type humain.

Les implications des développements de DenseSSM s'étendent au-delà des simples réalisations techniques. En réduisant considérablement les besoins en calcul et en mémoire des modèles de langage modernes, DenseSSM ouvre la voie à des technologies d'IA plus durables et plus accessibles. Cette avancée pourrait démocratiser l’accès à des modèles linguistiques de pointe, permettant à un large éventail d’applications et d’utilisateurs de bénéficier du pouvoir transformateur de l’IA, et ainsi de faire une différence tangible dans le monde réel.

En conclusion, DenseSSM représente une avancée majeure dans le développement de grands modèles de langage, offrant :

  • Améliorez l’efficacité et les performances grâce à une utilisation innovante de connexions cachées denses.
  • Précision améliorée sur diverses tâches linguistiques, démontrant des capacités avancées de compréhension et de construction du modèle.
  • Une voie à suivre durable pour le développement et la diffusion de modèles linguistiques de pointe, garantissant un accès et une application plus larges.

Vérifier la papier Et github. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N'oubliez pas non plus de nous suivre Twitter Et Actualités de Google. rejoint Nous avons plus de 38 000 ML SubReddit, 41 000+ communautés Facebook, Chaîne DiscordeEt LinkedIn Grammeop.

READ  Les jeux PlayStation Plus de janvier dévoilés tôt

Si vous aimez notre travail, vous allez adorer notre travail les nouvelles..

N'oubliez pas de nous rejoindre Chaîne de télégramme

Vous aimerez peut-être aussi notre Cours gratuits d'intelligence artificielle….

Bonjour, je m'appelle Adnan Hassan. Je suis consultant stagiaire chez Marktechpost et bientôt stagiaire en gestion chez American Express. Je poursuis actuellement mon double diplôme à l'Institut indien de technologie de Kharagpur. Je suis passionné par la technologie et je souhaite créer de nouveaux produits qui font la différence.

Continue Reading
Click to comment

Leave a Reply

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Tech

Le téléviseur RayNeo In-Your-Face reçoit une console et un téléviseur de poche

Published

on

Le téléviseur RayNeo In-Your-Face reçoit une console et un téléviseur de poche

Ray Neo lance le Pocket TV ce mois-ci sur Amazon pour 179 $. En vous connectant à votre réseau Wi-Fi, il apporte tous vos jeux et services de streaming à vos lunettes d’extension d’affichage de réalité alimentées par Ray Neo, ce qui vous donne l’impression de regarder un écran de 201 pouces à six mètres de distance. C’est une bien meilleure façon d’utiliser des lunettes que d’utiliser un téléphone portable. L’iPhone 15 ne peut être utilisé qu’avec Ray Neo sans adaptateur. Cela résout ce problème.

Le Ray Neo Pocket TV est également idéal en déplacement, avec 64 Go de stockage local extensible avec une carte microSD jusqu’à 2 To. Pocket TV est un partenariat officiel entre RayNeo et Google TV mais prend en charge tous les services de streaming, y compris Amazon Prime (qui possède également un bouton de marque), Disney+, Hulu, Max et même Pluto et Spotify. Pocket TV fait ressembler le Ray Neo à la télévision sur Internet.

La raison pour laquelle le design du RayNeo Pocket TV connaît un tel succès est peut-être qu’il suit de nombreuses offres similaires de sociétés comme XReal et Rokid qui fabriquent également leurs propres projecteurs à écran de poche. Ils se rendent tous compte qu’emprunter une télécommande de téléviseur est un moyen plus naturel de parcourir et de consommer des médias qu’un smartphone. Après tout, un smartphone doit tout faire. Un téléviseur de poche doit faire une chose, et il le fait bien. Dans une comparaison de spécifications, le RayNeo surpasse ses pairs avec une durée de vie de la batterie plus longue, un stockage microSD et l’intégration de Google TV, ce qui le rend vraiment facile à utiliser.

Nous avons écrit en décembre que nous étions de grands fans du RayNeo Air 2 et du Pocket TV, qui en fait une meilleure façon de consommer des médias visibles sur l’écran d’un smartphone ou d’un ordinateur portable. Il offre une expérience sur grand écran dans un format léger et portable qui ne fonctionne que lorsque sa connexion C est connectée à un appareil compatible. L’écran est grand et lumineux, et semble clair même en plein soleil. Le RayNeo Air 2 est également plus beau parmi ses pairs, mais il est encore trop gros pour être confondu avec des lunettes de soleil.

Le téléviseur de poche de 8 onces est une excellente batterie pour les lunettes RayNeo XR. Avec une énorme batterie de 6 500 mAh, il suffit de regarder 5,5 heures de vidéos. Il y a deux connexions C, vous pouvez donc également charger votre téléphone avec la sortie USB-C ou utiliser une console de jeu.

« Pocket TV change la donne en redéfinissant l’expérience utilisateur XR », a déclaré Howie Li, fondateur et PDG de RayNeo, dans un communiqué. « Avec cette innovation, nous fournissons non seulement un produit, mais créons également un voyage de divertissement inoubliable en déplacement pour les utilisateurs. La mission de RayNeo est claire : démocratiser l’expérience exaltante des lunettes XR grand écran avancées. nous fait avancer ensemble et nous sommes prêts à construire un écosystème de lunettes XR de premier ordre et à redéfinir ce qui est possible.

Vous pouvez également utiliser Google Assistant pour écouter de la musique, rechercher des émissions ou découvrir du contenu. Nous vous encourageons à vous abonner à Google TV, et honnêtement, c’est la première fois que je suis tenté de le faire, car Pocket TV est la plate-forme idéale pour consommer son offre épique de plus de 700 000 films, épisodes TV, émissions TV en direct, et plus encore disponibles dans le monde entier. Plus de 10 000 applications et jeux.

READ  Aperçu de macOS Ventura : le voyage continue
Continue Reading

Tech

Les chatbots deviennent attrayants dans la mise à jour GPT-4o alors que les utilisateurs se préparent à avoir des « copines IA »

Published

on

Les chatbots deviennent attrayants dans la mise à jour GPT-4o alors que les utilisateurs se préparent à avoir des « copines IA »

L’intelligence artificielle possède les robots destinés aux humains après avoir bénéficié d’une mise à niveau intéressante.

La dernière version de ChatGPT est programmée pour répondre aux compliments en riant et en disant : « Oh arrête, tu me fais rougir. »

Image abstraite du code du programme créé par un robot à intelligence artificielle.Crédit : Getty

La mise à niveau – appelée GPT-4o – a une voix masculine ou féminine au lieu d’une voix robotique et peut imiter l’expression humaine.

Il agit comme s’il éprouvait lui aussi des émotions et savait même chanter.

Les utilisateurs pourront entendre des réponses plus humaines et la version la plus récente pourra également proposer des astuces de blagues à papa et des astuces de style. Entretiens d’embauche.

Un utilisateur a posté sur X/Twitter : « Les femmes doivent améliorer leur jeu. Des copines IA seraient géniales. »

D’autres l’ont comparé au film de science-fiction Her – avec Joaquin Phoenix et Scarlett Johansson – dans lequel un homme développe une relation avec un assistant d’intelligence artificielle.

La mise à jour a été présentée par le propriétaire de ChatGPT, OpenAI, lors d’une diffusion en direct au siège de la société à San Francisco.

« Nous attendons avec impatience l’avenir de l’interaction entre nous et les machines », a déclaré Mira Moratti, directrice de la technologie.

GPT-4o peut également servir de traducteur en temps réel, dans les conversations entre anglophones et italiens au lancement.

Cette technologie, disponible gratuitement, peut égaler la vitesse de la conversation humaine et même enseigner les mathématiques.

Sam Altman, PDG d’OpenAI, a déclaré que ChatGPT-4o était « la meilleure interface informatique que j’ai jamais utilisée ».

Il a ajouté : « Cela ressemble à une intelligence artificielle des films et cela me surprend toujours qu’elle soit réelle.

« Atteindre des temps de réponse et d’expression au niveau humain s’avère être un grand changement. »

Continue Reading

Tech

Les clients de Sonos libèrent leur frustration face à l’application repensée dans une AMA communautaire

Published

on

Les clients de Sonos libèrent leur frustration face à l’application repensée dans une AMA communautaire

Une semaine après avoir présenté une application repensée et plus élégante qui supprimait plusieurs fonctionnalités principales, Sonos a organisé un événement Ask Me Anything. Dans ses forums aujourd’hui. L’objectif était en partie de montrer que les frustrations des clients étaient entendues. Mais comme c’est le cas depuis la semaine dernière, les retours sont extrêmement négatifs. La communauté de cette entreprise reste très en colère face à la perte de fonctionnalités logicielles telles que la recherche de musique locale, les minuteries de mise en veille, etc., sans avertissement.

De nombreux participants ont demandé à Sonos pourquoi elle avait publié une application qui n’était pas à la hauteur de la version précédente en termes de fonctionnalités, même alors. le bord J’ai appris que des bêta-testeurs privés avaient fait part de leurs inquiétudes quant à l’état dans lequel se trouvait le logiciel avant son lancement. Et ils étaient souvent moins satisfaits des réponses apportées par l’équipe produit Sonos.

Commençons par la grande question : « Pourquoi maintenant ? » Tucker Severson, directeur de la gestion des produits, a tenté de résoudre ce problème avec la réponse suivante :

La candidature n’est jamais complétée !

Ce serait peut-être une bonne idée de vous donner quelques informations générales. Il s’agit d’une nouvelle application – nous sommes partis d’un fichier de projet vide. Au fur et à mesure que le projet avançait, nous avons cessé d’investir notre temps dans le code des applications existantes. Au fil du temps, nous avons « diminué » notre intérêt technique pour la nouvelle application. Nous devons faire une nouvelle demande Application Avancer jusqu’à ce que nous arrêtions de diviser notre attention.

Nous avons décidé que c’était le bon moment pour vous présenter la nouvelle application. C’est le début, et nous le répéterons constamment en avançant. Comme je l’ai dit, l’application ne se termine jamais.

Certes, cela n’explique pas vraiment ce qui était si urgent que l’application devait être livrée début mai – plusieurs semaines avant la sortie en juin du très attendu casque Sonos Ace, qui s’appuiera sur la nouvelle application.

Quant à la motivation derrière la grande refonte visuelle, Diane Roberts, directrice principale du développement logiciel, a déclaré : « La conception actualisée de l’interface utilisateur est ancrée dans les besoins que nous avons entendus de nos auditeurs depuis des années. de l’application S2 ressemble à du travail, en particulier dans la navigation. » Entre plusieurs onglets pour accomplir des tâches de base.

READ  Nintendo Leaker suggère que les prix des packs d'extension Switch Online pourraient être liés aux "coûts de licence"

Sonos estime que le flux d’accueil personnalisable de la nouvelle application fait un excellent travail en mettant le contenu et les commandes les plus utiles « instantanément à portée de main ». La pile logicielle a été mise à jour pour tirer parti des API les plus récentes, et nous espérons garantir des performances système plus fluides à long terme.

Sonos doit reconstruire la confiance.
Image : Sonos

Je ne veux pas m’entasser ici. Comme je l’ai dit depuis le début, selon la façon dont vous avez toujours utilisé l’application Sonos, il s’agit en fait de la nouvelle version. Ça va mieux pour certaines personnes! Mais le déploiement mal géré s’est avéré être la plus grosse erreur facile de Sonos à ce jour. Le passage du programme de S1 à S2 a été exagéré par certains ; Seuls les produits les plus anciens de l’entreprise ont été conservés sur l’ancienne plateforme. Ils travaillent toujours ! Le S1 reste disponible pour continuer ainsi.

mais ce Cette situation a sérieusement ébranlé la confiance dans la marque de ceux qui utilisent régulièrement les fonctionnalités désormais manquantes telles que la recherche de musique locale, les minuteries d’arrêt, etc. Selon les récentes estimations de Sonos, certaines de ces fonctionnalités ne reviendront qu’en juin. Il est tout à fait juste de se demander pourquoi il n’y a jamais eu de version bêta ouverte pour l’application Sonos retravaillée ou de phase de transition entre l’ancienne et la nouvelle pour empêcher les clients de perdre soudainement des fonctionnalités. Les e-mails de l’entreprise annonçant la nouvelle application ne mentionnaient aucune de ces lacunes.

La possibilité de créer des alarmes vient de revenir avec la mise à jour du système d’aujourd’hui. Mais l’explication de cette erreur est vraiment emblématique de toute cette situation et indique que le logiciel n’était pas prêt pour le prime time. Voici comment Roberts l’a expliqué :

READ  Les jeux PlayStation Plus de janvier dévoilés tôt

Le matin du lancement de l’application, nous avons découvert un bug de corruption de données autour des nouvelles API d’alarmes. La corruption peut provoquer le déclenchement d’alarmes dans la mauvaise pièce, au mauvais volume et avec un mauvais contenu ! Afin de sauvegarder vos alarmes, nous avons pris la décision difficile de désactiver puis de fermer complètement la fonction Paramètres d’alarme à distance. Cela nous a permis de garantir que vos alarmes restent telles quelles, mais au prix élevé de vous priver de la possibilité de les modifier vous-même.

L’équipe s’est réunie pour s’assurer que nous pouvions réactiver cette fonctionnalité en toute sécurité – et aujourd’hui, nous sommes heureux d’annoncer que nous avons réactivé les paramètres d’alerte. Pour bénéficier de cette fonctionnalité, vous devez effectuer une mise à jour complète du système.

Mais ce n’est pas ainsi que nous nous attendons à ce que les fonctionnalités soient fournies à chaque fois. Nous avons conçu la nouvelle application pour pouvoir la mettre à jour indépendamment du micrologiciel de l’enceinte. À mesure que nous avançons, vous pouvez vous attendre à ce que nous introduisions de nouvelles fonctionnalités avec des mises à jour plus petites et moins intrusives.

Les clients iOS ne disposent d’aucun moyen efficace pour revenir à l’expérience précédente de l’application. Bien qu’il soit techniquement possible de le faire sur Android, Sonos le déconseille désormais.

« La rétrogradation vers une version précédente de l’application Sonos entraînera probablement des problèmes », a écrit le directeur de la gestion des produits, Tucker Severson. « À mesure que Sonos continue de proposer de nouvelles mises à jour du micrologiciel, les anciennes applications perdront rapidement leur compatibilité. Notre priorité est de publier rapidement des améliorations de l’application Sonos pour répondre à vos besoins.

Tout changement dans l’expérience utilisateur soulève inévitablement de nombreuses questions, et l’expédition avec une longue liste de fonctionnalités manquantes a toujours semé la panique parmi les clients de longue date. Il est donc tout à fait compréhensible que de nombreux fans fidèles de Sonos soient bouleversés par ce changement radical et confus par l’apparente urgence. Quelle est l’urgence ici ?

READ  La mise à jour de novembre de Saints Row a plaisanté: "C'est un monstre!"

Mais si vous cherchez une raison de croire que les choses s’amélioreront, nous espérons que ce sera le cas. presque — N’oubliez pas que ces personnes sont toutes elles-mêmes des utilisateurs fréquents des produits.

Voici à nouveau Diane Roberts :

Nous sommes tous profondément investis dans ce projet depuis longtemps. Nous sommes tous propriétaires de Sonos. De nombreux membres de l’équipe possédaient Sonos chez eux avant de rejoindre l’équipe. Nous utilisons tous l’expérience chaque jour.

Chaque fois que nous modifions une expérience ou retardons une fonctionnalité, nous savons que certaines personnes auront des sentiments négatifs. Nous avons également constaté lors de nos tests d’utilisabilité que les gens apprécient la nouvelle interface utilisateur, l’adaptabilité et le temps d’écoute plus rapide de la musique.

Nous avons lu vos messages et vu vos commentaires.

Une fois la sortie publiée, l’ambiance peut être décrite comme « énergique ». L’activité d’équipe est élevée car les gens partagent ce qu’ils ont construit pour les versions à venir. Nous sommes ravis de pouvoir fournir ces mises à jour régulières et continues. Il est désormais plus facile et plus rapide de partager ce que nous avons construit avec vous. Cela a commencé avec la sortie d’aujourd’hui et se poursuivra le 21 mai avec les versions ultérieures.

Esperons-le. Si cela peut vous consoler, il y a encore des améliorations et de nouvelles fonctionnalités à venir au milieu de tous ces changements : Sonos a ajouté aujourd’hui la prise en charge des pistes Apple Music sans perte, offrant ainsi aux clients un autre moyen d’obtenir une fidélité maximale de leurs haut-parleurs. L’entreprise est pleinement consciente qu’il y a encore du travail à faire avant de pouvoir mettre cette épreuve derrière elle.

« Ce que nous avons appris la semaine dernière, c’est que nous aurions dû communiquer plus ouvertement avec vous sur les changements qui pourraient vous affecter », a écrit Severson. « Au cours des semaines et des mois à venir, nous nous efforcerons de résoudre vos problèmes et de restaurer votre confiance. »

Continue Reading

Trending

Copyright © 2023