Connect with us

Tech

Cet article sur l'IA de Huawei présente DenseSSM : une nouvelle approche d'apprentissage automatique pour améliorer le flux d'informations cachées entre les couches dans les modèles spatiaux d'états (SSM).

Published

on

Cet article sur l'IA de Huawei présente DenseSSM : une nouvelle approche d'apprentissage automatique pour améliorer le flux d'informations cachées entre les couches dans les modèles spatiaux d'états (SSM).
https://arxiv.org/abs/2403.00818

Le développement de grands modèles de langage (LLM) efficaces et robustes représente une frontière d’innovation. Ces modèles étaient basés sur l'architecture Transformer, célèbre pour sa capacité à comprendre et à générer du texte de type humain. Cependant, à mesure que ces modèles se développent, ils se heurtent à des obstacles importants, notamment en termes d’intensité de calcul et de mémoire. Une nouvelle frontière dans l'ingénierie des modèles se présente sous la forme des modèles spatiaux d'état (SSM), qui promettent une empreinte informatique inférieure tout en aspirant à égaler les performances de leurs homologues de transformateur.

L'introduction de DenseSSM, une avancée cruciale dans cette entreprise, est le résultat d'un effort de collaboration d'une équipe de chercheurs dévoués du Noah's Ark Lab de Huawei. DenseSSM innove en améliorant le flux d'informations cachées entre les couches du modèle, tout en conservant efficacement les détails fins qui sont importants pour la compréhension et la génération de texte, un défi auquel les SSM traditionnels sont confrontés en raison de leur nature hiérarchique.

L'approche unique de DenseSSM réside dans ses connexions denses, une méthode inspirée des avancées des réseaux de neurones convolutifs mais conçue pour répondre aux défis spécifiques du traitement du langage. En intégrant les états cachés des couches peu profondes dans des couches plus profondes, DenseSSM préserve les informations fines tout au long du modèle, garantissant que chaque couche contribue de manière significative au résultat final. Cette méthode maintient et améliore l'efficacité et le parallélisme inhérents au matériel SSM. Le résultat est un modèle qui non seulement égale, mais dans certains cas surpasse, les performances de ses prédécesseurs, offrant une amélioration de la précision allant jusqu'à 5 % par rapport aux références globales, un exploit confirmé par son évaluation minutieuse sur un large éventail de tâches.

Le framework DenseSSM introduit un nouveau module de transition sélective, permettant un affichage et une sélection efficaces des parties utiles des états cachés à travers les couches. Cette innovation garantit que le modèle capture et utilise les informations les plus pertinentes pour chaque tâche. Les nombreuses connexions à distance utilisées ne sont pas seulement un plus ; Il représente une réinvention fondamentale de la manière dont les informations circulent et sont utilisées dans un modèle.

READ  Musk commente ses inquiétudes concernant une lacune dans le panel Cybertruck

Comparé à une gamme de tâches de compréhension et de génération de langues, DenseSSM a montré une efficacité supérieure et des améliorations significatives en termes de précision et de vitesse de traitement. Ces améliorations étaient particulièrement évidentes dans les tâches nécessitant une compréhension complexe et précise du langage, mettant en évidence la capacité améliorée du modèle à traiter et à générer du texte de type humain.

Les implications des développements de DenseSSM s'étendent au-delà des simples réalisations techniques. En réduisant considérablement les besoins en calcul et en mémoire des modèles de langage modernes, DenseSSM ouvre la voie à des technologies d'IA plus durables et plus accessibles. Cette avancée pourrait démocratiser l’accès à des modèles linguistiques de pointe, permettant à un large éventail d’applications et d’utilisateurs de bénéficier du pouvoir transformateur de l’IA, et ainsi de faire une différence tangible dans le monde réel.

En conclusion, DenseSSM représente une avancée majeure dans le développement de grands modèles de langage, offrant :

  • Améliorez l’efficacité et les performances grâce à une utilisation innovante de connexions cachées denses.
  • Précision améliorée sur diverses tâches linguistiques, démontrant des capacités avancées de compréhension et de construction du modèle.
  • Une voie à suivre durable pour le développement et la diffusion de modèles linguistiques de pointe, garantissant un accès et une application plus larges.

Vérifier la papier Et github. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N'oubliez pas non plus de nous suivre Twitter Et Actualités de Google. rejoint Nous avons plus de 38 000 ML SubReddit, 41 000+ communautés Facebook, Chaîne DiscordeEt LinkedIn Grammeop.

READ  Économisez des centaines sur l'un des meilleurs téléviseurs de jeu aujourd'hui

Si vous aimez notre travail, vous allez adorer notre travail les nouvelles..

N'oubliez pas de nous rejoindre Chaîne de télégramme

Vous aimerez peut-être aussi notre Cours gratuits d'intelligence artificielle….

Bonjour, je m'appelle Adnan Hassan. Je suis consultant stagiaire chez Marktechpost et bientôt stagiaire en gestion chez American Express. Je poursuis actuellement mon double diplôme à l'Institut indien de technologie de Kharagpur. Je suis passionné par la technologie et je souhaite créer de nouveaux produits qui font la différence.

Continue Reading
Click to comment

Leave a Reply

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Tech

Un hacker d'Apex Legends affirme que les développeurs de jeux ont corrigé les vulnérabilités utilisées dans les appareils de streaming

Published

on

Un hacker d'Apex Legends affirme que les développeurs de jeux ont corrigé les vulnérabilités utilisées dans les appareils de streaming

Crédits images : Réimpression/Arts électroniques

Le mois dernier, un hacker a fait des ravages lors d'un tournoi eSports pour le jeu de tir populaire Apex Legends, piratant deux streamers populaires en cours de partie pour donner l'impression qu'ils utilisaient des astuces.

Un mois plus tard, il semble que la saga du hacking ait pris fin puisque les développeurs du jeu ont corrigé la faille exploitée par le hacker.

En raison de ce piratage, les organisateurs ont été contraints de suspendre le tournoi le 17 mars. Deux jours plus tard, le développeur d'Apex Legends, Respawn Il a dit sur son compte officiel Il a « déployé la première d'une série de mises à jour multicouches pour protéger la communauté des joueurs d'Apex Legends ». Puis après une semaine, La société a écrit qu'elle avait « Nous avons ajouté une autre mise à jour visant à offrir davantage de protection à nos joueurs et à garantir l'intégrité compétitive d'Apex Legends. »

Les publications de Respawn n'indiquent pas clairement que les mises à jour ont corrigé les bugs exploités pendant le tournoi. Mais le pirate informatique à l'origine du scandale de tricherie a déclaré cette semaine à TechCrunch que les correctifs de Respawn corrigeaient la vulnérabilité qu'il exploitait pour pirater les deux streamers.

« L’exploitation à laquelle vous l’avez soumis [Apex Legends Global Series] « Entièrement corrigé », a déclaré le pirate informatique utilisant Destroyer2009 lors d'un chat en ligne.

Destroyer2009, qui avait précédemment déclaré à TechCrunch qu'il avait piraté les deux appareils de streaming « pour le plaisir », a déclaré qu'il ne voulait révéler aucun détail technique sur le bug qu'il a exploité, même s'il a maintenant été corrigé.

READ  Musk commente ses inquiétudes concernant une lacune dans le panel Cybertruck

« Personne n'aime que des vulnérabilités critiques de votre produit soient révélées publiquement. J'ai demandé à mon ami et nous avons convenu que nous ne voulions pas encore vraiment révéler publiquement ce qui s'est passé d'un point de vue technique », a déclaré le pirate informatique, faisant référence à un ami avec qui il travaillait. avec pour développer le hack.

Contactez-nous

En savez-vous plus sur ce hack ? Ou d’autres incidents de piratage de jeux vidéo ? Depuis un appareil non professionnel, vous pouvez contacter Lorenzo Franceschi-Bicchierai en toute sécurité sur Signal au +1 917 257 1382, ou via Telegram, Keybase, Wire @lorenzofb ou par e-mail. Vous pouvez également contacter TechCrunch via SecureDrop.

En référence à Un échec de mise à jour dans le jeu sans rapport Par Respawn cette semaine, Destroyer2009 a déclaré : «[I] Je ne pense pas que les embarrasser davantage soit juste.

Destroyer2009 a déclaré avoir testé sa vulnérabilité après que Respawn a annoncé la deuxième mise à jour le 26 mars, bien qu'il ait déclaré qu'il était possible qu'elle soit corrigée plus tôt car il n'avait pas eu l'occasion de la tester auparavant.

Les hacks de Destroyer2009 étaient notables, ennuyeux et ont fait beaucoup de bruit au sein de la communauté Apex Legends. Les deux banderoles ont été visées. Coque Impériale Et gyportenNous comptons au total 2,5 millions de followers sur la plateforme de streaming de jeux Twitch. plusieurs dernier Joueurs et streamers dans Apex Legends Commenté sur Des nouvelles de hacks sur leurs chaînes.

Cependant, Respawn n’a pas annoncé les correctifs qu’il a publiés. TechCrunch a demandé à Respawn et Electronic Arts, propriétaires du studio de développement, de confirmer si la vulnérabilité utilisée par Destroyer2009 a déjà été corrigée, et si oui, quand elle a été corrigée.

READ  Une fuite de tablette Pixel révèle les spécifications de l'écran, de la batterie et de la date de sortie

Mais ni Respawn ni Electronic Arts n'ont répondu aux multiples demandes de commentaires de TechCrunch. Les deux sociétés n’ont pas non plus répondu aux demandes de commentaires ces dernières semaines.

Pendant ce temps, Destroyer2009 a déclaré qu'il ne ferait plus de piratage public pour le moment, car « tout est trop dangereux… [Apex tournament hack] L'incident sera déjà considéré comme une véritable avancée avec toutes les conséquences qui en découlent [probably] « Je jouerai au jeu jusqu'à ce qu'il devienne ennuyeux, comme d'habitude. »

Continue Reading

Tech

Le OnePlus Pad Go arrive en Europe le 23 avril aux côtés de la nouvelle édition OnePlus Watch 2

Published

on

Le OnePlus Pad Go arrive en Europe le 23 avril aux côtés de la nouvelle édition OnePlus Watch 2

La OnePlus Pad Go est une tablette abordable lancée sur certains marchés en octobre de l'année dernière. Et maintenant, cela arrive en Europe. Concrètement, il arrivera le 23 avril. Le prix est inconnu, mais vous pouvez effectuer un très petit dépôt pour obtenir une remise légèrement plus importante. Sur le site OnePlus.

Cela représente une réduction de 1 £/1 € sur le prix de 30 £/30 €. Vous recevrez également une brique de livraison gratuite d'une valeur de 39,99 £/39,99 €. Le prix sera annoncé le 23 avril et vous devrez ensuite payer le solde restant avant le 26 avril.

Il y a aussi « Style exclusif » La OnePlus Watch 2 arrive en Europe le 23 avril. Nous supposons que le « style exclusif » n’est qu’un discours marketing sophistiqué pour une « nouvelle couleur », mais nous le saurons avec certitude la semaine prochaine.

Le OnePlus Pad Go dispose d'un écran tactile LCD de 11,35 pouces 1720 x 2408 90 Hz avec une luminosité typique de 400 nits, d'un SoC MediaTek Helio G99 à la barre, de 8 Go de RAM et de 128 Go de stockage extensible. et une caméra frontale de 8 mégapixels. Caméra frontale et batterie de 8 000 mAh avec prise en charge de la charge filaire de 33 W.

Montre OnePlus 2

La OnePlus Watch 2 fonctionne sous Wear OS 4 et est alimentée par le SoC Snapdragon W5 Gen 1 de Qualcomm, avec 2 Go de RAM et 32 ​​​​Go de stockage. Il dispose d'un écran tactile AMOLED de 1,43 pouces avec une résolution de 466 x 466 avec une luminosité allant jusqu'à 1 000 nits et d'une batterie de 500 mAh prenant en charge une charge filaire de 7,5 W.

READ  Économisez des centaines sur l'un des meilleurs téléviseurs de jeu aujourd'hui

Continue Reading

Tech

Contrôle de la viscosité en fonction de la température pour la fabrication de fibres bi-dopées

Published

on

Contrôle de la viscosité en fonction de la température pour la fabrication de fibres bi-dopées

Cet article a été révisé selon Science Processus d'édition
Et Stratégies.
Éditeurs Les fonctionnalités suivantes ont été mises en avant tout en garantissant la crédibilité du contenu :

En contrôlant la viscosité des matériaux bi-dopés en fonction de la température, la désactivation du bi-dopage pendant le processus de fibrage peut être supprimée. Crédits : Rui Duan, Jingfei Chen, Hao Ke, Tianxia Wei, Qi Zhang, Xueliang Li, Xu Feng, Qiuju Cheng, Zixu He, Jianrong Qiu et Xifeng Zhou.

× Fermer

En contrôlant la viscosité des matériaux bi-dopés en fonction de la température, la désactivation du bi-dopage pendant le processus de fibrage peut être supprimée. Crédits : Rui Duan, Jingfei Chen, Hao Ke, Tianxia Wei, Qi Zhang, Xueliang Li, Xu Feng, Qiuju Cheng, Zixu He, Jianrong Qiu et Xifeng Zhou.

Une nouvelle stratégie basée sur la viscosité et dépendant de la température proposée par des chercheurs de l'Université de technologie de Chine du Sud a pu supprimer l'inactivation du dopage binaire pendant le processus de tréfilage des fibres.

Ces travaux pourraient guider le développement de fibres actives binaires très efficaces, qui présentent un grand potentiel d’application dans les amplificateurs optiques de nouvelle génération.

Les matériaux bi-dopants présentent de multiples états chimiques et peuvent se transformer en un état désactivé lorsque la masse est aspirée dans la fibre à haute température, limitant ainsi le développement de bifibres actives hautes performances.

« D'un point de vue thermodynamique, la désactivation du dopage binaire ne peut pas être empêchée pendant le processus de fibrage, car le centre binaire actif n'est pas thermodynamiquement stable à ces températures », a déclaré Shifeng Zhou, auteur correspondant de l'article et professeur à l'UCLA. . Université de technologie de Chine du Sud.

« Par conséquent, une stratégie cinétique doit être envisagée pour supprimer la transformation du centre Bi actif en un état inactif pendant le processus de fibrage. Le contrôle de la viscosité des matériaux en fonction de la température peut être une approche cinétique efficace pour supprimer l'inactivation du centre Bi. « .

READ  Ce n'était pas seulement vous : Apple a pris des mesures pour bloquer l'accès à iMessage en utilisant de fausses informations d'identification

Les fibres duplex sont désormais considérées comme le candidat le plus prometteur pour la prochaine génération d'amplificateurs optiques à large bande dans les systèmes de communication à haute capacité. Cependant, étant donné la facilité de désactivation des centres binaires, la fabrication de centres binaires actifs reste un défi.

À l’heure actuelle, seuls quelques groupes dans le monde sont capables de fabriquer des fibres bi-actives en utilisant la méthode de dépôt chimique en phase vapeur modifiée (MCVD). La technologie complexe de dépôt chimique en phase vapeur (CVD) crée non seulement une barrière technique importante pour la fabrication de fibres bi-dopées, mais limite également le système de fibre de verre disponible et la concentration de dopage Bi.

L'évolution du dopant Bi à différentes températures dans des systèmes vitreux présentant différentes propriétés visqueuses est systématiquement étudiée. Il a été constaté que les systèmes présentant le taux de changement de viscosité le plus rapide se situent dans la plage de température de 1,0 à 1,6. Tg Il présente une meilleure capacité anti-désactivation par rapport aux activateurs binaires.

Sur la base de ce résultat, un système de verre borate avec un taux de changement de viscosité plus rapide a été développé et de nouvelles fibres de borate biactives hautement dopées ont été synthétisées via la simple méthode tige dans tube. De plus, un gain discontinu basé sur la fibre nouvellement développée a été démontré, ce qui représente la première démonstration d'un gain discontinu dans un système de fibre de borate double dopée.

« Bien que réaliser des gains nets dans les fibres binaires hautement actives reste un défi à long terme, je pense que nos travaux pourraient fournir de nouvelles informations sur la sélection de systèmes hôtes en verre pour le développement de fibres binaires actives hautes performances », a déclaré le professeur Shifeng Zhou. Fibre. »

READ  Mario + Rabbids Sparks Of Hope, NieR : la taille des fichiers des automates a apparemment été révélée

Les chercheurs continuent de travailler dans le but de développer des bi-fibres hautement dopées avec un gain net et de construire des amplificateurs bi-dopés.

Les résultats sont publié dans le Revue internationale de l'industrialisation extrême.

Plus d'information:
Roy Duan et al., Contrôle de la viscosité en fonction de la température pour la fabrication de fibres bi-dopées, Revue internationale de l'industrialisation extrême (2024). est ce que je: 10.1088/2631-7990/ad3317

Introduction au Journal international de fabrication extrême

Continue Reading

Trending

Copyright © 2023