Connect with us

Tech

Cet article sur l'IA de Huawei présente DenseSSM : une nouvelle approche d'apprentissage automatique pour améliorer le flux d'informations cachées entre les couches dans les modèles spatiaux d'états (SSM).

Published

on

Cet article sur l'IA de Huawei présente DenseSSM : une nouvelle approche d'apprentissage automatique pour améliorer le flux d'informations cachées entre les couches dans les modèles spatiaux d'états (SSM).
https://arxiv.org/abs/2403.00818

Le développement de grands modèles de langage (LLM) efficaces et robustes représente une frontière d’innovation. Ces modèles étaient basés sur l'architecture Transformer, célèbre pour sa capacité à comprendre et à générer du texte de type humain. Cependant, à mesure que ces modèles se développent, ils se heurtent à des obstacles importants, notamment en termes d’intensité de calcul et de mémoire. Une nouvelle frontière dans l'ingénierie des modèles se présente sous la forme des modèles spatiaux d'état (SSM), qui promettent une empreinte informatique inférieure tout en aspirant à égaler les performances de leurs homologues de transformateur.

L'introduction de DenseSSM, une avancée cruciale dans cette entreprise, est le résultat d'un effort de collaboration d'une équipe de chercheurs dévoués du Noah's Ark Lab de Huawei. DenseSSM innove en améliorant le flux d'informations cachées entre les couches du modèle, tout en conservant efficacement les détails fins qui sont importants pour la compréhension et la génération de texte, un défi auquel les SSM traditionnels sont confrontés en raison de leur nature hiérarchique.

L'approche unique de DenseSSM réside dans ses connexions denses, une méthode inspirée des avancées des réseaux de neurones convolutifs mais conçue pour répondre aux défis spécifiques du traitement du langage. En intégrant les états cachés des couches peu profondes dans des couches plus profondes, DenseSSM préserve les informations fines tout au long du modèle, garantissant que chaque couche contribue de manière significative au résultat final. Cette méthode maintient et améliore l'efficacité et le parallélisme inhérents au matériel SSM. Le résultat est un modèle qui non seulement égale, mais dans certains cas surpasse, les performances de ses prédécesseurs, offrant une amélioration de la précision allant jusqu'à 5 % par rapport aux références globales, un exploit confirmé par son évaluation minutieuse sur un large éventail de tâches.

Le framework DenseSSM introduit un nouveau module de transition sélective, permettant un affichage et une sélection efficaces des parties utiles des états cachés à travers les couches. Cette innovation garantit que le modèle capture et utilise les informations les plus pertinentes pour chaque tâche. Les nombreuses connexions à distance utilisées ne sont pas seulement un plus ; Il représente une réinvention fondamentale de la manière dont les informations circulent et sont utilisées dans un modèle.

READ  Discord dévoile un nouvel outil de modération de contenu, et voici comment cela fonctionne

Comparé à une gamme de tâches de compréhension et de génération de langues, DenseSSM a montré une efficacité supérieure et des améliorations significatives en termes de précision et de vitesse de traitement. Ces améliorations étaient particulièrement évidentes dans les tâches nécessitant une compréhension complexe et précise du langage, mettant en évidence la capacité améliorée du modèle à traiter et à générer du texte de type humain.

Les implications des développements de DenseSSM s'étendent au-delà des simples réalisations techniques. En réduisant considérablement les besoins en calcul et en mémoire des modèles de langage modernes, DenseSSM ouvre la voie à des technologies d'IA plus durables et plus accessibles. Cette avancée pourrait démocratiser l’accès à des modèles linguistiques de pointe, permettant à un large éventail d’applications et d’utilisateurs de bénéficier du pouvoir transformateur de l’IA, et ainsi de faire une différence tangible dans le monde réel.

En conclusion, DenseSSM représente une avancée majeure dans le développement de grands modèles de langage, offrant :

  • Améliorez l’efficacité et les performances grâce à une utilisation innovante de connexions cachées denses.
  • Précision améliorée sur diverses tâches linguistiques, démontrant des capacités avancées de compréhension et de construction du modèle.
  • Une voie à suivre durable pour le développement et la diffusion de modèles linguistiques de pointe, garantissant un accès et une application plus larges.

Vérifier la papier Et github. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N'oubliez pas non plus de nous suivre Twitter Et Actualités de Google. rejoint Nous avons plus de 38 000 ML SubReddit, 41 000+ communautés Facebook, Chaîne DiscordeEt LinkedIn Grammeop.

READ  La marque française de casques Roof lance le nouveau casque modulable Boxxer 2

Si vous aimez notre travail, vous allez adorer notre travail les nouvelles..

N'oubliez pas de nous rejoindre Chaîne de télégramme

Vous aimerez peut-être aussi notre Cours gratuits d'intelligence artificielle….

Bonjour, je m'appelle Adnan Hassan. Je suis consultant stagiaire chez Marktechpost et bientôt stagiaire en gestion chez American Express. Je poursuis actuellement mon double diplôme à l'Institut indien de technologie de Kharagpur. Je suis passionné par la technologie et je souhaite créer de nouveaux produits qui font la différence.

Continue Reading
Click to comment

Leave a Reply

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Tech

Pour réduire les coûts, Samsung retarderait les améliorations de la batterie du Galaxy S25 Ultra

Published

on

Pour réduire les coûts, Samsung retarderait les améliorations de la batterie du Galaxy S25 Ultra
Dans le but de maintenir les coûts des composants à un niveau bas pour le modèle haut de gamme du Galaxy S25 Ultra de l'année prochaine, Samsung devrait maintenir la capacité de la batterie du téléphone au même niveau de 5 000 mAh depuis la sortie du Galaxy S21. Super. Non seulement la capacité de la batterie restera la même, mais les vitesses de charge rapides augmenteront également l’année prochaine. Ces informations proviennent de Le dixième participant, Sawyer Gallox (via Wccftech).
« Le S25U aura toujours une batterie de 45 Wh et une batterie à 100 % de 5 000 mAh. J'ai récemment reçu cette information et c'est vraiment malheureux », a écrit Sawyer Jallox, un fan des appareils coréens, dans un tweet. Dans un tweet de suivi, Galox a écrit que les fonctionnalités de la batterie initialement prévues pour le Galaxy S25 Ultra se termineront plutôt par le Galaxy S26 Ultra. « Cela semble avoir été prévu, mais Samsung a changé d'avis, souhaitant réduire les coûts et mettre la batterie empilée et la vitesse de charge de 65 W dans le S26U », a-t-il écrit.

Samsung doit surveiller de près les coûts du Galaxy S25 Ultra. Comme nous l'avons déjà entendu, Qualcomm augmente les prix du processeur d'application Snapdragon 8 Gen 4 qui aura des cœurs de processeur Qualcomm dédiés et n'aura pas de cœurs à faible consommation d'énergie utilisés pour gérer de petites tâches sans consommer de grandes quantités de pouvoir. . L'utilisation de technologies de batterie avancées réduirait certainement la marge bénéficiaire de Samsung sur le Galaxy S25 Ultra.

Dans une autre mesure de réduction des coûts similaire à la façon dont Samsung a géré la série Galaxy S24. Les Galaxy S25 et Galaxy S25+ seront alimentés par le chipset Exynos 2500 de Sammy sur la plupart des marchés. Aux États-Unis et en Chine, ces deux modèles seront équipés du processeur Snapdragon 8 Gen 4 AP. Le Galaxy S25 Ultra aura Snapdragon 8 Gen 4 sous le capot sur tous les marchés. L’essentiel est que ces manœuvres devraient aider Samsung à maintenir ses marges pour le chiffre d’affaires 2025.
Selon certaines rumeurs, la série Galaxy S25 et la gamme iPhone 16 utiliseraient la technologie de batterie empilée (bien que cela ne soit plus probable dans le cas de Samsung). Grâce à la technologie de batterie empilée, la batterie se compose de plusieurs couches empilées verticalement les unes sur les autres, ce qui permet au téléphone d'avoir un design plus fin et une durée de vie plus longue. Cela peut également améliorer la dissipation thermique du téléphone.

Continue Reading

Tech

Oubliez les téléphones phares coûteux, cela pourrait être l'année des téléphones pliables à moins de 500 $

Published

on

Oubliez les téléphones phares coûteux, cela pourrait être l'année des téléphones pliables à moins de 500 $

Une tendance que j’étais heureux de constater en 2023 est que nous avons vu beaucoup plus Téléphones pliables qu'il y a n'importe quelle année. Cette hausse a également fait baisser considérablement les prix, au point que les téléphones pliables sont désormais bien en dessous de la moyenne du secteur, qui est de 1 000 dollars. Mais cette année, nous pourrions assister à des baisses de prix plus importantes qui pourraient obliger les consommateurs à oublier les téléphones phares coûteux.

En fait, je pense que cela pourrait inciter les gens à repenser l'achat de téléphones populaires de milieu de gamme comme le Pixel 7a, Galaxie A54Et iPhone SE (2022). C’est parce que cela pourrait être l’année où nous aurons un téléphone pliable à moins de 500 $. Je fais référence à des modèles flambant neufs, et non au modèle de l'année dernière qui a bénéficié d'une réduction en raison des soldes de vacances en cours.

aujourd'hui Meilleurs téléphones Prouver que posséder un téléphone phare devient de plus en plus abordable, tout en donnant aux fabricants de téléphones une raison d'augmenter les prix de leurs modèles haut de gamme. L’année dernière a sans doute été une excellente année pour les téléphones pliables, je m’attends donc à ce que leur gamme s’étende encore avec l’aide de téléphones pliables à moins de 500 $. C'est pourquoi.

Le processus de fabrication s'est amélioré

Test du téléphone pliable Samsung Galaxy Z Fold 2

Test du téléphone pliable Samsung Galaxy Z Fold 2

En raison de tous les composants nécessaires à la fabrication des téléphones pliables, ils entraînent souvent des coûts plus élevés que leurs homologues tablettes. Maintenant que de plus en plus d’entreprises utilisent des modèles de troisième ou quatrième génération, le processus de fabrication s’est amélioré, réduisant ainsi le délai nécessaire au développement de modèles plus récents.

READ  La marque française de casques Roof lance le nouveau casque modulable Boxxer 2

Nous avons constaté d’importants progrès d’année en année dans la manière dont ils sont réalisés. Prenez, par exemple, ce que possèdent presque tous les téléphones pliables modernes. Conceptions détaillées sans lacunesOù les deux côtés de l’écran pliable se font face une fois plié. Toutes ces améliorations contribuent à maintenir les coûts de production à un niveau inférieur.

Ces techniques de fabrication sont transmises de génération en génération, de sorte que même les nouveaux venus dans le domaine de la conception de leurs premiers téléphones pliables en bénéficient. le OnePlus débloqué OnePlus en est un parfait exemple car pour son pliable de première génération, OnePlus a réussi à concevoir un appareil pliable qui est plus fin, plus léger et plus élégant que n'importe lequel de ses contemporains – tout en devançant ses principaux concurrents en termes de prix.

De plus en plus d'entreprises les fabriquent

Écran de couverture du Nubia Flip 5G, avec l'écran de verrouillage visibleÉcran de couverture du Nubia Flip 5G, avec l'écran de verrouillage visible

Écran de couverture du Nubia Flip 5G, avec l'écran de verrouillage visible

Une autre façon de faire baisser les prix consiste à accroître la concurrence. Il est révolu le temps où Samsung et Motorola étaient les seuls véritables acteurs du marché. L’année dernière, nous avons vu Google et OnePlus sortir leurs premiers téléphones pliables – avec les éloges des critiques et des utilisateurs. En résistant plus longtemps, nous avons vu comment Pliage des pixels Et OnePlus débloqué J'ai réussi à voler le tonnerre à Galaxy Z Fold 5.

Certains des fabricants de téléphones les plus établis à l'étranger, comme Oppo, Honor, Huawei et Xiaomi, sont également présents depuis un certain temps, mais d'autres noms moins connus comme Tenco, Infinix et Nubia sont également présents. Fabricant de téléphones pliables. La dernière version de Nubie Flip 5G Brise la barrière des prix des téléphones pliables à 500 $, battant le précédent détenteur du record à 599 $. Motorola Razr (2023).

READ  Les sous-types moléculaires associés à l'infiltration de cellules immunitaires et à la signature génétique prédisent le pronostic des patients atteints d'ostéosarcome

Je soupçonne que de plus en plus d’entreprises lanceront bientôt leurs premiers téléphones pliables. Asus, TCL et Poco ne sont que quelques-uns des autres noms qui pourraient contribuer à rendre les prix plus compétitifs, étant donné qu'ils se concentrent souvent davantage sur les téléphones de milieu de gamme que sur les produits phares.

Un nom scandaleusement absent est Apple. alors que iPhone Flip Les rumeurs circulent depuis longtemps, et il semble que ce soit le cas. Moins susceptible d'être publié cette année. De plus, je doute fortement qu’Apple cherche à lancer un téléphone pliable économique.

Les concessions nécessaires entraînent une baisse des prix

Test du Motorola Razr 2023Test du Motorola Razr 2023

Test du Motorola Razr 2023

Appareils pliables de type ordinateur portable tels que Débloquez les Galaxy Z Fold 5 et OnePlus Leurs coûts élevés sont justifiés par leurs tailles et leurs fonctionnalités, mais les téléphones pliables moins chers peuvent toujours convaincre les gens de ne pas opter pour les téléphones phares.

Par exemple, il est très rare qu'un téléphone pliable soit équipé d'un téléobjectif – mais comme nous l'avons vu sur les téléphones qui utilisent efficacement les techniques de regroupement de pixels, leurs appareils photo principaux peuvent souvent offrir une qualité visuelle. J'ai vu ça moi-même avec iPhone15qui délivre un Un grossissement 2x est utilisable Pour me rapprocher des sujets Tout cela signifie qu'un téléphone pliable à moins de 500 $ peut toujours fournir d'excellents résultats avec ses appareils photo.

Une autre façon de réduire leur coût pour les ramener à moins de 500 $ est de faire des compromis, à savoir des écrans de résolution inférieure, des scanners d'empreintes digitales montés sur le côté au lieu de ceux situés sous l'écran et des batteries plus petites. Tout cela est évident, mais les téléphones pliables sont toujours plus utiles que les tablettes standards, car bon nombre de leurs différences résident en grande partie dans la manière dont ils sont utilisés pour certaines tâches.

READ  Sakurai révèle comment une rencontre fortuite a conduit à Sora dans Smash Bros.

Par exemple, il est beaucoup plus facile de prendre des selfies avec l’appareil photo principal d’un téléphone pliable ainsi que des enregistrements vidéo. Entre-temps, certaines applications ont déjà été optimisées pour tirer parti de ce facteur de forme, comme la façon dont les applications YouTube et Appareil photo sont optimisées pour le mode partagé.

La réputation des téléphones pliables comme étant chers se dissipe lentement, surtout si l’on regarde ce qui a été lancé sur le marché au cours de la seule année écoulée. Les gens peuvent encore payer des milliers de dollars pour un téléphone phare, mais étant donné l'avantage supplémentaire des téléphones pliables et leur prix abordable, ils pourraient être tentés de les acheter davantage.

Pourquoi acheter iPhone15 ou Samsung Galaxy S24 Quand pouvez-vous obtenir des performances d’appareil photo et de batterie similaires dans un téléphone pliable ? Et peut-être beaucoup moins bientôt ?

Plus du guide de Tom

Continue Reading

Tech

dépêchez-vous! L'Apple Watch 9 actuelle s'est effondrée à son prix le plus bas jamais vu sur Amazon

Published

on

dépêchez-vous!  L'Apple Watch 9 actuelle s'est effondrée à son prix le plus bas jamais vu sur Amazon

Le printemps est dans l’air, tout comme de nombreuses bonnes affaires Apple. Et si vous envisagez de mettre à niveau votre Apple Watch, il existe une opportunité rare d'économiser gros sur l'une des meilleures montres intelligentes que nous ayons jamais testées : l'Apple Watch 9.

Maintenant tu peux avoir Apple Watch 9 (GPS/41 mm) pour seulement 299 $ sur Amazon. C'est 100 $ de réduction et le prix le plus bas que nous ayons jamais vu pour la génération actuelle d'appareils portables d'Apple. Si vous possédez une Apple Watch 7 ou une version antérieure, cette offre est une évidence. Si vous cherchez d'autres façons d'économiser sur tout ce qui concerne la technologie, n'oubliez pas de consulter également notre tour d'horizon des meilleurs produits à prix réduit lors de la méga vente du week-end de Best Buy.

Après avoir mis la main sur l'Apple Watch 9, elle a été placée tout en haut de notre liste des meilleures montres intelligentes, battant la concurrence de la Samsung Galaxy Watch 6 et de la Google Pixel Watch. Il est complet et offre toutes les fonctionnalités que vous pourriez souhaiter, dans un ensemble élégant et moderne.

Dans notre examen de l'Apple Watch 9, nous avons déclaré : « L'Apple Watch Series 9 est la meilleure montre intelligente à ce jour grâce à des améliorations significatives des performances et à l'ajout d'un nouveau geste intuitif de double pression », qui facilite le contrôle de votre montre sans utiliser votre main opposée. . Appuyez simplement votre index et votre pouce sur l'aiguille de votre montre ensemble et vous pourrez répondre aux appels, répondre aux SMS, mettre la musique en pause et bien plus encore. Nous apprécions également le fait qu'elle dirige les efforts d'Apple pour créer des appareils certifiés neutres en carbone, ce qui en fait l'un des produits les plus écologiques de l'entreprise.

READ  Offres du Black Friday sur iPad mini 6 et mini 5 (2021) suivies de Deal Tomato

La mise à niveau majeure est le nouveau processeur S9, qui offre des performances plus rapides et des interactions plus fluides avec Siri. De plus, l'Apple Watch 9 dispose également d'un écran plus lumineux, de watchOS 10 et d'une expérience Siri bien améliorée. Non seulement l’assistant vocal est capable de mieux gérer les demandes, mais il peut désormais être utilisé même lorsqu’il n’est pas connecté à un réseau Wi-Fi. Malgré la luminosité accrue, l'Apple Watch 9 conserve jusqu'à 18 heures d'autonomie et s'étend jusqu'à plus de 30 heures en mode faible consommation.

Comme on peut s'y attendre, l'Apple Watch 9 s'avère être un compagnon de fitness exceptionnel. Il suit les entraînements, compte les pas, envoie des notifications sur la santé cardiaque et surveille le sommeil. WatchOS 10 introduit également de nouvelles fonctionnalités d'entraînement pour les cyclistes, la surveillance de la santé visuelle et le suivi de la santé mentale via l'application Mindness. Assurez-vous donc de profiter de cette offre Apple Watch avant qu’elle ne disparaisse.

Continue Reading

Trending

Copyright © 2023