Il existe un nombre croissant d'outils permettant aux utilisateurs de fournir des représentations en ligne de données, telles que des graphiques, accessibles aux personnes aveugles ou malvoyantes. Cependant, la plupart des outils nécessitent une présentation visuelle existante qui peut ensuite être convertie dans un format accessible.

Cela crée des obstacles qui empêchent les utilisateurs aveugles et malvoyants de créer leurs propres représentations de données personnalisées et peut limiter leur capacité à explorer et analyser des informations importantes.

Une équipe de chercheurs du MIT et de l’University College London (UCL) souhaite changer la façon dont les gens envisagent la représentation des données accessibles.

Ils ont créé un système logiciel appelé environnement (qui signifie « environnement » en allemand) qui peut permettre aux utilisateurs aveugles et malvoyants de créer des représentations de données personnalisées et multimodales sans avoir besoin d'une présentation visuelle initiale.

Umwelt, un environnement de création conçu pour les utilisateurs de lecteurs d'écran, comprend un éditeur qui permet à quelqu'un de télécharger un ensemble de données et de créer une représentation personnalisée, telle qu'un nuage de points, qui peut inclure trois modalités : visualisation, description textuelle et sonification. La sonification consiste à convertir des données en sons non vocaux.

Le système, qui peut représenter une variété de types de données, comprend un visualiseur qui permet à un utilisateur aveugle ou malvoyant d'explorer de manière interactive la représentation des données, en passant de manière transparente entre chaque manière d'interagir avec les données d'une manière différente.

Les chercheurs ont mené une étude auprès de cinq utilisateurs experts de lecteurs d’écran qui ont trouvé Umwelt utile et facile à apprendre. En plus d’offrir une interface leur permettant de créer des représentations de données – ce qui, selon eux, manquait cruellement – ​​les utilisateurs ont déclaré qu’Umwelt pourrait faciliter la communication entre des personnes qui s’appuient sur différents sens.

« Nous devons nous rappeler que les personnes aveugles et malvoyantes ne sont pas isolées. Elles se trouvent dans ces contextes où elles veulent parler de données à d'autres personnes », explique Jonathan Zhong, étudiant diplômé en génie électrique et informatique (EECS) et auteur principal. du papier. Fiche de présentation d'Umwelt. « J'espère qu'Umwelt contribuera à changer la façon dont les chercheurs envisagent l'analyse des données accessibles. Permettre la pleine participation des personnes aveugles et malvoyantes à l'analyse des données implique de considérer la visualisation comme une seule pièce de ce puzzle multisensoriel plus vaste. »

Zhong est rejoint dans cet article par Isabella Pedraza Pineros et Mingzhou « Katie » Chen, étudiantes diplômées de l'EECS ; Daniel Hagas, chercheur à l'University College London travaillant avec le Global Centre for Disability Innovation ; Et l'auteur principal Arvind Satyanarayan, professeur agrégé d'informatique au MIT qui dirige le groupe de visualisation du laboratoire d'informatique et d'intelligence artificielle. Le document sera présenté à la conférence ACM sur les facteurs humains en informatique.

Visualisation décentralisée

Les chercheurs ont déjà développé des interfaces interactives qui offrent une expérience plus riche aux utilisateurs de lecteurs d’écran lorsqu’ils explorent les représentations de données accessibles. Grâce à ce travail, ils ont réalisé que la plupart des outils nécessaires pour créer de telles représentations impliquent de transformer des schémas visuels existants.

Dans le but de réduire la représentation visuelle dans l'analyse des données, Zhong et Hagas, qui ont perdu la vue à l'âge de 16 ans, ont commencé à concevoir Umwelt il y a plus d'un an.

Premièrement, ils ont réalisé qu’ils devraient repenser la façon dont ils représentaient les mêmes données à l’aide de modèles visuels, audio et textuels.

« Nous avons dû trouver un dénominateur commun derrière les trois approches », explique Hagas. « En créant ce nouveau langage de représentation et en rendant les résultats et les intrants accessibles à tous, le tout devient plus grand que la somme de ses parties. »

Pour construire Umwelt, ils ont d’abord pris en compte ce qui était unique dans la façon dont les gens utilisent chacun de leurs sens.

Par exemple, un utilisateur voyant peut voir le motif général d’un nuage de points et, en même temps, bouger ses yeux pour se concentrer sur différents points de données. Mais pour quelqu’un qui écoute la sonification, l’expérience est linéaire puisque les données sont converties en tonalités qui doivent être jouées les unes après les autres.

« Si vous pensez uniquement à traduire directement les caractéristiques visibles en caractéristiques non visibles, vous passez à côté des forces et des faiblesses uniques de chaque méthode », ajoute Zhong.

Ils ont conçu Umwelt pour offrir de la flexibilité, permettant à l'utilisateur de basculer facilement entre les méthodes lorsque cela convient le mieux à sa tâche à un moment donné.

Pour utiliser l'éditeur, il faut télécharger un ensemble de données sur Umwelt, qui utilise des heuristiques pour créer automatiquement des représentations virtuelles dans chaque méthode.

Si l'ensemble de données contient les cours des actions d'entreprises, Umwelt peut créer un graphique linéaire multi-séries, une structure de texte qui regroupe les données par symbole boursier et par date, ainsi qu'un phonème qui utilise la longueur des tons pour représenter le prix de chaque date, organisé par ticker. symbole.

Les heuristiques par défaut sont destinées à aider l'utilisateur à démarrer.

« Dans tout type d'outil de création, vous obtenez un effet de page vierge où il est difficile de savoir par où commencer. Cela est encore plus vrai dans un outil multimédia car vous devez définir les choses dans trois représentations différentes », explique Zhong.

L'éditeur relie les interactions entre les méthodes, donc si l'utilisateur modifie la description textuelle, ces informations sont modifiées dans la sonification correspondante. N'importe qui peut utiliser l'éditeur pour créer une représentation multimédia, accéder au visualiseur pour une exploration initiale, puis revenir à l'éditeur pour effectuer des ajustements.

Aider les utilisateurs à communiquer des données

Pour tester Umwelt, ils ont créé diverses représentations multimédias, allant des nuages ​​de points aux graphiques à vues multiples, afin de garantir que le système puisse représenter efficacement différents types de données. Ils ont ensuite confié l’outil à cinq utilisateurs experts en lecteurs d’écran.

Les participants à l’étude ont principalement trouvé Umwelt utile pour créer, explorer et discuter de représentations de données. Un utilisateur a déclaré qu’Umwelt servait de « catalyseur » réduisant le temps nécessaire à l’analyse des données. Les utilisateurs conviennent qu'Umwelt peut les aider à communiquer plus facilement des données avec des collègues voyants.

« Ce qui se démarque chez Umwelt, c'est sa philosophie fondamentale consistant à minimiser l'importance des éléments visuels au profit d'une expérience de données équilibrée et multisensorielle. Trop souvent, les représentations de données non visuelles sont reléguées au statut de considérations secondaires et ne sont que des ajouts à leurs homologues visuels. Cependant, la visualisation n'est qu'un aspect de la visualisation des données. « J'apprécie leurs efforts pour changer cette perception et adopter une approche plus holistique de la science des données », déclare Jo Young Seo, professeur adjoint au Collège des sciences de l'information à l'Université de l'Illinois à Urbana-Champaign, qui n'a pas participé à ces travaux.

À l’avenir, les chercheurs prévoient de créer une version open source d’Umwelt sur laquelle d’autres pourront s’appuyer. Ils souhaitent également intégrer la détection tactile dans le système logiciel en tant que méthode supplémentaire, permettant l'utilisation d'outils tels que des écrans graphiques tactiles actualisables.

« En plus de son impact sur les utilisateurs finaux, j'espère qu'Umwelt servira de plateforme pour poser des questions scientifiques sur la façon dont les gens utilisent et perçoivent les représentations multimodales, et sur la manière dont nous pouvons améliorer la conception au-delà de cette étape initiale », déclare Zhong.

Ce travail a été soutenu en partie par la National Science Foundation et la MIT Morningside Academy for Design Fellowship.