Comment Microsoft a créé la Surface Smart Camera

Stephen Bathish, qui supervise toutes les innovations matérielles pour les appareils Microsoft, explique dans une interview avec le bord. La surprise de Microsoft 799,99 $ pour la caméra intelligente Surface Hub 2 Il a fait ses débuts la semaine dernière, offrant un recadrage automatique sans la distorsion et la distorsion que vous pourriez normalement voir sur d’autres caméras de salle de conférence.

Il peut détecter les visages et les corps, en essayant de s’assurer que tout le monde dans la salle est visible pendant les réunions, qu’ils soient proches de la caméra ou à huit mètres. La caméra intelligente du Surface Hub 2 peut voir à peu près toute une salle de conférence grâce à son champ de vision de 136 degrés, qui garde les personnes à l’avant au point avec celles à l’arrière.

Microsoft avait toujours prévu de mettre à niveau sa caméra Surface Hub 2 avant que la pandémie ne mette l’accent sur les réunions hybrides, c’est pourquoi elles sont modulaires et peuvent être détachées du haut des écrans de 55 ou 85 pouces. « Nous savions que nous allions développer l’expérience. Nous ne savions pas exactement comment, mais nous savions que cela allait changer et devait changer en fonction des besoins des gens, de l’évolution de la salle de réunion et même de la façon dont notre culture serait fondamentalement s’adapter aux réunions », déclare Patich.

Les gros appareils comme le Surface Hub 2 de 85 pouces présentaient des défis pour capturer des photos de tout le monde dans la salle de conférence avec un appareil photo traditionnel. « Nous avions besoin d’une caméra pour gérer les grandes salles », explique Pathici, alors Microsoft s’est mis au travail.

Bathish et son équipe ont créé les propres optiques, le modèle d’intelligence artificielle et l’ordinateur de pointe de Microsoft pour accéder à la caméra intelligente du Surface Hub 2 et alimenter l’imagerie informatique. « Il a une informatique embarquée, 1 téraflop d’informatique qui comprend essentiellement un grand modèle d’IA que nous avons construit », déclare Bathish. « Il a une application de cadrage automatique, et c’est dans l’appareil photo, donc ce qu’il montre n’est qu’une image 4K, donc ça ressemble littéralement à une webcam Surface Hub. »

Cela signifie que tout le travail d’IA est effectué sur la caméra elle-même, jamais envoyé vers le cloud ou même via le fil vers le Surface Hub 2 pour traitement. La caméra exécute un modèle d’IA, traite toutes les données et prend la décision de recadrer l’image en conséquence. Alors que Auto Frame peut capturer automatiquement tout le monde dans la pièce, la caméra intelligente utilisera également la compensation d’inclinaison pour ajuster l’image à la position de la caméra et créer un contact visuel plus naturel à la place. Il est également capable de supprimer l’effet fish-eye des objectifs grand angle afin que les personnes n’apparaissent pas déformées ou étirées à l’intérieur des salles de réunion.

« Nous avons conçu 11 éléments, une lentille entièrement en verre avec une mise au point très nette et essentiellement proche des limites de réfraction », explique Pathich. Derrière l’objectif se trouve un capteur 12MP (4000 x 3000) avec une ouverture f/1.8 qui génère une image recadrée 4K. « L’objectif réel est un champ de vision de 184 degrés, de sorte que la caméra peut regarder derrière elle-même. »

Tous ces appareils ne sont rien sans les modèles d’IA qui alimentent la Surface Smart Camera. Microsoft a lancé ce projet avant la pandémie, mais a dû former ses propres modèles d’IA Durant La pandémie, qui a posé des défis évidents pour remplir les salles de réunion de personnes.

« Nous sommes allés en Nouvelle-Zélande parce qu’ils n’avaient aucun cas de COVID-19 et nous avons des bureaux là-bas », explique Bathishi. « Nous avons embauché des acteurs et des actrices pour faire la collecte de données dans toutes sortes de pièces. Notre ensemble de données est très vaste. »

Microsoft a formé son modèle d’IA sur les visages et les corps pour s’assurer qu’il est parfaitement complet et détectera les personnes qui ne sont pas toujours face à la caméra. Elle a même utilisé des personnes et des visages artificiels pour améliorer sa polyvalence à travers les situations et les personnes. « Nous avons une technologie interne vraiment cool qui peut générer des données synthétiques, nous avons donc pu créer des personnes et des visages artificiels », ajoute Pathici.

Cependant, la caméra intelligente n’est pas formée pour détecter les animaux de compagnie ou les animaux. Cela devrait donc signifier qu’il n’essaiera pas de recadrer automatiquement la réunion si un chat ou un chien se présente au bureau. Microsoft a également appliqué Principes responsables de l’IA Pour ce projet, qui comprend un comité et un ensemble d’outils pour assurer l’équité et l’inclusivité de l’IA.

Photo : Microsoft

« Si vous regardez notre ensemble de données, vous constaterez qu’il est absolument incroyable à tous les niveaux en termes de disparité entre les différents groupes : race, sexe, couleur de peau, styles de cheveux, etc. », explique Pathici. « Je pense que l’une des choses qui sont intégrées à la caméra et que les gens pourraient ne pas voir sur la boîte est la force et l’inclusivité du modèle. »

Pathich dit que Microsoft a « assis et structuré » les capacités de cadrage automatique de sa caméra intelligente au cours de l’année écoulée pour s’assurer qu’il n’est pas trop rapide ou trop lent pour perdre du contenu. « Chaque image captée par la caméra décide s’il vaut la peine de déplacer l’image ou de la recadrer. »

Vous vous demandez peut-être si vous pouvez utiliser cet appareil photo à 799,99 $ sur un PC Windows ordinaire, mais ce n’est pas si simple. Bien que tous les modèles informatiques et IA soient hébergés à l’intérieur de la caméra intelligente Surface Hub 2, elle n’est pas vraiment conçue pour être une webcam ordinaire. « Son point de conception était pour le Hub. La hauteur, les angles et l’IA ont été conçus pour de nombreuses personnes proches et lointaines. Bien que vous puissiez techniquement concevoir un support et le connecter à un ordinateur, je ne pense pas que cela fonctionnera aussi bien que vous voulez », dit Batheshy.

Ce n’est pas non plus la première fois que Microsoft se concentre sur l’amélioration de ses webcams et caméras. Surface Pro X a déjà un fichier Fonction de contact visuel alimentée par l’IA Donne l’impression que vous établissez toujours un contact visuel, peu importe ce que vous regardez pendant un appel vidéo. Apple a ajouté FaceTime Attention Correction à iOS 13. « Les algorithmes que nous avons utilisés pour le contact visuel [for the Surface Pro X] Ce sont les mêmes algorithmes pour les visages que nous utilisons à l’intérieur de cet appareil photo », explique Bathychi.

Microsoft a apparemment construit cette caméra intelligente pour le Surface Hub 2, mais avec des rumeurs persistantes sur les webcams de marque Surface, il est possible que nous voyions un jour une puissante webcam Microsoft au lieu de Des prix abordables sont disponibles aujourd’hui. « Ce domaine de l’utilisation du calcul pour rassembler les gens et leur donner l’impression d’être dans la même pièce… Je pense que c’est quelque chose qui nous passionne depuis toujours et nous continuerons à l’être, et nous continuerons à développer comme vous le voyez dans la Surface Pro X », explique Pathici.