Les nouvelles caméras de Google's Street View aideront les algorithmes à indexer le monde réel
Steve Silverman a aidé à construire des caméras pour deux rovers de la NASA qui sont allés sur Mars. Dans le paysage moins exotique d’un parking Google, il regarde avec tendresse sa dernière création, boulonnée sur le toit d’une Hyundai à hayon. L’assemblage maladroit double presque la hauteur de la voiture : quatre pieds blancs qui soutiennent une tige noire verticale équipée de huit caméras. « Nous avons pensé à le recouvrir, mais nous sommes un peu des nerds », dit Silverman. « Nous en sommes fiers. »
Silverman et son équipe construisent le matériel qui capture les images pour Google Street View, le projet qui, depuis 2007, a mis en ligne des panoramas de plus de 10 millions de kilomètres de routes, de bâtiments et de l’acte occasionnel d’uriner en public pour que tout le monde puisse les voir. La nouvelle conception de la caméra, la première mise à niveau majeure en huit ans, a commencé à patrouiller régulièrement dans les rues le mois dernier. Les données qui commencent tout juste à revenir renforceront l’emprise numérique de Google sur le monde.
Comme vous pouvez vous y attendre si vous repensez à la caméra de votre téléphone portable de 2009, l’imagerie Street View est sur le point de devenir beaucoup plus claire. Attendez-vous à parcourir le monde depuis votre canapé avec une meilleure résolution et des couleurs plus vives. Mais le nouveau matériel de Google n’a pas été conçu uniquement pour les yeux humains. La plateforme embarquée comprend deux caméras qui capturent des images HD fixes de chaque côté du véhicule. Elles sont là pour alimenter les algorithmes de reconnaissance d’image de Google avec des images plus claires et plus rapprochées des bâtiments et des panneaux de signalisation.
Ces algorithmes peuvent scruter des millions de panneaux et de façades de magasins sans se fatiguer. En recueillant de grandes quantités d’informations visibles dans les rues du monde entier – enseignes, noms d’entreprises, peut-être même les heures d’ouverture affichées dans la vitrine de votre charcutier du coin – Google espère améliorer sa base de données de cartographie numérique déjà formidable. L’entreprise, construite sur le dos des algorithmes qui ont indexé le web, utilise la même stratégie sur le monde réel.
Surveillance globale
L’idée derrière Street View est presque aussi vieille que Google lui-même. En 2001, trois ans après la création de la société, le PDG Larry Page a apporté au laboratoire de graphisme de Stanford une vidéo qu’il avait tournée en voiture dans la région de la baie. Il a demandé aux chercheurs de trouver un moyen de la résumer en images, et ils ont lancé un projet baptisé « crawling the physical web ». Sa technologie a été absorbée par Google en 2006, lorsque les voitures de la société ont commencé à circuler sur les routes avant le lancement public de Street View l’année suivante.
Une décennie plus tard, les voitures Street View ont pris plus de 80 milliards de photos dans des milliers de villes et 85 pays. Les données cartographiques classiques de l’entreprise sont encore plus nombreuses. Mais Google a encore faim d’un meilleur index du monde. Jen Fitzpatrick, la vice-présidente qui dirige la division des cartes de l’entreprise, nous en rend responsables. « Les gens viennent vers nous chaque jour avec des questions plus difficiles et plus profondes », dit-elle.
La première fois que vous avez fait une recherche sur Google Maps ou Street View, vous avez probablement tapé une adresse de rue – peut-être la vôtre. Fitzpatrick dit que la société reçoit maintenant des requêtes plus difficiles qui nécessitent un modèle numérique plus frais et plus détaillé du monde, comme « Quel est le lieu thaïlandais ouvert en ce moment qui fait la livraison à mon adresse ? »
Elle veut que son service gère les requêtes qui supposent une connaissance de ce à quoi le monde ressemble : « Quel est le nom du magasin rose à côté de l’église au coin de la rue ? ». La poussée de Google pour nous faire parler avec son assistant virtuel de type Siri nous encourage à être plus conversationnels dans nos demandes. « Ce sont des questions auxquelles nous ne pouvons répondre que si nous avons des informations plus riches et plus profondes », dit Fitzpatrick.
L’énorme investissement de Google dans l’apprentissage automatique et l’IA fournit un moyen naturel d’obtenir ces informations. Grâce à des recherches récentes au sein de la division cartes, lorsqu’une voiture Street View capture des photos d’un tronçon de route, des algorithmes peuvent désormais créer automatiquement de nouvelles adresses dans la base de données cartographiques de l’entreprise en localisant et en transcrivant tous les noms et numéros de rue. Street View a été le premier des groupes de produits de Google à utiliser les puissantes puces d’IA personnalisées de l’entreprise, surnommées TPU.
Le système de l’équipe a appris à comprendre les abréviations, comme « AV. » pour avenida, en prenant des indices d’autres signes dans le pays où ils sont épelés en entier, et d’autres indices dans les données cartographiques de Google. Le logiciel a également été formé pour reconnaître les noms d’entreprises, et il est assez intelligent pour ignorer les dangers de trébuchement visuel comme le logo géant Bridgestone qui pourrait éclipser le nom d’un magasin de pneus.
Des images de meilleure qualité provenant du nouveau matériel qui équipe désormais les véhicules Street View de Google permettront à ces systèmes d’extraire des informations de ce type de manière plus fiable. « Du point de vue de l’apprentissage automatique, tout s’améliore », explique Andrew Lookingbill, un ingénieur qui travaille sur cette technologie. Cette technologie contribuera également aux efforts de son équipe pour créer de nouveaux logiciels encore plus aptes à comprendre le monde. Ils envisagent d’essayer de reconnaître automatiquement différents types d’entreprises à partir de leur apparence et de lire des informations plus fines comme les panneaux d’heures d’ouverture.
Nouveau territoire
Décoder les images de Street View avec des algorithmes peut être particulièrement utile dans les endroits où les routes, les villes et les entreprises changent le plus rapidement – les économies moins développées où Google et ses concurrents espèrent trouver leurs prochains quelques milliards d’utilisateurs. Le gouvernement indien a indiqué cette année qu’il avait récemment posé une moyenne de 14 miles de nouvelles routes par jour. Street View a été mis en service cet été dans la mégapole nigériane de Lagos, qui compte 21 millions d’habitants. Selon M. Fitzpatrick, les algorithmes de recherche d’images de Google pourraient aider à traduire la nouvelle imagerie en une augmentation significative de la qualité des cartes. Google vend des publicités à l’intérieur des cartes, donc une nouvelle couverture et une plus grande précision peuvent se traduire par plus de revenus si elles attirent de nouveaux utilisateurs et une nouvelle utilisation du service.
Google veut que vous aidiez à alimenter ses algorithmes avides d’images. L’intérêt récent de l’industrie technologique pour la réalité virtuelle a rendu les caméras à 360 degrés relativement bon marché. Cet été, Google a commencé à certifier certaines caméras comme « Street View ready », ce qui signifie que vous pouvez télécharger vos propres panoramas via l’application mobile Street View pour les diffuser sur le service de l’entreprise. Ces séquences seront traitées par les algorithmes de reconnaissance d’images de Google pour obtenir des données cartographiques fraîches, tout comme sa propre imagerie.
Google compte sur le crowdsourcing pour rendre les données Street View plus fraîches qu’elles ne le sont actuellement. « On s’attend à ce que Google ait indexé le monde entier », explique Charles Armstrong, un chef de produit pour Street View. « Mais cela ne répond jamais aux attentes ». L’application mobile Street View de Google récompense les personnes qui contribuent aux photos avec des trophées virtuels, et elle suggère même des endroits locaux où prendre son appareil photo. Plus important encore, Armstrong prédit que les entreprises, les offices du tourisme et même les gouvernements conduiront bientôt leurs propres voitures équipées d’appareils photo pour s’assurer que le monde obtient une vue à jour de leurs rues et de leurs villes.
Toutes les améliorations apportées à Street View pourraient aider Google à maintenir sa position de choix dans les cartes numériques. L’entreprise est la plus importante parmi la poignée de projets cartographiques mondiaux de premier plan. Les autres poids lourds sont HERE, propriété d’une coalition de constructeurs automobiles allemands, TomTom, connu pour ses appareils GPS autonomes et ses montres, et le projet collaboratif Open Street Map. « Chacun se mesure aux autres », déclare Alyssa Wright, présidente de la section américaine d’Open Street Map. (Dans un monde où la plupart d’entre nous possèdent un smartphone équipé d’un GPS, les données cartographiques sont importantes pour bien d’autres choses que l’orientation. « La cartographie est fondamentale pour la façon dont nous construisons notre avenir numérique, des véhicules autonomes aux applications de rencontre », dit Wright.
Les nouvelles caméras de Street View et la poussée de Google pour l’imagerie crowdsourcée pourraient également conduire la société à de nouvelles controverses sur la vie privée. Depuis le lancement de Street View, la crainte que Google ne transforme des scènes publiques éphémères en éléments permanents de l’Internet a été exprimée, et parfois enflammée. L’Allemagne et l’Autriche sont largement invisibles sur Google Street View, et ce depuis des années, après que la société a eu des problèmes pour avoir enregistré des données Wi-Fi avec les véhicules Street View. La flotte de Google n’est revenue que récemment dans ces deux pays. En 2012, le plus haut tribunal de Suisse a ordonné à Google de réduire ses caméras pour les empêcher d’épier par-dessus les murs et de flouter certains endroits comme les refuges pour femmes.
Fitzpatrick repousse la suggestion selon laquelle une imagerie de meilleure qualité pourrait entraîner davantage de problèmes de confidentialité. « Nous n’avons pas vu ou entendu parler d’endroits où il y a des sensibilités supplémentaires », dit-elle. Google continuera à flouter automatiquement les visages et les plaques d’immatriculation sur ses propres images Street View. Mais il ne le fera pas par défaut sur les séquences crowdsourcées, laissant plutôt aux utilisateurs le choix d’utiliser ou non la technologie de floutage de Google lorsqu’ils téléchargent de nouvelles photos 360.
Combien de choses supplémentaires Google pourrait-il extraire de Street View en utilisant des algorithmes de traitement d’images ? Beaucoup.
En début d’année, des chercheurs de Stanford, dont le professeur Fei-Fei Li, aujourd’hui responsable scientifique de la division cloud de Google, ont montré qu’ils pouvaient prédire les revenus, la race et les tendances de vote pour les villes américaines avec un logiciel qui enregistre la marque, le modèle et l’année des voitures sur les photos de Street View. Lorsqu’on lui a demandé si quelque chose de ce genre était prévu chez Google, un porte-parole s’est contenté de dire que l’entreprise cherche toujours des moyens d’utiliser les données de Street View pour améliorer les plateformes de l’entreprise, y compris au-delà des cartes.
Traiter les images Street View de Google et de ses utilisateurs pourrait également aider les voitures autopilotées de Waymo, une autre filiale d’Alphabet, à comprendre le monde. « L’équipe collabore sur des choses de temps en temps », c’est tout ce que Fitzpatrick dira à ce sujet. Mais son équipe a autant à gagner en retour de Waymo.
De retour dans ce parking Google, le magicien des caméras Silverman avoue que parcourir les autoroutes dans une voiture Street View équipée d’un des appareils de son équipe n’est pas très amusant. « Au bout d’une journée, vous avez envie de ne plus être chauffeur de bus et de retourner à l’ingénierie », dit-il. Tout comme les véhicules à conduite autonome modifieraient l’économie des services de transport à la demande, le fait de ne plus avoir à payer des gens pour s’ennuyer au volant serait une aubaine pour Street View. L’index algorithmique du monde physique de la société ne fait peut-être que commencer.