Steve Silverman heeft camera’s helpen bouwen voor twee NASA-rovers die naar Mars zijn geweest. In het minder exotische landschap van een Google-parkeerplaats kijkt hij liefdevol omhoog naar zijn nieuwste creatie, die op het dak van een Hyundai-hatchback is geschroefd. Het onhandige bouwsel verdubbelt bijna de hoogte van de auto: vier witte poten houden een verticale zwarte stang omhoog met acht camera’s. “We dachten eraan om het te bedekken, maar we zijn nogal nerds,” zegt Silverman. “We zijn er trots op.”

Silverman en zijn team bouwen de hardware die beelden vastlegt voor Google Street View, het project dat sinds 2007 panorama’s van meer dan 10 miljoen mijl aan wegen, gebouwen, en af en toe een daad van openbaar urineren online heeft gezet voor iedereen te zien. Het nieuwe camera-ontwerp, de eerste grote upgrade in acht jaar, begon vorige maand regelmatig in de straten te patrouilleren. De gegevens die net beginnen terug te komen, zullen Google’s digitale greep op de wereld versterken.

Zoals je zou verwachten als je terugdenkt aan de camera in je mobiele telefoon uit 2009, staat Street View-beeldmateriaal op het punt om een stuk duidelijker te worden. Kijk ernaar uit om vanaf je bank door de wereld te glijden in een hogere resolutie en met krachtigere kleuren. Maar Google’s nieuwe hardware is niet ontworpen met alleen menselijke ogen in het achterhoofd. De auto-top rig bevat twee camera’s die stilstaande HD-beelden vastleggen aan weerszijden van het voertuig. Ze zijn er om duidelijker, dichterbij opnamen van gebouwen en straatnaamborden in Google’s beeldherkenning algoritmes te voeren.

Deze algoritmes kunnen miljoenen borden en winkelpuien doorzoeken zonder moe te worden. Door het opzuigen van grote hoeveelheden informatie zichtbaar op de straten van de wereld-borden, bedrijfsnamen, misschien zelfs openingstijden geplaatst in het venster van uw hoek deli-Google hoopt om zijn toch al formidabele digitale kaarten database te verbeteren. Het bedrijf, gebouwd op de rug van algoritmen die het web indexeren, gebruikt dezelfde strategie op de echte wereld.

Global surveillance

Het idee achter Street View is bijna net zo oud als Google zelf. In 2001, drie jaar na de oprichting van het bedrijf, nam CEO Larry Page een videoband die hij had gemaakt terwijl hij door de Bay Area reed, mee naar het grafische lab van Stanford. Hij vroeg onderzoekers daar een manier te bedenken om de video samen te vatten in beelden, en ze begonnen aan een project met de naam “crawling the physical web”. De technologie werd geabsorbeerd door Google in 2006, toen de auto’s van het bedrijf voor het eerst de weg opgingen voor de publieke lancering van Street View het jaar daarop.

Een decennium later hebben Street View-auto’s meer dan 80 miljard foto’s gemaakt in duizenden steden en 85 landen. De conventionele kaartgegevens van het bedrijf zijn zelfs nog uitgebreider. Maar Google hunkert nog steeds naar een betere index van de wereld. Jen Fitzpatrick, de vice-president die aan het hoofd staat van de kaartendivisie van het bedrijf, wijt dat aan onszelf. “Mensen komen elke dag naar ons toe met hardere en diepere vragen,” zegt ze.

De eerste keer dat je op Google Maps of Street View zocht, typte je waarschijnlijk een straatadres in – misschien je eigen adres. Fitzpatrick zegt dat het bedrijf nu moeilijkere zoekopdrachten krijgt die een verser, gedetailleerder digitaal model van de wereld vereisen, zoals “Wat is een Thais restaurant dat nu open is en op mijn adres bezorgt?”

Ze wil dat haar dienst zoekopdrachten kan verwerken die kennis veronderstellen van hoe de wereld eruitziet: “Wat is de naam van de roze winkel naast de kerk op de hoek? Google’s poging om ons aan het praten te krijgen met zijn virtuele assistent in Siri-stijl moedigt ons aan om meer conversationeel te zijn in onze vragen. “Dit zijn vragen die we alleen kunnen beantwoorden als we rijkere en diepere informatie hebben,” zegt Fitzpatrick.

Google’s enorme investering in machinaal leren en AI biedt een natuurlijke manier om die informatie te krijgen. Dankzij recent onderzoek binnen de kaartdivisie kunnen algoritmen, wanneer een Street View-auto foto’s van een stuk weg maakt, nu automatisch nieuwe adressen maken in de kaartendatabase van het bedrijf door straatnamen en -nummers te lokaliseren en te transcriberen. Street View was de eerste van Google’s productgroepen die de krachtige aangepaste AI-chips van het bedrijf gebruikte, TPU’s genoemd.

Het systeem van het team heeft geleerd om afkortingen te achterhalen, zoals “AV.” voor avenida, door hints te nemen van andere borden in het land waar ze volledig worden gespeld, en andere aanwijzingen in de kaartgegevens van Google. De software is ook getraind om bedrijfsnamen te herkennen en is slim genoeg om visuele gevaren te negeren, zoals het gigantische Bridgestone-logo dat de naam van een bandenwinkel in de schaduw stelt.

Door de hogere kwaliteit van de beelden die afkomstig zijn van de nieuwe hardware die nu op de Street View-voertuigen van Google is geïnstalleerd, kunnen deze systemen betrouwbaardere informatie zoals deze extraheren. “Vanuit het oogpunt van machinaal leren wordt alles beter”, zegt Andrew Lookingbill, een ingenieur die aan de technologie werkt. Het zal zijn team ook helpen bij het bouwen van nieuwe software die de wereld nog beter begrijpt. Ze denken aan het automatisch herkennen van verschillende soorten bedrijven aan hun uiterlijk en het lezen van fijnmazigere informatie, zoals borden met openingstijden.

Nieuw gebied

Het decoderen van Street View-beelden met algoritmen kan vooral nuttig zijn op plaatsen waar wegen, steden en bedrijven het snelst veranderen – de minder ontwikkelde economieën waar Google en zijn concurrenten hun volgende paar miljard gebruikers hopen te vinden. De Indiase regering meldde dit jaar dat ze de laatste tijd elke dag gemiddeld 14 mijl aan nieuwe wegen heeft aangelegd. Street View ging deze zomer live in de Nigeriaanse megastad Lagos – met 21 miljoen inwoners. Fitzpatrick zegt dat de beeldzoekende algoritmes van Google kunnen helpen om de nieuwe beelden te vertalen in een aanzienlijke verbetering van de kaartkwaliteit. Google verkoopt advertenties in kaarten, dus nieuwe dekking en nauwkeurigheid kunnen zich vertalen in meer inkomsten als ze nieuwe gebruikers en gebruik naar de service trekken.

Google wil dat u helpt zijn beeldhongerige algoritmen te voeden. De recente belangstelling van de technologie-industrie voor virtual reality heeft 360-gradencamera’s relatief goedkoop gemaakt. Deze zomer is Google begonnen met het certificeren van sommige camera’s als “klaar voor Street View”, wat betekent dat u uw eigen panorama’s kunt uploaden via de mobiele app Street View om ze live te laten zien op de service van het bedrijf. Dat beeldmateriaal zal worden verwerkt door Google’s beeldherkenningsalgoritmen voor verse kaartgegevens, net als zijn eigen beeldmateriaal.

Google rekent op crowdsourcing om Street View-gegevens verser te maken dan nu het geval is. “De verwachting is dat Google de wereld geïndexeerd heeft,” zegt Charles Armstrong, een productmanager voor Street View. “Maar het voldoet nooit aan de verwachtingen.” Google’s Street View mobiele app beloont individuen die foto’s bijdragen met virtuele trofeeën, en het zal zelfs lokale plekken voorstellen om je camera mee naar toe te nemen. Meer significant, Armstrong voorspelt dat bedrijven, toeristische boards en zelfs overheden binnenkort hun eigen camera-toting auto’s zullen rijden om ervoor te zorgen dat de wereld een up-to-date beeld van hun straten en steden krijgt.

Al deze upgrades van Street View zouden Google kunnen helpen zijn toppositie in digitale kaarten te behouden. Het bedrijf is de meest prominente onder de handvol toonaangevende wereldwijde kaartprojecten. De andere zwaargewichten zijn HERE, eigendom van een coalitie van Duitse autobedrijven; TomTom, bekend van stand-alone GPS-apparaten en horloges; en samenwerkingsproject Open Street Map. “Elk van hen kan zich meten met de anderen”, zegt Alyssa Wright, voorzitter van de Amerikaanse afdeling van Open Street Map. (De relatief jonge cartografische activiteiten van Apple licentiëren gegevens van TomTom.) In een wereld waarin de meesten van ons een smartphone met GPS bij zich hebben, zijn kaartgegevens voor veel meer van belang dan alleen routebeschrijvingen. “Cartografie is van fundamenteel belang voor de manier waarop we onze digitale toekomst bouwen, van autonome voertuigen tot dating-apps”, aldus Wright.

De nieuwe camera’s van Street View en Google’s streven naar crowdsourced beeldmateriaal kunnen het bedrijf ook in nieuwe privacycontroverses brengen. Sinds het begin van Street View heerst er bezorgdheid over het feit dat Google van vluchtige openbare scènes permanente internetobjecten maakt, en soms laait de bezorgdheid op. Duitsland en Oostenrijk zijn grotendeels onzichtbaar op Google Street View, en dat al jaren, nadat het bedrijf in de problemen was gekomen omdat het met Street View-voertuigen wifi-gegevens had geregistreerd. De vloot van Google is pas onlangs in beide landen teruggekeerd. In 2012 beval het hoogste Zwitserse gerechtshof Google de camera’s in te krimpen om te voorkomen dat ze over muren zouden gluren en om bepaalde plaatsen, zoals opvanghuizen voor vrouwen, onscherp te maken.

Fitzpatrick wuift de suggestie weg dat beelden van hogere kwaliteit tot meer privacyzorgen zouden kunnen leiden. “We hebben niet gezien of gehoord van plaatsen waar er extra gevoeligheden zijn,” zegt ze. Google zal doorgaan met het automatisch vervagen van gezichten en kentekens op zijn eigen Street View-beelden. Maar het zal dat niet standaard doen op crowdsourced beelden, in plaats daarvan laat het aan gebruikers om te kiezen of ze Google’s vervagingstechnologie willen gebruiken wanneer ze nieuwe 360-foto’s uploaden.

Hoeveel meer zou Google uit Street View kunnen halen met behulp van beeldverwerkingsalgoritmen? Veel.

Eerder dit jaar lieten Stanford-onderzoekers, waaronder professor Fei-Fei Li, nu chief scientist bij Google’s clouddivisie, zien dat ze inkomen, ras en stempatronen voor Amerikaanse steden konden voorspellen met software die het merk, model en jaar van auto’s in Street View-foto’s logt. Op de vraag of iets dergelijks gepland was bij Google, wilde een woordvoerder alleen zeggen dat het bedrijf altijd op zoek is naar manieren om Street View-gegevens te gebruiken om de platforms van het bedrijf te verbeteren, inclusief buiten kaarten.

Het verwerken van Street View-beelden van Google en zijn gebruikers zou ook de zelfrijdende auto’s van mede Alphabet-dochter Waymo kunnen helpen de wereld te begrijpen. “Het team werkt af en toe samen aan dingen”, is alles wat Fitzpatrick daarover wil zeggen. Maar haar team heeft evenveel terug te winnen van Waymo.

Terug op die Google-parkeerplaats, bekent camera-wizard Silverman dat het trollen van snelwegen in een Street View-auto met een van de apparaten van zijn team niet veel plezier is. “Na een dag ben je klaar om geen buschauffeur meer te zijn en terug te gaan naar techniek,” zegt hij. Net zoals zelfrijdende auto’s de economie van on-demand ritjesdiensten zouden veranderen, zou het niet meer hoeven betalen van mensen om zich achter het stuur te vervelen een zegen zijn voor Street View. De algoritmische index van de fysieke wereld van het bedrijf is misschien nog maar net begonnen.