Steve Silverman hjälpte till att bygga kameror för två NASA-rovers som åkte till Mars. I det mindre exotiska landskapet på Googles parkeringsplats tittar han med glädje på sin senaste skapelse, som är bultad på taket på en Hyundai hatchback. Den grimma monteringen fördubblar nästan bilens höjd: fyra vita ben som håller upp en vertikal svart stång med åtta kameror. ”Vi funderade på att täcka över den, men vi är lite nördar”, säger Silverman. ”Vi är stolta över den.”

Silverman och hans team bygger hårdvaran som fångar bilder för Google Street View, projektet som sedan 2007 har lagt ut panoramabilder av mer än 15 miljoner kilometer av vägar, byggnader och enstaka offentlig urinering på nätet så att alla kan se dem. Den nya kameran, som är den första större uppgraderingen på åtta år, började patrullera gatorna regelbundet förra månaden. De data som just nu börjar komma tillbaka kommer att stärka Googles digitala grepp om världen.

Som du kanske förväntar dig om du tänker tillbaka på kameran i din mobiltelefon från 2009, är Street View-bilder på väg att bli mycket tydligare. Se fram emot att glida genom världen från din soffa i högre upplösning och starkare färger. Men Googles nya hårdvara utformades inte bara med mänskliga ögon i åtanke. Bilens topputrustning innehåller två kameror som fångar stillbilder i HD-format på båda sidorna av fordonet. De är till för att ge tydligare och närmare bilder av byggnader och gatunamnsskyltar till Googles bildigenkänningsalgoritmer.

Dessa algoritmer kan granska miljontals skyltar och butiksfasader utan att tröttna. Genom att samla in stora mängder information som är synlig på världens gator – skyltar, företagsnamn, kanske till och med öppettider i fönstret på din delikatessbutik i hörnet – hoppas Google kunna förbättra sin redan formidabla digitala kartdatabas. Företaget, som byggdes på algoritmer som indexerade webben, använder samma strategi i den verkliga världen.

Global övervakning

Idén bakom Street View är nästan lika gammal som Google själv. År 2001, tre år efter företagets grundande, tog vd Larry Page med sig ett videoband som han hade filmat när han körde runt i Bay Area till Stanfords grafiklaboratorium. Han bad forskarna där att komma på ett sätt att sammanfatta det i bilder, och de inledde ett projekt som kallades ”crawling the physical web”. Tekniken togs över av Google 2006, när företagets bilar först körde ut på vägarna innan Street View lanserades för allmänheten året därpå.

Tio år senare har Street View-bilarna tagit mer än 80 miljarder bilder i tusentals städer och 85 länder. Företagets konventionella kartdata är ännu mer omfattande. Men Google hungrar fortfarande efter ett bättre index av världen. Jen Fitzpatrick, vice vd som leder företagets kartdivision, skyller detta på oss. ”Folk kommer till oss varje dag med svårare och djupare frågor”, säger hon.

Den första gången du sökte på Google Maps eller Street View skrev du förmodligen in en gatuadress – kanske din egen. Fitzpatrick säger att företaget nu får tuffare frågor som kräver en färskare och mer detaljerad digital modell av världen, till exempel: ”Vilket thailändskt ställe är öppet nu och levererar till min adress?”

Hon vill att hennes tjänst ska kunna hantera frågor som förutsätter kunskap om hur världen ser ut: ”Vad heter den rosa butiken bredvid kyrkan på hörnet?” Googles satsning på att få oss att prata med sin virtuella assistent i stil med Siri uppmuntrar oss att vara mer konverserande i våra förfrågningar. ”Det här är frågor som vi bara kan besvara om vi har rikare och djupare information”, säger Fitzpatrick.

Googles enorma investeringar i maskininlärning och artificiell intelligens ger ett naturligt sätt att få den informationen. Tack vare ny forskning inom kartdivisionen kan algoritmerna, när en Street View-bil tar bilder av en vägsträcka, nu automatiskt skapa nya adresser i företagets kartdatabas genom att lokalisera och transkribera eventuella gatunamn och nummer. Street View var den första av Googles produktgrupper som använde sig av företagets kraftfulla anpassade AI-chip, kallade TPU:er.

Teamets system har lärt sig att räkna ut förkortningar, t.ex. ”AV.” för avenida, genom att ta ledtrådar från andra skyltar i landet där de stavas i sin helhet, och andra ledtrådar i Googles kartdata. Programvaran har också tränats i att känna igen företagsnamn och är tillräckligt smart för att ignorera visuella snubbelrisker, t.ex. den gigantiska Bridgestone-logotypen som kan överskugga namnet på en däckverkstad.

Bilder av högre kvalitet som kommer från den nya maskinvaran som nu finns på Googles Street View-fordon kommer att göra det möjligt för systemen att extrahera information av det här slaget på ett mer tillförlitligt sätt. ”Ur ett maskininlärningsperspektiv blir allting bättre”, säger Andrew Lookingbill, en ingenjör som arbetar med tekniken. Det kommer också att hjälpa hans team att bygga ny mjukvara som är ännu bättre på att förstå världen. De funderar på att försöka känna igen olika typer av företag automatiskt utifrån deras utseende och att läsa finkornigare information som skyltar med öppettider.

Nytt territorium

Avkodning av Street View-bilder med hjälp av algoritmer kan vara särskilt användbar på platser där vägar, städer och företag förändras snabbast – de mindre utvecklade ekonomier där Google och dess konkurrenter hoppas kunna hitta sina nästa miljarder användare. Indiens regering rapporterade i år att den nyligen har lagt ut i genomsnitt 14 mil ny väg varje dag. Street View togs i bruk i sommar i den nigerianska megastaden Lagos med 21 miljoner invånare. Fitzpatrick säger att Googles algoritmer för bildanalys kan hjälpa till att omvandla de nya bilderna till en avsevärd förbättring av kartkvaliteten. Google säljer annonser i kartor, så ny täckning och noggrannhet kan översättas till mer intäkter om de lockar nya användare och användning till tjänsten.

Google vill att du hjälper till att mata sina bildhungriga algoritmer. Teknikindustrins senaste intresse för virtuell verklighet har gjort 360-graders kameror relativt billiga. I somras började Google certifiera vissa kameror som ”Street View ready”, vilket innebär att du kan ladda upp dina egna panoramabilder via mobilappen Street View för att leva på företagets tjänst. Detta material kommer att bearbetas av Googles bildigenkänningsalgoritmer för färska kartdata precis som företagets egna bilder.

Google räknar med crowdsourcing för att göra Street View-data fräschare än vad de är nu. ”Förväntningarna är att Google har världen indexerad”, säger Charles Armstrong, produktchef för Street View. ”Men det lever aldrig upp till förväntningarna.” Googles mobilapp Street View belönar personer som bidrar med bilder med virtuella troféer, och den föreslår till och med lokala platser att ta med kameran på. Ännu viktigare är att Armstrong förutspår att företag, turistbyråer och till och med regeringar snart kommer att köra egna bilar med kameror för att se till att världen får en uppdaterad bild av deras gator och städer.

Alla uppgraderingar av Street View kan hjälpa Google att behålla sin topposition inom digitala kartor. Företaget är det mest framstående bland den handfull ledande globala kartläggningsprojekt. De andra tunga konkurrenterna är HERE, som ägs av en koalition av tyska bilföretag, TomTom, som är känt för fristående GPS-enheter och klockor, och samarbetsprojektet Open Street Map. ”Var och en mäter sig mot de andra”, säger Alyssa Wright, ordförande för den amerikanska sektionen av Open Street Map. (Apples relativt unga kartverksamhet licensierar data från TomTom.) I en värld där de flesta av oss har GPS-utrustade smarttelefoner är kartdata viktiga för mycket mer än bara vägbeskrivningar. ”Kartläggning är grundläggande för hur vi bygger vår digitala framtid, från autonoma fordon till dejtingappar”, säger Wright.

Street Views nya kameror och Googles satsning på crowdsourcade bilder kan också leda företaget in i nya kontroverser om integritet. Oron för att Google ska göra flyktiga offentliga scener till permanenta internetföremål har varit stor, och ibland även upprörd, sedan Street View började användas. Tyskland och Österrike är i stort sett osynliga på Google Street View, och har varit det i flera år, efter att företaget fick problem med att logga Wi-Fi-data med Street View-fordon. Googles flotta återvände först nyligen till båda länderna. År 2012 beordrade Schweiz högsta domstol Google att skära ner på sina kameror för att förhindra att de kikar över väggar och för att sudda ut vissa platser, t.ex. kvinnojourer.

Fitzpatrick avvisar antydan om att bilder av högre kvalitet skulle kunna leda till fler problem med integriteten. ”Vi har inte sett eller hört talas om platser där det finns ytterligare känslighet”, säger hon. Google kommer att fortsätta att automatiskt sudda ut ansikten och registreringsskyltar på sina egna Street View-bilder. Men de kommer inte att göra det som standard på crowdsourcad material, utan låter användarna själva välja om de vill använda Googles suddigteknik när de laddar upp nya 360-bilder.

Hur mycket mer skulle Google kunna utvinna från Street View med hjälp av bildbehandlingsalgoritmer? Mycket.

Tidigare i år visade Stanfordforskare, däribland professor Fei-Fei Li, som nu är chefforskare på Googles molndivision, att de kunde förutsäga inkomst, ras och röstningsmönster i amerikanska städer med hjälp av programvara som loggar märke, modell och årsmodell på bilar i Street View-foton. På frågan om något liknande var planerat hos Google svarade en talesperson bara att företaget alltid letar efter sätt att använda Street View-data för att förbättra företagets plattformar, inklusive utöver kartor.

Bearbetning av Street View-bilder från Google och dess användare skulle också kunna hjälpa de självkörande bilarna från Alphabets dotterbolag Waymo att förstå världen. ”Teamet samarbetar om saker från tid till annan”, är allt Fitzpatrick vill säga om detta. Men hennes team har lika mycket att vinna i gengäld från Waymo.

Tillbaka på Googles parkeringsplats erkänner kamerateknikern Silverman att det inte är särskilt roligt att åka runt på motorvägar i en Street View-bil med en av hans teams enheter. ”Efter en dag är man redo att inte vara busschaufför och gå tillbaka till ingenjörsyrket”, säger han. Precis som självkörande fordon skulle förändra ekonomin för beställningstjänster, skulle det vara en välsignelse för Street View att slippa betala folk för att vara uttråkade bakom ratten. Företagets algoritmiska index av den fysiska världen kanske bara har börjat.