Google avslöjar neurala nätverk med övermänsklig förmåga att bestämma platsen för nästan vilken bild som helst

Här är en knepig uppgift. Välj ett fotografi från webben på måfå. Försök nu att ta reda på var den togs med bara bilden själv. Om bilden visar en känd byggnad eller ett landmärke, som Eiffeltornet eller Niagarafallen, är uppgiften enkel. Men jobbet blir betydligt svårare när bilden saknar specifika lokaliseringssignaler eller är tagen inomhus eller visar ett husdjur eller mat eller någon annan detalj.

Ändå är människor förvånansvärt bra på denna uppgift. För att hjälpa till medför de all slags kunskap om världen, såsom typ och språk för skyltar som visas, typer av vegetation, arkitektoniska stilar, trafikriktning och så vidare. Människor tillbringar en livstid med att plocka upp dessa typer av geolokaliseringssignaler.

Så det är lätt att tro att maskiner skulle kämpa med denna uppgift. Och det har de verkligen.

Idag förändras det tack vare Tobias Weyands arbete, en datorseendespecialist på Google, och ett par kompisar. De här killarna har tränat en djupinlärningsmaskin för att ta reda på platsen för nästan vilket foto som helst med hjälp av bara de pixlar som den innehåller.

Deras nya maskin överträffar människor avsevärt och kan till och med använda ett smart knep för att bestämma platsen för inomhusbilder och bilder på specifika saker som husdjur, mat och så vidare som inte har några lokaliseringssignaler.

Deras tillvägagångssätt är okomplicerat, åtminstone i världen av maskininlärning. Weyand och co börjar med att dela upp världen i ett rutnät som består av över 26 000 rutor av varierande storlek som beror på antalet bilder tagna på den platsen.

Så stora städer, som är föremål för många bilder, har en mer finkornig rutnätsstruktur än mer avlägsna regioner där fotografier är mindre vanliga. Faktum är att Google-teamet ignorerade områden som hav och polarområden, där få fotografier har tagits.

Därefter skapade teamet en databas med geolokaliserade bilder från webben och använde platsdata för att bestämma rutnätsrutan där varje bild togs. Denna datamängd är enorm och består av 126 miljoner bilder tillsammans med tillhörande Exif-platsdata.

Weyand och co använde 91 miljoner av dessa bilder för att lära ett kraftfullt neuralt nätverk att ta reda på rutnätsplatsen med bara själva bilden. Deras idé är att mata in en bild i detta neurala nät och som utgång få en viss rutnätsplats eller en uppsättning troliga kandidater.

De validerade sedan det neurala nätverket med de återstående 34 miljoner bilderna i datamängden. Till slut testade de nätverket – som de kallar PlaNet – på ett antal olika sätt för att se hur bra det fungerar.

Resultaten ger intressant läsning. För att mäta noggrannheten hos deras maskin matade de den med 2,3 miljoner geotaggade bilder från Flickr för att se om den kunde fastställa deras plats korrekt. PlaNet kan lokalisera 3,6 procent av bilderna på gatunivå och 10,1 procent på stadsnivå, säger Weyand och co. Dessutom bestämmer maskinen ursprungslandet i ytterligare 28,4 procent av bilderna och kontinenten i 48,0 procent av dem.

Det är ganska bra. Men för att visa hur bra, Weyand och co satte PlaNet igenom sina steg i ett test mot 10 välresta människor. För testet använde de ett onlinespel som visar en spelare med en slumpmässig vy hämtad från Google Street View och ber honom eller henne att fastställa sin plats på en karta över världen.

Vem som helst kan spela på www.geoguessr.com . Ge det ett försök – det är mycket roligt och svårare än det låter.

Onödigt att säga att PlaNet avbröt människorna. Totalt vann PlaNet 28 av de 50 omgångarna med ett medianlokaliseringsfel på 1131,7 km, medan medianvärdet för mänskligt lokaliseringsfel var 2320,75 km, säger Weyand och co. [Detta] småskaliga experimentet visar att PlaNet når övermänsklig prestanda i uppgiften att geolokalisera Street View-scener.

En intressant fråga är hur PlaNet presterar så bra utan att kunna använda de ledtrådar som människor förlitar sig på, som växtlighet, arkitektonisk stil och så vidare. Men Weyand och co säger att de vet varför: 'Vi tror att PlaNet har en fördel framför människor eftersom det har sett många fler platser än någon människa någonsin kan besöka och har lärt sig subtila signaler om olika scener som till och med är svåra för en berest människa att skilja på.

De går längre och använder maskinen för att lokalisera bilder som inte har platsindikeringar, till exempel de som tagits inomhus eller av specifika föremål. Detta är möjligt när bilder är en del av album som alla har tagits på samma plats. Maskinen tittar helt enkelt igenom andra bilder i albumet för att ta reda på var de togs och antar att den mer specifika bilden är tagen på samma plats.

Det är ett imponerande arbete som visar djupa neurala nät som spänner sina muskler igen. Kanske ännu mer imponerande är att modellen använder en relativt liten mängd minne till skillnad från andra metoder som använder gigabyte av grejerna. Vår modell använder bara 377 MB, vilket till och med passar in i minnet på en smartphone, säger Weyand och co.

Det är en lockande idé - kraften i ett övermänskligt neuralt nätverk på en smartphone. Det kommer säkert inte att dröja länge nu!

Ref: arxiv.org/abs/1602.05314 : PlaNet—Photo Geolocation with Convolutional Neural Networks

Dölj