Hur Google knäckte husnummeridentifiering i Street View

Google Street View har blivit en viktig del av kartupplevelsen online. Det låter användare gå ner till gatunivå för att se det lokala området i fotografisk detalj.

Men det är också en användbar resurs för Google också. Företaget använder bilderna för att läsa husnummer och matcha dem till deras geolokalisering. Detta lokaliserar fysiskt positionen för varje byggnad i sin databas.

Det är särskilt användbart på platser där gatunummer annars är otillgängliga eller platser som Japan och Sydkorea där gator sällan numreras i kronologisk ordning men på andra sätt som i vilken ordning de byggdes, ett system som gör många byggnader omöjligt svåra att hitta, även för lokalbefolkningen.

Men uppgiften att upptäcka och identifiera dessa siffror är oerhört tidskrävande. Googles street view-kameror har spelat in hundratals miljoner panoramabilder som tillsammans innehåller tiotals miljoner husnummer. Uppgiften att söka igenom dessa bilder manuellt för att upptäcka och identifiera siffrorna är ingen som någon skulle kunna närma sig med njutning.

Så naturligtvis har Google löst problemet genom att automatisera det. Och idag avslöjar Ian Goodfellow och kompisar på företaget hur de har gjort det. Deras metod visar sig förlita sig på ett neuralt nätverk som innehåller 11 nivåer av neuroner som de har tränat för att upptäcka siffror i bilder.

Till att börja med sätter Goodfellow och co några gränser för uppgiften för att hålla den så enkel som möjligt. Till exempel antar de att byggnadsnumret redan har upptäckts och bilden beskuren så att numret är minst en tredjedel av bredden på den resulterande ramen. De antar också att numret inte är mer än fem siffror långt, ett rimligt antagande i de flesta delar av världen.

Men laget delar inte upp antalet i ensiffriga, som många andra grupper har gjort. Deras tillvägagångssätt är att lokalisera hela numret i den beskurna bilden och att identifiera det på en gång - allt med ett enda neuralt nätverk.

De tränar detta nät med hjälp av bilder som ritats från en allmänt tillgänglig datauppsättning med nummerbilder som kallas Street View House Numbers datauppsättning. Det här innehåller cirka 200 000 nummer tagna av Googles Street View-kameror och gjort allmänt tillgängliga. Utbildningen tar ungefär sex dagar att genomföra, säger de.

Goodfellow och co säger att det inte är någon mening med att använda ett automatiserat system som inte kan matcha eller slå prestandan hos mänskliga operatörer som i allmänhet kan se siffror exakt 98 procent av gångerna. Så detta är lagets mål.

Det betyder dock inte att man ser 98 procent av siffrorna i 100 procent av bilderna. Istället säger Goodfellow och co att det är acceptabelt att upptäcka 98 procent av siffrorna i en viss delmängd av bilder, som i det här fallet visar sig täcka runt 95 procent av totalen.

Men även detta är betydligt bättre än något annat lag har kunnat åstadkomma. Över hela världen upptäckte och transkriberade vi automatiskt närmare 100 miljoner fysiska gatunummer på [mänsklig] operatörsnivå, säger de, och beskriver detta som en oöverträffad framgång.

Och de kan göra det med stor hastighet. Vi kan transkribera alla vyer vi har av gatunummer i Frankrike på mindre än en timme med vår Google-infrastruktur, säger de. Japp, det är bara en timme.

En intressant fråga är om samma teknik kan hjälpa till att extrahera andra nummer som telefonnummer på företagsskyltar eller till och med nummerskyltar.

Goodfellow och co är dock inte optimistiska. De säger att framgången med deras teknik vilar mycket på antagandet att gatunummer aldrig är mer än fem siffror långa. För stora [antal siffror] är vår metod osannolikt att skala bra, säger de.

Och naturligtvis är systemet inte perfekt ännu. Att 2 procent av felidentifierade siffror fortfarande är en nagel i ögonen på laget.

Men under tiden kan Google vara säker på att de har tagit ett betydande steg framåt i karaktärsextraktion och igenkänning: lokalisering och identifiering av nummer av ett enda neuralt nätverk.

Den stora frågan är förstås vad som händer härnäst. Och Goodfellow och co förpliktar sig genom att öppna kimonon bara en bråkdel: Detta tillvägagångssätt att använda ett enda neuralt nätverk som ett helt slut-till-ände-system skulle kunna tillämpas på andra problem som allmän texttranskription eller taligenkänning.

Så där har du det!

Ref: arxiv.org/abs/1312.6082 : Flersiffrig nummerigenkänning från Street View-bilder med Deep Convolutional Neural Networks

Dölj