211service.com
Googles hjärninspirerade programvara beskriver vad den ser i komplexa bilder
Forskare på Google har skapat programvara som kan använda fullständiga meningar för att korrekt beskriva scener som visas på foton - ett betydande framsteg inom datorseende. När den visades ett foto av ett spel ultimat frisbee, till exempel, svarade programvaran med beskrivningen En grupp ungdomar som spelar en omgång frisbee. Programvaran kan till och med räknas och ger svar som två pizzor som sitter ovanpå en spishäll.
Experimentell programvara från Google kan exakt beskriva scener i foton, som de två till vänster. Men det gör fortfarande misstag, som ses med de två bilderna till höger.
Tidigare har de flesta ansträngningar att skapa programvara som förstår bilder fokuserat på den enklare uppgiften att identifiera enskilda objekt.
Det är väldigt spännande, säger Oriol Vinyals , en forskare på Google. Jag är säker på att det kommer att komma några potentiella applikationer ur detta.
Den nya programvaran är den senaste produkten av Googles forskning om att använda stora samlingar av simulerade neuroner för att bearbeta data (se 10 Breakthrough Technologies 2013: Deep Learning). Ingen på Google programmerade den nya mjukvaran med regler för hur man tolkar scener. Istället lärde sig dess nätverk genom att konsumera data. Även om det bara är ett forskningsprojekt för tillfället, säger Vinyals, har han och andra på Google redan börjat fundera på hur det skulle kunna användas för att förbättra bildsökning eller hjälpa synskadade att navigera online eller i den verkliga världen.
Googles forskare skapade programvaran genom en sorts digital hjärnkirurgi, som kopplade ihop två neurala nätverk som utvecklats separat för olika uppgifter. Ett nätverk hade utbildats att bearbeta bilder till en matematisk representation av deras innehåll, som förberedelse för att identifiera objekt. Den andra hade tränats i att skapa fullständiga engelska meningar som en del av automatiserad översättningsprogram.
När nätverken kombineras kan den första titta på en bild och sedan mata in den matematiska beskrivningen av vad den ser till den andra, som använder den informationen för att generera en läsbar mening. Det kombinerade nätverket tränades för att generera mer exakta beskrivningar genom att visa det tiotusentals bilder med beskrivningar skrivna av människor. Vi ser genom språket vad den trodde att bilden var, säger Vinyals.
Efter den utbildningsprocessen släpptes programvaran på flera stora datamängder av bilder från Flickr och andra källor och ombads att beskriva dem. Tillförlitligheten av dess beskrivningar bedömdes sedan med ett automatiserat test som användes för att jämföra programvara för datorseende. Googles programvara publicerade poäng på 60-talet på en 100-gradig skala. Människor som gör testet får vanligtvis poäng på 70-talet, säger Vinyals.
Det resultatet tyder på att Google ligger långt före andra forskare som arbetar med att skapa scenbeskrivande programvara. Stanford-forskare nyligen publicerade detaljer av deras eget system och rapporterade att det fick mellan 40 och 50 på samma standardtest.
Vinyals noterar dock att forskare på Google och på andra håll fortfarande är i de tidiga stadierna av att förstå hur man skapar och testar den här typen av programvara. När Google bad människor att betygsätta sin programvaras beskrivningar av bilder på en skala från 1 till 4, var det i genomsnitt bara 2,5, vilket tyder på att det fortfarande har en lång väg att gå.
Vinyals förutspår att forskningen om att förstå och beskriva scener nu kommer att intensifieras. Ett problem som kan sakta ner saker och ting: även om stora databaser med handmärkta bilder har skapats för att träna programvara för att känna igen enskilda objekt, finns det färre märkta foton av mer naturliga scener.
Microsoft lanserade i år en databas som heter KOKOS att försöka fixa det. Google använde COCO i sin nya forskning, men den är fortfarande relativt liten. Jag hoppas att andra partier chippar in och gör det bättre, säger Vinyals.