Nästa stora test för AI: Making Sense of the World

För några år sedan gjorde ett genombrott inom maskininlärning plötsligt datorer att känna igen objekt som visas på fotografier med oöverträffad – nästan skrämmande – noggrannhet. Frågan är nu om maskiner kan göra ytterligare ett språng genom att lära sig att förstå vad som faktiskt händer i sådana bilder.

En ny bilddatabas, kallad Visuellt genom , skulle kunna driva datorer mot detta mål och hjälpa till att mäta framstegen för datorer som försöker bättre förstå den verkliga världen. Att lära datorer att analysera visuella scener är fundamentalt viktigt för artificiell intelligens. Det kan inte bara skapa mer användbara synalgoritmer, utan också hjälpa till att träna datorer i att kommunicera mer effektivt, eftersom språket är så intimt knutet till representationen av den fysiska världen.

Visual Genome har utvecklats av Fei-Fei Li , en professor som är specialiserad på datorseende och som leder Stanford Artificiell Intelligens Lab , tillsammans med flera kollegor. Vi fokuserar väldigt mycket på några av de svåraste frågorna inom datorseende, som verkligen överbryggar perception till kognition, säger Li. Inte bara ta in pixeldata och försöka förstå dess färg, skuggning, den sortens saker, utan verkligen förvandla det till en mer fullständig förståelse av 3D såväl som den semantiska visuella världen.

Li och kollegor skapade tidigare ImageNet, en databas som innehåller mer än en miljon bilder taggade enligt deras innehåll. Varje år ImageNet Storskalig Visual Recognition Challenge testar datorers förmåga att automatiskt känna igen innehållet i bilder.

2012 byggde ett team under ledning av Geoffrey Hinton vid University of Toronto ett stort och kraftfullt neuralt nätverk som kunde kategorisera bilder mycket mer exakt än något som skapats tidigare. Tekniken som används för att möjliggöra detta framsteg, känd som djupinlärning, innebär att mata in tusentals eller miljontals exempel i ett mångskiktat neuralt nätverk, gradvis träna varje lager av virtuella nervceller för att svara på allt mer abstrakta egenskaper, från strukturen i en hunds päls, säg till dess övergripande form.

Toronto-teamets prestation markerade både en boom av intresse för djupinlärning och en slags renässans inom artificiell intelligens mer generellt. Och djupinlärning har sedan dess tillämpats på många andra områden, vilket gör datorer bättre på andra viktiga uppgifter, som att bearbeta ljud och text.

Bilderna i Visual Genome är mer taggade än i ImageNet, inklusive namn och detaljer för olika objekt som visas i en bild; relationerna mellan dessa objekt; och information om eventuella åtgärder som sker. Detta uppnåddes med hjälp av en crowdsourcing-metod som utvecklats av en av Lis kollegor på Stanford, Michael Bernstein . Planen är att lansera en utmaning i ImageNet-stil med hjälp av datamängden 2017.

Algoritmer som tränas med hjälp av exempel i Visual Genome skulle kunna göra mer än att bara känna igen objekt, och borde ha en viss förmåga att analysera mer komplexa visuella scener.

Du sitter på ett kontor, men hur är layouten, vem är personen, vad gör han, vilka är föremålen runt omkring, vilken händelse händer? säger Li. Vi överbryggar också [denna förståelse] till språket, för sättet att kommunicera är inte genom att tilldela siffror till pixlar – du måste koppla perception och kognition till språk.

Li tror att djupinlärning sannolikt kommer att spela en nyckelroll när det gäller att göra det möjligt för datorer att analysera mer komplexa scener, men att andra tekniker kommer att bidra till att utveckla den senaste tekniken.

De resulterande AI-algoritmerna kan kanske hjälpa till att organisera bilder online eller i personliga samlingar, men de kan ha mer betydande användningsområden, vilket gör att robotar eller självkörande bilar kan förstå en scen ordentligt. De kan också tänkas användas för att lära datorer mer sunt förnuft, genom att uppskatta vilka begrepp som är fysiskt sannolika eller mer osannolika.

Richard Socher , en maskininlärningsexpert och grundaren av en AI-startup som heter MetaMind , säger att detta kan vara den viktigaste aspekten av projektet. En stor del av språket handlar om att beskriva den visuella världen, säger han. Denna datauppsättning ger ett nytt skalbart sätt att kombinera de två modaliteterna och testa nya modeller.

Visual Genome är inte den enda komplexa bilddatabasen där ute för forskare att experimentera med. Microsoft har till exempel en databas som heter Vanliga objekt i sammanhang , som visar namn och position för flera objekt i bilder. Google, Facebook och andra driver också på förmågan hos AI-algoritmer att analysera visuella scener. Forskning publicerad av Google 2014 visade en algoritm som kan tillhandahålla grundläggande bildtexter för bilder, med olika nivåer av noggrannhet (se Googles hjärninspirerade programvara beskriver vad den ser i komplexa bilder). Och mer nyligen visade Facebook ett fråge-och-svar-system som kan svara på mycket enkla frågor om bilder (se Facebook-appen kan svara på grundläggande frågor om vad som finns i bilder).

Aude Oliva , en professor vid MIT som studerar maskin- och mänsklig syn, har utvecklat en databas som heter Platser 2 , som innehåller mer än 10 miljoner bilder av olika specifika scener. Detta projekt är tänkt att inspirera till utvecklingen av algoritmer som kan beskriva samma scen på flera sätt, som människor brukar göra. Oliva säger att Visual Genome och liknande databaser kommer att hjälpa till att förbättra maskinseendet, men hon tror att AI-forskare kommer att behöva hämta inspiration från biologin om de vill bygga maskiner med verkligt mänskliga egenskaper.

Människor bygger sina beslut och sin intuition på massor av kunskap, sunt förnuft, sensoriska upplevelser, minnen och 'tankar' som inte nödvändigtvis översätts till språk, tal eller text, säger Oliva. Utan att veta hur den mänskliga hjärnan skapar tankar blir det svårt att lära ut sunt förnuft och visuell förståelse till ett konstgjort system. Neurovetenskap och datavetenskap är de två sidorna av AI-myntet.

Dölj