Varför människor lär sig snabbare än AI – för nu

2013 publicerade DeepMind Technologies, då ett föga känt företag, ett banbrytande dokument som visar hur ett neuralt nätverk kan lär dig spela 1980-tals videospel på det sätt som människor gör – genom att titta på skärmen. Dessa nätverk fortsatte sedan med att slå de bästa mänskliga spelarna.

Några månader senare köpte Google företaget för 400 miljoner dollar. DeepMind har sedan dess gått vidare med att tillämpa djupinlärning i en rad olika situationer, mest känt för att överträffa människor i det antika spelet Go.

Men även om detta arbete är imponerande, belyser det en av de betydande begränsningarna av djupinlärning. Jämfört med människor tar maskiner som använder denna teknik enormt lång tid att lära sig. Vad är det med mänskligt lärande som gör att vi kan prestera så bra med relativt lite erfarenhet?

Idag får vi ett slags svar tack vare Rachit Dubeys och kollegors arbete vid University of California, Berkeley. De har studerat hur människor interagerar med videospel för att ta reda på vilken typ av förkunskaper vi litar på för att förstå dem.

Det visar sig att människor använder en mängd bakgrundskunskap när vi tar oss an ett nytt spel. Och detta gör spelen betydligt lättare att spela. Men inför spel som inte använder sig av denna kunskap, snubblar människor, medan maskiner slingrar sig fram på exakt samma sätt.

Ta en titt på datorspelet som visas ovan till vänster (originalspelet). Detta spel är baserat på en klassiker som heter Montezuma’s Revenge, som ursprungligen släpptes för Atari 8-bitarsdatorn 1984.

Det finns ingen manual och inga instruktioner; du får inte ens veta vilken sprite du kontrollerar. Och du får feedback bara om du lyckas avsluta spelet.

Skulle du kunna göra det? Hur lång tid skulle det ta? Du kan prova det på den här webbplatsen (tillsammans med de andra spelen som nämns i tidningen) .

Med all sannolikhet kommer spelet att ta dig ungefär en minut, och under processen kommer du förmodligen att göra cirka 3 000 tangentbordsåtgärder. Det är vad Dubey och co fann när de gav spelet till 40 arbetare från Amazons crowdsourcing-sajt Mechanical Turk, som erbjöds $1 för att avsluta det.

Detta är inte alltför förvånande eftersom man lätt skulle kunna gissa att spelets mål är att flytta robotspriten mot prinsessan genom att trampa på de tegelliknande föremålen och använda stegar för att nå de högre plattformarna samtidigt som man undviker de arga rosa och eldobjekten, säger forskare.

Däremot är spelet svårt för maskiner: många standardalgoritmer för djupinlärning kunde inte lösa det alls, eftersom det inte finns något sätt för en algoritm att utvärdera framsteg i spelet när feedback bara kommer från att ha avslutats.

Den bästa maskinen som presterade var en nyfikenhetsbaserad algoritm för inlärning av förstärkning som tog cirka fyra miljoner tangentbordsåtgärder för att avsluta spelet. Det motsvarar cirka 37 timmars kontinuerlig spelning.

Så vad gör människor så mycket bättre? Det visar sig att vi inte närmar oss det här spelet med ett blankt blad. En människa kommer att se att han eller hon har kontroll över roboten, och att roboten bör undvika eld, klättra på stegar, hoppa över luckor och undvika en rynkade fiende för att nå prinsessan. Allt detta är tack vare förkunskaper om att vissa föremål är bra medan andra (med rynkor eller lågor) är dåliga, att plattformar stödjer föremål medan stegar kan klättras, att saker som ser likadana ut beter sig på samma sätt, att gravitationen drar ner föremål. , och till och med vad objekt är: saker som är skilda från andra saker och har olika egenskaper.

Däremot vet en maskin inget av detta.

Så Dubey och co gjorde om spelet för att göra denna tidigare information irrelevant och mätte sedan hur lång tid det tog mänskliga turkare att slutföra. Teamet antog då att varje ökning under denna tid är en proxy för vikten av den informationen.

Vi skapade olika versioner av videospelet genom att återrendera olika enheter som stegar, fiender, nycklar, plattformar etc. med hjälp av alternativa texturer, förklarar de. De valde dessa texturer för att maskera olika former av förkunskaper, och de förändrade spelets fysiska egenskaper, såsom gravitationens inverkan och hur agenten interagerar med sin omgivning. I varje version var den underliggande dynamiken i spelet densamma.

Resultaten ger fascinerande läsning. Vi finner att borttagande av vissa förkunskaper orsakar en drastisk försämring av hastigheten med vilken mänskliga spelare löser spelet, säger Dubey och co. Faktum är att tiden det tar för människor att lösa spelet ökar från en minut till över 20 minuter när olika typer av tidigare information tas bort.

Däremot gör att ta bort denna information vanligtvis ingen skillnad för den hastighet med vilken maskinalgoritmen lär sig.

Teamet kan till och med rangordna olika typer av information i betydelse efter hur lång tid det tar att ta bort den. Att ta bort objektsemantik, som ett rynkande ansikte eller eldsymbol, kräver att mänskliga spelare spenderar längre tid innan de avslutar. Men att maskera begreppet objekt gör saker så mycket svårare att många turkare helt enkelt vägrade att spela. Vi var tvungna att höja lönen till $2,25 för att uppmuntra deltagarna att inte sluta, säger Dubey och co.

Den här rankningen har en intressant koppling till hur människor lär sig. Psykologer har funnit att bebisar vid två månaders ålder har en primitiv föreställning om föremål som de förväntar sig att röra sig som sammankopplade helheter. Men i den här åldern känner inte bebisar igen objektkategorier.

Vid tre till fem månaders ålder lär sig spädbarn att känna igen objektkategorier; efter 18 till 24 månader lär de sig att känna igen enskilda föremål. Ungefär vid denna tidpunkt lär de sig också egenskaperna hos föremål (objekt affordances, som psykologer kallar dem), och på så sätt lär de sig skillnaden mellan ett gångbart trappsteg längs platt mark och ett ogångbart trappsteg utanför en klippa.

Det visar sig att Dubey och cos experiment rangordnar den här typen av inlärd information i exakt samma ordning som bebisar lär sig den. Det är ganska intressant att notera att den ordning i vilken spädbarn ökar sina kunskaper matchar betydelsen av olika objektprioriter, säger de.

Vårt arbete tar de första stegen mot att kvantifiera betydelsen av olika prioriteringar som människor använder för att lösa videospel och för att förstå hur förkunskaper gör människor bra på så komplexa uppgifter, tillägger de.

Det antyder en intressant väg framåt för datavetare som arbetar med maskinintelligens - att programmera sina laddningar med samma grundläggande kunskap som människor tar upp i tidig ålder. På så sätt ska maskiner kunna komma ikapp människor i deras inlärningshastighet, och kanske till och med överträffa dem.

Vi ser fram emot att se resultatet.

Ref: arxiv.org/abs/1802.10217 : Undersöker mänskliga prioriteringar för att spela videospel

Dölj