Uber har knäckt två klassiska 80-talsvideospel genom att ge en AI-algoritm en ny typ av minne

Squakenet

En ny typ av maskininlärningsalgoritm har precis bemästrat ett par återgångsvideospel som har visat sig vara en stor huvudvärk för AI.

De som följer med kommer att veta att AI-algoritmer har överträffat världens bästa mänskliga spelare i det urgamla, eleganta strategispelet Go, ett av de svåraste spelen man kan tänka sig. Men två pixlade klassiker från 8-bitars datorspels era – Montezumas Revenge and Pitfall! – har hindrat AI-forskare.

Det finns en anledning till denna till synes motsägelse. Även om det är bedrägligt enkelt, både Montezumas Revenge och Fallgrop! har varit immuna mot behärskning via förstärkningsinlärning, en teknik som annars är skicklig på att lära sig erövra videospel. DeepMind, ett dotterbolag till Alphabet fokuserat på artificiell intelligens, använde det känt för att utveckla algoritmer som kan lära sig att spela flera klassiska videospel på expertnivå. Algoritmer för förstärkningsinlärning passar väl in i de flesta spel, eftersom de justerar sitt beteende som svar på positiv feedback – poängen går upp. Framgången med tillvägagångssättet har skapat hopp om att AI-algoritmer skulle kunna lära sig själva att göra alla möjliga användbara saker som för närvarande är omöjliga för maskiner.

Problemet med både Montezumas Revenge och Fallgrop! är att det finns få tillförlitliga belöningssignaler. Båda titlarna involverar typiska scenarier: huvudpersonerna utforskar blockiga världar fyllda med dödliga varelser och fällor. Men i varje fall hjälper många beteenden som är nödvändiga för att avancera i spelet inte att öka poängen förrän långt senare. Vanliga förstärkningsinlärningsalgoritmer misslyckas vanligtvis med att ta sig ut ur det första rummet i Montezumas hämnd, och i fallgropen! de får exakt noll.

De nya algoritmerna kommer från Ubers AI-forskningsteam i San Francisco, ledd av Jeff Clune , som också är docent vid University of Wyoming. Teamet visade ett fundamentalt annorlunda tillvägagångssätt för maskininlärning i en miljö som ger få ledtrådar för att visa en algoritm hur det går.

Tillvägagångssättet leder till några intressanta praktiska tillämpningar, skriver Clune och hans team i ett blogginlägg som släpptes idag – till exempel inom robotinlärning. Det beror på att framtida robotar kommer att behöva ta reda på vad de ska göra i miljöer som är komplexa och erbjuder bara ett fåtal sparsamma belöningar.

Uber lanserade sitt AI-labb i december 2016, med målet att göra grundläggande genombrott som kan visa sig vara användbara för dess verksamhet. Bättre förstärkningsinlärningsalgoritmer kan i slutändan visa sig användbara för saker som autonom körning och optimering av fordonsrutter.

AI-forskare har vanligtvis försökt komma runt de problem som Montezumas Revenge and Pitfall ställer! genom att instruera algoritmer för förstärkning att lära sig att utforska slumpmässigt ibland, samtidigt som man lägger till belöningar för utforskning – det som är känt som inneboende motivation.

Men Uber-forskarna tror att detta inte lyckas fånga en viktig aspekt av mänsklig nyfikenhet. Vi antar att en stor svaghet hos nuvarande inre motivationsalgoritmer är avskildhet, skriver de. Där algoritmerna glömmer bort lovande områden de har besökt, vilket innebär att de inte återvänder till dem för att se om de leder till nya stater.

Teamets nya familj av förstärkningsinlärningsalgoritmer, kallade Go-Explore, kommer ihåg var de har varit tidigare och kommer att återvända till ett visst område eller uppgift senare för att se om det kan hjälpa till att ge bättre övergripande resultat. Forskarna fann också att att lägga till lite domänkunskap, genom att låta mänskliga spelare lyfta fram intressanta eller viktiga områden, påskyndade algoritmernas inlärning och framsteg anmärkningsvärt mycket. Detta är viktigt eftersom det kan finnas många verkliga situationer där du skulle vilja att en algoritm och en person ska arbeta tillsammans för att lösa en svår uppgift.

Deras kod får i genomsnitt 400 000 poäng i Montezuma's Revenge - en storleksordning högre än genomsnittet för mänskliga experter. I fallgrop! det samlar ihop 21 000 i genomsnitt, mycket bättre än de flesta mänskliga spelare.

Dessa resultat är mycket imponerande, säger Emma Brunskill, biträdande professor vid Stanford University som är specialiserad på förstärkningsinlärning. Hon säger att det är förvånande och spännande att teknikerna gav så stora fördelar.

Andra AI-forskare har hackat på dessa notoriskt hårda videospel. I oktober visade ett team på OpenAI, en ideell organisation i San Francisco, en algoritm som kan gör betydande framsteg i Montezumas hämnd.

Brunskills grupp på Stanford nyligen gjort mer blygsamma framsteg på fallgrop! använder ett tillvägagångssätt som liknar Uber-teamets.

Nu när AI-algoritmer kan lösa dessa videospel är utmaningen att komma ut från arkaden och lösa verkliga problem.

Brunskill håller med om att den här typen av arbete kan ha stor inverkan inom robotteknik. Men hon säger att andra verkliga situationer, särskilt de som involverar modellering av mänskligt beteende, är mycket svårare. Det ska bli väldigt intressant att se hur väl det här tillvägagångssättet fungerar för mer komplicerade miljöer, säger hon.

Alla är dock inte fascinerade av Uber-forskningen.

Alex Irpan, en mjukvaruingenjör som arbetar med maskininlärning och robotik på Google, skrev ett blogginlägg där han ifrågasätter varför Uber AI-teamet inte hade tillhandahållit ett tekniskt dokument, tillsammans med ett pressmeddelande, för att ge mer detaljer om deras arbete.

Irpan påpekar också att Uber AI-forskarna kan ha förändrat spelplanen på ett betydande sätt genom att ändra tillståndet i spelet, för att underlätta deras tillvägagångssätt. Med tanke på detta faktum ifrågasätter han hur praktiskt tillvägagångssättet kan vara.

Blogginlägget säger att detta tillvägagångssätt kan användas för simulerade robotuppgifter och sedan kombineras med sim-till-verklig överföring för att få verkliga policyer. På den här fronten är jag ganska pessimistisk, skriver han.

Uppdaterad 11.28 med kommentar från Alex Irpan.

Dölj