Podcast: Hur spel lär AI att lära sig själv

AI-spelhistoria

Ms Tech | Unsplash





Från schack till Jeopardy till e-sport, AI slår allt mer människor i sina egna spel. Men det var aldrig det slutgiltiga målet. I det här första avsnittet av säsong tre av In Machines We Trust gräver vi ner oss i det symbiotiska förhållandet mellan spel och AI. Vi träffar de stora spelarna i utrymmet, och vi tar en tur till en arkad.

I detta avsnitt möter vi:

  • Julian Togelius, docent, Institutionen för datavetenskap och teknik, New York University
  • Will Douglas-Heaven, Senior Editor för AI, MIT Technology Review
  • David Silver, huvudforskare vid DeepMind, professor vid University College London.
  • David Fahri, ledande forskare, Open AI

För att göra det här avsnittet pratade vi också med Natasha Regan, aktuarie på RPC Tyche, Chess WIM och medförfattare till 'Game Changer'.

Ljud från:

Krediter:

Det här avsnittet rapporterades av Jennifer Strong och Will Douglas Heaven och producerades av Anthony Green, Emma Cillekens och Karen Hao. Vi är redigerade av Niall Firth, Michael Reilly och Mat Honan. Vår mixingenjör är Garret Lang. Ljuddesign och musik av Jacob Gorski.



Fullständig utskrift:

[TR ID]

[SOT: Jeopardy tillkännager Watson Challenge]

Trebeck: Idag utlyser vi en Jeopardy-tävling som inte liknar något vi någonsin har presenterat tidigare.



Jennifer: För tio år sedan presenterade tv-frågesporten Jeopardy en ny spelare...

Trebeck: Det är en uppvisningsmatch med två av de största hotfulla spelarna i historien... deras utmanare? Han heter Watson.

Dokumentär announcer: [musik] Watson är en IBM-dator designad för att spela Jeopardy. Watson förstår naturligt språk med all dess tvetydighet och komplexitet.



Jennifer: Och kanske inte överraskande... med tanke på att spela Jeopardy är saken den var designad för att göra... Watson var bra. Riktigt bra.

[SOT: Montage of Watson Jeopardy svarar.]

Trebek: Watson.



Watson: Vad är istanbul.

Trebek: Du har rätt.

Trebek: Watson.

Watson: Vad är parlamentet.

Trebek: Höger.

Trebek: Watson.

Watson: Vad är antik grekiska.

Trebek: Watson, tillbaka till dig.

Jennifer: Efter tre nätter av detta vann Watson... slog de två bästa spelarna i spelprogrammets historia... Från schack till Jeopardy till e-sport... AI slår människor i sina egna matcher... (så att säga)... men det var aldrig det ultimata målet. Forskare försöker bygga intelligenta system som är mer användbara och generella än något vi har.

David Silver: Om den mänskliga hjärnan kan lösa alla möjliga olika uppgifter, kan vi bygga program som kan göra samma sak?

Jennifer: Jag heter Jennifer Strong och det här avsnittet gräver vi ner i det symbiotiska förhållandet mellan spel och AI. För så länge det har funnits AI-forskning har spel varit en del av det. Vi träffar de stora spelarna i rymden... och vi tar en tur till en arkad.

{Spelljud}

Karen Hao: På ett sätt har spel överhypade AI-kapacitet lite, eftersom...

Jennifer: Det är min kollega Karen Hao...

Karen Hao: Många tror nu att AI är mycket mer kapabel än vad den faktiskt är, men spel är faktiskt en demonstration av otroligt smal intelligens. Och vi är nu typ fångade i den här cykeln där AI-forskning specifikt går på den här vägen av fler och mer avancerade spel utan att faktiskt gå till mer och mer avancerade, komplexa verkliga situationer, miljöer... vilket är vad vi faktiskt behöver.

{Spelljud}

[VISA ID]

OC:...du har nått din destination.

Julian Togelius: Spel har varit en del av AI sedan AI startade, eller som sedan själva idén med AI startade.

Jennifer: Julian Togelius är professor och datavetare bosatt i New York...

Julian Togelius: Jag arbetar med AI för att göra spel bättre och även spel för att göra AI bättre.

Jennifer: Han ger mig en historielektion om detta förhållande mellan spel och AI... och på något sätt lyckas han göra det samtidigt som han spelar några videospel som han har arbetat med.

Julian Togelius: Jag jobbar särskilt med tv-spel och typ moderna tv-spel för verkligen schack och Go och allt det där... Jag menar, vi är typ klara med det. Det är som, jag menar, [skratt] för att inte avskräcka människor som gillar att spela schack och gillar att spela Go eller poker för den mentala utmaningen. Det är okej. Men du vet, det finns så många fler möjligheter, så många fler intressanta utmaningar i de andra spelen.

Jennifer: Hur kom du in på detta område?

Julian Togelius: Ja. Så när min mamma gav bort mina katter [skratt] är det sant! Jag menar, hon, hon blev allergisk och så vad ska du göra? Så hon gav mig en dator innan en Commodore 64, och jag började spela alla dessa spel och jag blev verkligen fascinerad av dessa små, små världar. Och sedan växte jag upp... ja, mer eller mindre. [skratt] Eh, jag växte upp, jag slutade gymnasiet. Jag började studera filosofi och psykologi. Jag var intresserad av, hur fungerar sinnet? Vilket är förhållandet mellan medvetande och intelligens och hur kommer det hela till?

Jennifer: Dessa frågor förde honom till ett tidigt dokument av den banbrytande datavetaren Alan Turing... Han var den första som bevisade att det till och med var matematiskt möjligt att bygga en dator.

Julian Togelius: Den tidningen handlar till stor del om spel. Det handlar om Imitation Game, det som nu kallas ett Turing-test, där man försöker avgöra om någon man chattar med i huvudsak – det hette inte chatta på femtiotalet – om någon man pratar via sms med är en dator eller en människa. Det handlar också om schack. Eftersom schack mycket tidigt blev ett kärnfokus för forskningen om artificiell intelligens.

Jennifer: Vi tänker på människor som spelar schack som har en viss nivå av intelligens ... och så blev spelet ett sätt att mäta hur intelligenta maskiner också är.

Och... kul fakta? Det allra första schackspelsprogrammet skrevs innan det fanns till och med en dator för att köra den. Turing spelade det 1950...med en algoritm utarbetat på papper.

(Det fungerade inte särskilt bra.)

Men människor fortsatte att främja denna forskning i årtionden.

Och sedan, 1997, slog I-B-M:s Deep Blue-dator Garry Kasparov... den regerande världsmästaren i schack.

[SOT] - Deep Blue slog Garry Kasparov i Game Sex via YouTube

Kommentator 2: Saknar vi något på schackbrädet nu när Kasparov ser? Han ser inte ut.. han ser äcklad ut faktiskt.

Kommentator 1: Whoah!

Kommentator 2: Djupblå! Kasparov, efter flytten C4, har sagt upp sig!

[Applåder]

Julian Togelius: Och det här var en enorm intellektuell händelse som folk tänkte, okej, vad nu? Löste vi bara artificiell intelligens? Och det visar sig att nej, det gjorde du inte eftersom detta schackspelsprogram inte ens kunde spela dam utan betydande omprogrammering. Den kunde inte spela Go. Det kunde inte spela många saker. Och ännu mer, den kunde inte knyta sina skosnören. Den kunde inte koka makaroner. Det kunde inte skriva en kärleksdikt. Den kunde inte gå ut och köpa en tidning. Det kunde inte göra någon av dessa saker som människor gör hela tiden. Det kunde verkligen bara göra en sak. Den kunde spela schack. Den var jävligt bra på det, men den kunde egentligen bara spela schack.

Jennifer: Så, människor hade löst det som ansågs vara den största utmaningen med att skapa intelligens... men när man tittade under programmets huva... säger han att det i grunden bara var ett slags sökning.

Julian Togelius: Vad händer om jag tar det här draget? Och sedan, tänk om min motståndare tar detta drag, vad händer om jag tar det här draget? Så vi hade byggt ett träd av möjligheter och motmöjligheter och beräknat utifrån det. Det var faktiskt mycket mer komplicerat än så, men det är hjärtat av vad den gjorde. Och folk såg på det som att det här inte verkar vara något liknande hur våra hjärnor fungerar. Jag menar, vi vet inte riktigt hur våra hjärnor fungerar, men vad de än gör så är det inte det här. [skratt]

Jennifer: Men den används inte BARA för att spela spel mot människor... AI dyker upp i spel på alla möjliga sätt. Speciellt för att göra dem mer intressanta och utmanande.

Till exempel…. AI ändrar delar av videospel... så att de är olika varje gång vi spelar dem, och det har varit fallet sedan 19-80-talet.

Julian Togelius: Och den här principen att, typ, alltid skapa något nytt... och varje gång du spelar spelet är det nytt... har överlevt i många olika spel. Till exempel är Diablo-spelserien baserad på det, eller Civilization-serien av strategispel. Varje gång du spelar det har du en helt ny värld och det är kärnan i spelet. Det skulle bara inte vara detsamma om du inte gjorde det.

Jennifer: En annan anledning att göra detta är på grund av lagring... och han säger att ett spel som heter Elite blev en viktig milstolpe... när det gjordes tillgängligt för persondatorer, inklusive Commodore 64.

Julian Togelius: Det kunde omöjligt få plats i minnet i den här datorn. Så en version hade 4 096 olika stjärnsystem. Nu, om du bara hade 64 000 byte minne och föreställ dig, tänk på hur lite det är, det är en miljondel av en dator du kan köpa idag. Så de var tvungna att återskapa stjärnsystemet varje gång du kom dit. Bygg i princip upp det från grunden.

Jennifer: Och så är det fortfarande nu. Visst, vi har mycket mer lagringsutrymme. Men spel är också mycket, mycket större och mer komplexa.

Julian Togelius: Spelet No Man's Sky, som kom ut 2016, men de fortsätter att uppdatera det - det blir mer och mer imponerande. Den har fler planeter i sig än du någonsin skulle kunna besöka under en livstid, men på något sätt får den plats i din dator eftersom de återskapas varje gång du ser dem.

Jennifer: Samtidigt har forskare också fortsatt att bygga spelande AI:er ... och Togelius säger att en av nästa utmaningar i det utrymmet kommer att vara för dem att spela många spel samtidigt ... eftersom multitasking är något som människor gör bra ... men det är ännu inte fallet för dessa system.

Så, hur tar vi oss från dessa mycket strukturerade miljöer med massor av förutsägbarhet... till något som är närmare det verkliga livet, som är rörigt och kaotiskt och inte alls förutsägbart.

Till honom och andra forskare...? Vi spelar fler spel.

Julian Togelius: Om vi ​​hade ett system som på ett tillförlitligt sätt kunde spela, som med viss skicklighet, de hundra bästa spelen på en datorspels topplista, som Steam eller AppStore eller något, då skulle vi ha något som liknar allmän intelligens.

Jennifer: Så, på något sätt... vi är fortfarande ungefär där vi var för ett halvt sekel sedan... och tänker att vi bara kan hitta nyckeln till allmän intelligens med AI-system som kan slå människor i deras eget spel.

[beat / musik]

Men vi blandar också spel och AI på alla möjliga andra sätt ... gillar att hjälpa oss med träningsdata.

För några år sedan träffade jag ett team på Princeton som försökte göra stoppskyltar mer igenkännliga för självkörande bilar... med hjälp av spelet Grand Theft Auto.

Hur konstigt det än låter... det är faktiskt ganska praktiskt när man tänker på hur många olika sätt en förare kan stöta på en stoppskylt i den verkliga världen... vare sig det är på en pinne i marken... hängande i luften... eller målad på trottoaren ... och vi möter dem i alla slags ljus och väder ... ibland delvis dolda av trädgrenar ... eller nattens mörker.

Forskare kan leta efter exempel på alla dessa stoppskyltar... eller så kan videospel bara generera oändliga exempel.

Vi använder också spel för att bättre förstå hur algoritmer fattar beslut.

[Börja ta in ljud från Arcade. *Frogger-temamusik och spelet börjar, växla drag*]

Jennifer: Vi är på ett klassiskt arkadspel i Boston ... eftersom det har flera av dessa äldre videospel som används för att träna AI-system.

Will Douglas-Heaven: Hej, jag heter Will Douglas-Heaven. Jag är seniorredaktör för AI på Technology Review... Och jag kan inte spela Frogger.

Will Douglas-Heaven: Frogger kom upp ganska nyligen i lite olika AI-forskning där de försökte få en AI att förklara sig själv och förklara som vad den gjorde. Hmm, och de lärde... de tränade en AI för att spela det här spelet och du vet Frogger... Du kan höra på ljudet, jag misslyckas hela tiden.

Så Frogger är det här spelet där du är en liten groda längst ner och du måste korsa en väg som har bilar som rör sig typ över skärmen åt vänster och höger, och du måste liksom smita mellan dem. Och så kommer du till en flod och du hoppar på baksidan av sköldpaddor och stockar för att komma till andra sidan utan att ramla i som jag gjorde där. Äh, hur som helst, så är det, det är ett spel som har många konkreta åtgärder du tar vid varje steg. Och så när de tränade AI:n att göra det, varje gång den tog en åtgärd, fick de den att förklara i, hm, typ, du vet, mänskliga begripliga termer varför den gjorde det.

[*Spelljuden fortsätter*]

Jennifer: I grund och botten spelar AI spelet... och med tiden löser det sig hur man lyckas. Slumpmässiga drag utvecklas till komplexa strategier... även några som vi inte kände till.

[Fortsätt spel låter under VO ovan och även in i det här ljudstycket]

Will Douglas-Heaven: De kastade AI:erna mot dessa gamla spel och visade dem bara skärmarna som de inte hade någon aning om hur de skulle spela. Det var bara pixlar på en skärm, det hände saker. De provade saker och ibland sprängdes de. Ibland sköt de främmande skepp. Och genom att bara använda slags belöningar från du vet när de gjorde något, rätt, poängen gick upp, de kom sakta fram till hur de skulle spela spelet. Och de gick från förståelse, ingenting till, i många fall, typ av att slå högsta poängen för de bästa mänskliga spelarna. Och även några riktigt coola exempel där de faktiskt hittade sätt att slå spelet som människor inte hade upptäckt.

Jennifer: Ett exempel på detta kommer från ett spel som heter Q*Bert, som sätter spelarna på en pyramid av rutor.

Will Douglas-Heaven: Jag menar grundidén är att du har den här lilla killen som hoppar nerför pyramiden från toppen och landar på rutorna. Och när du har ändrat alla rutorna till samma färg, kan du gå vidare till nästa nivå. Men AI, tror jag på den första nivån, ändrade alla färger på rutorna och fortsatte sedan att hoppa upp och ner i rutorna istället för att gå vidare till nästa nivå. Och den hittade en bugg i spelet som gjorde att den kunde få oändliga poäng på riktigt kort tid. Och till och med designerna av spelet var som att jag inte sett den buggen tidigare.

Jennifer: Efter pausen... Vi kommer att träffa några pionjärer bakom stora genombrott inom detta område. Men först vill jag berätta om ett evenemang som heter CyberSecure i november. Det är Tech Reviews cybersäkerhetskonferens och jag kommer att vara där med mina kollegor. Du kan lära dig mer på Cyber ​​Secure M-I-T dot com.

Vi kommer genast tillbaka... efter detta.

[MIDROLL]

David Silver: Jag heter David Silver. Jag arbetar med artificiell intelligens och jag tillämpar det på spel. Jag arbetar för ett företag som heter DeepMind och vårt mål är att försöka använda, um, artificiell intelligens för att försöka bygga ett system som har några av de smarta funktionerna som finns i den mänskliga hjärnan.

Jennifer: DeepMind står i centrum för detta arbete med spel. Det är ett forskningslabb som är en del av Googles alfabet.

David Silver: Om den mänskliga hjärnan kan lösa alla möjliga olika uppgifter, kan vi bygga program som kan göra samma sak?

Jennifer: Han är den ledande forskaren bakom några av de mest kända AI-systemen som har bemästrat hur man spelar spel ... börjar med brädspel, (inklusive det antika kinesiska strategispelet Go.)

David Silver: Vi utvecklade ett system som heter AlphaGo, som var det första programmet som kunde spela spelet Go på nivån av mänskliga professionella spelare. Och faktiskt kunde den slå världsmästaren Lee Sedol.

David Silver: Och det finns ett enormt utrymme av spel, av vilka många har dessa vackra egenskaper som gör att vi verkligen kan dyka in och förstå, du vet, en del av världen isolerat utan att behöva ta itu med all den enorma komplexiteten i den verkliga världen. allt på en gång.

Jennifer: AlphaGo lärde sig hur man spelar brädspel baserat på hur människor spelar.

Silvers nästa system, AlphaZero, lärde sig att spela brädspel och videospel på ett annat sätt ... genom att lära sig reglerna för ett spel och sedan spela sig själv om och om igen.

David Silver: Efter AlphaGo försökte vi ta nästa steg och göra något ännu mer generellt, vilket var att kunna spela inte bara ett spel, utan många spel med samma teknik. Och det här är en stor språngbräda eftersom den verkligen försöker göra en av de saker som vi som människor kan göra, vilket är att lösa många problem, med samma typ av maskiner inuti.

Jennifer: Det är en milstolpe i att göra AI mer allmänt ändamål... Men med en viktig varning. Algoritmen kan inte lära sig att spela dessa spel på en gång. Det är som om det bygger upp separata hjärnor för varje spel. Så den måste byta ut sin schackhjärna innan den spelar Go.

Det är säkert att säga att forskare fortfarande försöker ta reda på hur man gör spel till ett test för det verkliga livet. För spel har regler som kan definieras... och ingen vet egentligen vilka regler världen fungerar efter.

David Silver: Världen är verkligen en rörig plats. Du vet, det har den här otroligt rika dynamiken på gång, alla typer av detaljer i hur objekt rör sig. Sättet som de saker vi ser relaterar till de saker som vi rör. Det finns bara denna otroliga rikedom och komplexitet i den verkliga världen. Och vi kan omöjligt hoppas på att ta itu med det på det sätt som människor historiskt sett har närmat sig spel. Så vad vi behöver är något som kan förstå världen själv på ett sätt som förstår mönstren på ett sätt som är användbart för att den ska kunna fatta beslut som faktiskt är meningsfulla för att hjälpa till att uppnå sina mål.

Jennifer: Hans senaste projekt heter MuZero. Det utmärker sig på precis lika många spel som AlphaZero... (samt en mängd videospel).

...men det här systemet kommer på hur man spelar utan att få några regler alls.

David Silver: Så det var egentligen bara släppt. Den kunde spela matcher mot sig själv. Och allt det fick i slutet av spelet var en signal att säga, Hej, du vann eller Hej, du förlorade. Och från den signalen kunde den bygga en förståelse för sig själv av spelets regler tillräckligt mycket för att den faktiskt skulle kunna föreställa sig vad som skulle hända i framtiden. Och när den väl hade den här förmågan att föreställa sig in i framtiden, var det kunna söka och börja blicka framåt och börja tänka in i framtiden och säga, aha, nu förstår jag hur den här världen fungerar. Jag kan börja föreställa mig vad som skulle hända om jag spelade det här draget eller gjorde det här. Och så det är verkligen ett nyckelsteg som vi behöver och något vi tror är väldigt viktigt för framtiden för AI.

Jennifer: Han säger att det inte är olikt ett spädbarn som tar tag i omvärlden... bygger problemlösning och kreativa färdigheter över tiden.

David Silver: Jag tror att vi redan ser exempel där vi, inom begränsade domäner, ser algoritmer som i alla avseenden är kreativa. Jag menar, vad är kreativitet trots allt annat än, du vet, förmågan att själv upptäcka någon ny idé. Och jag tror att det är essensen av kreativitet. Kärnan i kreativitet är vad våra algoritmer gör, vilket är att steg för steg upptäcka något nytt och lära sig genom sin erfarenhet att denna nya idé som de har kommit på faktiskt är något som är kraftfullt och som hjälper den att uppnå sin mål. Så jag tror att vi i framtiden kommer att se mer och mer kreativitet i denna form. Vi kommer att se, ni vet, maskiner som själva kan upptäcka idéer som hjälper dem att uppnå mål. Inte för att en person har berättat för dem att det här är vad du behöver för att uppnå det målet, utan för att de kom på det själva.

Jennifer: Och... den kreativiteten har fått AlphaZero att upptäcka nya saker om hur man spelar schack. Nu…. mänskliga spelare använder det faktiskt i sina egna spel ... kallar det .. 'spelar ett alfa-noll-drag'.

[SOT: hur man spelar som AlphaZero]

Värd: Välkommen till en annan utgåva av How to Attack lLike AlphaZero! Jag hoppas att du är redo för dagens lektion...

Jennifer: Det händer också med e-sport... som är videospelstävlingar som ofta spelas inför en livepublik... liknande ett sportevenemang... Med en världsomspännande publik på nästan en halv miljard tittare som tittar på sina favoritspel spelade av några av de bästa spelarna i världen.

Även här används AI på en mängd olika sätt... som coachningsverktyg för att hjälpa människor att bli bättre på att spela... och (återigen) siktar forskare också på att använda e-sport för att göra sina AI-system mer intelligenta...

David Farhi: Vi föreställer oss att det någon gång kommer att finnas allmänna artificiella intelligenssystem som verkligen kan lösa problem snabbt, kan lära sig kanske på människors nivå.

Jennifer: David Farhi är en ledande forskare vid Open AI... Forskningslabbet som grundades av Elon Musk och ett gäng andra Silicon Valley-armaturer.

Det skapade det första systemet för att slå världsmästare i ett e-sportspel.

Det spelet heter Defense of the Ancients 2, som alla kallar Dota 2... och det finns en ny dokumentär om denna vinst... som heter Artificial Gamer.

[Klipp från Artificial Gamer-trailer]

[Dramatisk musik och ljud från Dota 2-spelet]

Högtalare 1: När du tittar på Dota-spelet finns det 10 000 plus variabler i varje ögonblick som ditt system måste ta in.

Högtalare 2: AI:n lär sig på ett helt annat sätt än människor.

Högtalare 3: Den spelar mot kopior av sig själv. Många, många gånger i molnet..

Jennifer: Fahri övervakade Dota 2-projektet, kallat Open AI Five... och han visade hur det fungerar på Tech Reviews AI-konferens, EmTech Digital...

[Sounds of Dota 2-spel via Youtube. [00:03 - 00:15] Tona in och lägg dig sedan under följande Farhi select. *Svärdslagsmål, fotsteg och dramatisk stridsmusik.*]

David Farhi: I det övre högra hörnet av denna skärm. Vi ser en mycket stor, utzoomad vy av hela Dota-världen. I det nedre vänstra hörnet finns ett lags bas. I det övre högra hörnet finns ett annat lags bas. Varje lag försöker flytta runt sina karaktärer, trollformlera med sina karaktärer, attackera fiender och så vidare för att till slut invadera och förstöra det andra lagets bas.

David Farhi: Dessa mer komplicerade system som robotik och videospel har en annan känsla eftersom du får en observation av spelets tillstånd och sedan väljer du en åtgärd att vidta. Och sedan förändras spelets tillstånd på något sätt, beroende på vilken åtgärd du vidtog. Och sedan har du en ny observation och du kan välja en ny handling och den här loopen händer om och om och om igen. Och så måste du fatta beslut som får långsiktiga konsekvenser på vägen. Så sättet vi gör detta på är relativt enkelt. Begreppsmässigt åtminstone. Vi har agenter som börjar spela helt slumpmässigt. Och vi måste bara spela dem mot sig själva, en klon av sig själva om och om och om igen.

Jennifer: Och om du tänker att det här kan ta väldigt lång tid med ett så komplicerat spel? Du har inte fel... men Open AI:s förmåga att köra den på 200 tusen maskiner samtidigt... hjälper.

I grund och botten... den kan få cirka 250 års erfarenhet per dag.

Och om systemet gör något som fungerar ... det uppdateras för att göra den saken mer ... och om något dåligt händer som inte fungerar, gör det den saken mindre.

David Farhi: Vi började med en begränsad version av spelet. Vi kunde så småningom slå vårt utvecklarteam, vilket var väldigt roligt. Och så la vi till fler delar av spelet. Vi gick tillbaka och tränade längre. Och vi kunde slå några amatörer och sedan några halvprofessionella människor. Så småningom bestämde vi oss för att gå till en stor turnering som detta spel har..

[Ljud från The International 3 (Dota-turnering) via YouTube. *Mängden jublar, sportkommentatorer som ropar upphetsat, Dota-spel.*]

Sportscaster: Det kan bli deras sista ställning. [ohörbar]

Sportscaster: Han kommer att försöka fokusera alla men det finns så mycket grejer.

Sportscaster: Det finns inga fler klipp tillgängliga. Ned till ungefär halva HP.

Sportscaster: En kvart HP. Ett lejon omger från alla håll! EKB! Sportscaster: De vann omgången! De kommer att göra det!

Sportscaster: Nordens kungar! Alliansen vinner! De vinner TI 3.

Sportscaster: Alliansen vann precis 1,4 miljoner dollar!

Sportscaster: De är dina internationella 3-mästare!

David Farhi: Så det här spelet har miljontals mänskliga användare som tävlar i dessa turneringar om stora priser, vilket säkerställer att vi vet att det finns människor som spelar på en mycket, mycket hög nivå av skicklighet. I augusti 2018 tog vi med vår agent till den här turneringen.

Jennifer: Deras AI spelade mot två professionella lag som redan hade eliminerats från turneringen... och förlorade knappt. Men året efter, med mer träning, kunde AI slå de tidigare världsmästarna med 2-0.

David Farhi: Så OpenAI Five tränas utan människor i träningsprocessen, så den spelar bara mot sig själv i dessa molnservrar om och om och om och om igen. Och sedan när vi vill spela den mot en människa, tar vi en ögonblicksbild från molnet och spelar den mot människan, men vi matar aldrig tillbaka den informationen i träningsprocessen.

[Musik]

Jennifer: Men det finns fortfarande frågan om huruvida spel kan hjälpa oss att träna AI så att det blir mer användbart.

Just nu har vi system som är extremt bra på en sak. Men vi har ännu inte modeller som kan göra många saker samtidigt.

Än en gång, min kollega Will Douglas Heaven.

Will Douglas-Heaven: Tricket kommer att vara att jag tror att man tar ett steg tillbaka från att bygga AI:er som utmärker sig i specifika strategier eller tekniker, eller har en briljant lösning för just den här regeln eller draget, du vet, den typ av sak som vi har sett i dessa AI:er som kan lära sig att spela spel.

Jennifer: För att verkligen förstå nästa steg i denna forskning... Det kan vara bra att tänka på hur barn leker på en lekplats.

Will Douglas-Heaven: De spelar inte ett spel som har några riktiga regler. Jag menar, de kanske hittar på dem allt eftersom, men du vet, de utforskar bara, provar saker och på ett väldigt naturligt och öppet sätt. Och det finns inget bestämt mål som de arbetar mot. Och jag tror att det är den här typen av teknik, som fortfarande är en sorts lek, som vi kommer att se, du vet, verkligen driva saker framåt när vi pratar om allmän intelligens. Deepmind släppte till exempel för några månader sedan en virtuell lekplats. Det är ungefär som en tv-spelsvärld som heter X Land. Och det är befolkat av ett gäng små bots. Och det snygga här är att X Land i sig styrs av en AI eller ungefär som en spelmästare som ordnar om miljön, ordnar om hindren och blocken och bollarna som de små robotarna får leka med, och som också kommer på olika regler i farten. Så, enkla spel som tagga eller kurragömma, och botarna måste bara komma på hur man spelar dem. Du vet vilka objekt i den virtuella världen som hjälper dem att göra det. Och de lär sig generella färdigheter som att utforska, bara prova saker. Och jag tror att den här typen av öppen utforskning kommer att bli nyckeln för nästa generations AI. Och det är lite spännande att nästa [00:09:00] våg av AI, AI:erna som kommer att bli bra på flera saker, [00:09:03] Vi // kan fortfarande komma dit genom spel igen. Så spel kommer ingenstans. Spel har varit med AI sedan starten. Och du vet, det är trevligt att se att lek fortfarande kanske är det bästa sättet att lära sig.

[KREDIT]

Jennifer: Det här avsnittet rapporterades av mig och Will Douglas-Heaven... och producerades av Anthony Green, Emma Cillekens och Karen Hao. Vi är redigerade av Niall Firth, Michael Reilly och Mat Honan. Vår mixtekniker är Garret Lang... med ljuddesign och musik av Jacob Gorski.

Tack för att du lyssnade, jag heter Jennifer Strong.
[TR ID]

Dölj