AI lärde sig att använda verktyg efter nästan 500 miljoner kurragömmaspel

OpenAi

Under de första dagarna av livet på jorden var biologiska organismer ytterst enkla. De var mikroskopiska encelliga varelser med liten eller ingen förmåga att koordinera. Ändå ledde miljarder år av evolution genom konkurrens och naturligt urval till de komplexa livsformer vi har idag – såväl som komplex mänsklig intelligens.

Forskare vid OpenAI, San Francisco-baserade vinstdrivande AI-forskningslabbet, testar nu en hypotes: om du kunde härma den typen av konkurrens i en virtuell värld, skulle det också ge upphov till mycket mer sofistikerad artificiell intelligens?

Experimentet bygger på två befintliga idéer inom området: multi-agent inlärning, idén att sätta flera algoritmer i konkurrens eller samordning för att provocera fram nya beteenden, och förstärkningsinlärning, den specifika maskininlärningstekniken som lär sig att uppnå ett mål genom försök och fel. (DeepMind populariserade det senare med sitt genombrottsprogram AlphaGo, som slog den bästa mänskliga spelaren i det antika kinesiska brädspelet Go.)

I en nytt papper släpptes idag, OpenAI har nu avslöjat sina första resultat. Genom att spela ett enkelt kurragömmaspel hundratals miljoner gånger, utvecklade två motsatta team av AI-agenter komplexa gömma-och-sökstrategier som involverade verktygsanvändning och samarbete. Forskningen ger också insikt i OpenAI:s dominerande forskningsstrategi: att dramatiskt skala befintliga AI-tekniker för att se vilka egenskaper som dyker upp.

Efter ungefär 25 miljoner omgångar av kurragömma lärde sig gömmorna att bygga fort för att vinna spelet. OpenAI

Sex faser av strategi

För att skapa spelet designade forskarna en virtuell miljö som bestod av ett slutet utrymme med olika föremål som block, ramper och mobila och orörliga barrikader. Agenterna själva kontrollerades av förstärkningslärande algoritmer. För varje spel delades agenterna upp i två lag: gömmor belönades eller straffades för att de undvikit respektive misslyckats med att undvika sökarna; Sökande belönades eller straffades också för att de hittade eller misslyckades med att hitta gömmorna. Liksom i ett klassiskt kurragömmaspel fick gömmor också några sekunders försprång. Forskarna gav agenterna inga andra instruktioner.

Under loppet av hundratals miljoner spelomgångar utvecklade agenterna flera strategier och motstrategier. Under den första fasen utvecklade gömmorna och sökarna väldigt grova undvikande och jagande strategier genom att flytta runt i utrymmet utan att manipulera något av föremålen.

I fas tre lärde sig de sökande att klättra över fortets väggar med hjälp av en ramp. OpenAI

Men runt 25 miljoner spel blev spelet mer sofistikerat. Gömmarna lärde sig att flytta och låsa in lådorna och barrikaderna i miljön för att bygga fort runt sig så att de som söker aldrig skulle se dem. Inte bara det, utan de utvecklade också samordningsstrategier, som att passera varandras föremål, för att påskynda fortbyggandet.

Efter ytterligare 75 miljoner omgångar upptäckte dock sökarna en motstrategi som flyttade processen in i fas tre. De lärde sig att flytta en ramp bredvid gömmornas fort och använda den för att klättra över murarna. I fas fyra, 10 miljoner omgångar senare, hade gömmorna lärt sig att låsa ramperna på plats innan de byggde sitt fort. (Inget av lagen kunde låsa upp ett objekt som låstes av ett motståndarlag.)

Först trodde forskarna vid OpenAI att detta var den sista fasen av spelet, men slutligen, vid 380-miljoner-spelet, dök ytterligare två strategier upp. Sökarna utvecklade återigen en strategi för att bryta sig in i gömmornas fort genom att använda en låst ramp för att klättra upp på en olåst låda och sedan surfa sig fram på toppen av lådan till fortet och över dess väggar. I slutfasen lärde sig gömmorna återigen att låsa alla ramper och lådor på plats innan de byggde sitt fort.

Slutligen, efter 380 miljoner omgångar av träning, lärde sig sökarna att 'boxsurfa' för att klättra över fortets murar. OpenAI

Emergent intelligens

Forskarna tror att dessa initiala resultat visar en lovande ny metod för att utveckla mer komplex AI. Vi sa inte till gömmorna eller sökarna att springa nära en låda eller interagera med den, säger Bowen Baker, en av författarna till tidningen. Men genom multiagent-konkurrens skapade de nya uppgifter för varandra så att det andra laget var tvungen att anpassa sig.

Den här studien speglar OpenAI:s distinkta inställning till AI-forskning. Även om labbet också har investerat i att utveckla nya tekniker i förhållande till andra labb, har det främst gjort sig ett namn genom att dramatiskt skala befintliga. GPT-2, labbets ökända språkmodell, till exempel, tungt lånad algoritmisk design från tidigare språkmodeller, inklusive Googles BERT ; OpenAI:s primära innovation var en bedrift av ingenjörskonst och expansiva beräkningsresurser.

På ett sätt bekräftar denna studie värdet av att testa gränserna för befintlig teknik i stor skala. Teamet planerar också att fortsätta med denna strategi. Forskarna säger att den första omgången av experiment inte var i närheten av att nå gränserna för de beräkningsresurser de kunde kasta på problemet.

Vi vill att folk ska föreställa sig vad som skulle hända om man framkallade den här typen av konkurrens i en mycket mer komplex miljö, säger Baker. De beteenden de lär sig kanske faktiskt kan lösa vissa problem som vi kanske inte redan vet hur vi ska lösa.

Korrektion: Den ursprungliga rubriken angav antalet spel som agenterna spelade felaktigt.

Dölj