OpenAI:s fåniga sumobrottningsrobotar är smartare än de ser ut

Kategori: Okategoriserad Postad 12 okt

Det kan vara en virtuell blodsport i någon absurdistisk techno-framtid.

OpenAI, ett forskningsinstitut som stöds av Elon Musk och flera andra stora skott i Silicon Valley, har avslöjat sin senaste forskning om att utveckla kraftfullare former av maskininlärning. Och det visar tekniken med virtuell sumobrottning.

De virtuella brottarna kan se lite löjliga ut, men de använder ett mycket smart tillvägagångssätt för att lära sig i en snabbt föränderlig miljö medan de hanterar en motståndare.

Agenterna använder en form av förstärkningsinlärning, en teknik inspirerad av hur djur lär sig genom feedback. Det har visat sig användbart för att träna datorer för att spela spel och för att styra robotar (se 10 Breakthrough Technologies 2017: Reinforcement Learning ).

En stor utmaning med att använda förstärkningsinlärning är att det inte fungerar så bra i mer realistiska situationer, där saker ständigt förändras. OpenAI har redan utvecklat sin egen förstärkningsalgoritm som kallas proximal policy optimization (PPO) , vilket är särskilt väl lämpat för föränderliga miljöer.

Det senaste arbetet, gjort i samarbete med forskare från Carnegie Mellon University och UC Berkeley, demonstrerar ett sätt för AI-agenter att tillämpa vad forskarna kallar ett meta-lärande ramverk. Detta innebär att agenterna kan ta det de redan har lärt sig och tillämpa det i en ny situation.

Inuti RoboSumo-miljön (se video ovan) började agenterna uppträda slumpmässigt. Genom tusentals iterationer av försök och misstag utvecklade de gradvis förmågan att röra sig – och så småningom att slåss. Genom ytterligare iterationer utvecklade brottarna förmågan att undvika varandra och till och med ifrågasätta sina egna handlingar. Denna inlärning skedde i farten, med agenterna anpassade sig även om de brottades med varandra.

Flexibelt lärande är en mycket viktig del av mänsklig intelligens, och det kommer att vara avgörande om maskiner ska bli kapabla att utföra allt annat än mycket smala uppgifter i den verkliga världen. Denna typ av inlärning är mycket svår att implementera i maskiner, och det senaste arbetet är ett litet men betydelsefullt steg i den riktningen.

Forskarna fann att genom att använda meta-lärande kunde deras sumo-bots lära sig effektiva strategier snabbare. Så även om de ser lite olyckliga ut, underskatta dem inte.