DeepMinds AI kan nu spela alla 57 Atari-spel – men det är fortfarande inte tillräckligt mångsidigt

Kategori: Artificiell intelligens Postad 01 apr

Nyheterna: En artificiell intelligens som kallas Agent57 har lärt sig att spela alla 57 Atari-videospel i Arcade Learning-miljön, en samling klassiska spel som forskare använder för att testa gränserna för sina djupinlärningsmodeller. Utvecklad av DeepMind, Agent57 använder samma algoritm för inlärning av djup förstärkning för att uppnå övermänskliga spelnivåer även i spel som tidigare AI:er har kämpat med. Att kunna lära sig 57 olika uppgifter gör Agent57 mer mångsidig än tidigare spelande AI:er.

Vad finns i ett spel? Spel är ett bra sätt att testa AI. De ger en mängd olika utmaningar som tvingar en AI att komma med en rad strategier och ändå har ett tydligt mått på framgång – ett poäng – att träna mot. Men framför allt fyra Atari-matcher har visat sig vara svåra att slå. I Montezuma’s Revenge and Pitfall måste en AI prova många olika strategier innan han slår en vinnande. Och i Solaris och Skiing kan det vara långa väntetider mellan action och belöning, vilket gör det svårt för en AI att lära sig vilka drag som ger bäst utdelning.

Meta-mind: För att möta dessa utmaningar sammanför Agent57 flera förbättringar som DeepMind har gjort i sitt Deep-Q-nätverk, AI som slog en handfull Atari-spel för första gången 2012, inklusive en form av minne som låter den basera beslut på saker den tidigare har gjort. ses i spelet och belöningssystem som uppmuntrar AI:n att utforska sina alternativ mer fullständigt innan de bestämmer sig för en strategi. Dessa olika tekniker hanteras sedan av en metakontroller, som balanserar avvägningarna mellan att gå vidare med en viss strategi och göra mer utforskning.

Varför det är viktigt: Trots all framgång är de bästa djupinlärningsmodellerna vi har idag inte särskilt mångsidiga. De flesta brukar vara bra på en sak och bara en sak. Att träna en AI för att utmärka sig i mer än en uppgift är en av de största öppna utmaningarna inom djupinlärning. Möjligheten att lära sig 57 olika uppgifter gör Agent57 mer mångsidig än tidigare spelande AI:er, men – och detta missas ofta – det kan fortfarande inte lära sig att spela mer än ett spel åt gången. Agent57 kan lära sig att spela 57 spel, men den kan inte lära sig att spela 57 spel samtidigt. Det måste tränas om för varje nytt spel även om det kan använda samma algoritm för att göra det. På så sätt liknar Agent57 AlphaZero, DeepMinds algoritm för inlärning av djup förstärkning, som kan lära sig att spela schack, Go och shogi – men återigen, inte allt på en gång. Verklig mångsidighet, som kommer så lätt för ett mänskligt spädbarn, är fortfarande långt bortom AI:ers räckhåll.