211service.com
Efter att ha bemästrat Space Invaders, schack och Go, tacklar AI videofotboll
Fotbollsplan Wien Reyes | Unsplash
Google är världsledande inom forskning om maskinintelligens. Dess DeepMind-dotterbolag, i synnerhet, har en imponerande lista över prestationer under sitt bälte. DeepMinds neurala nätverk har uppnått övermänsklig prestanda i ett brett utbud av spel. Dessa inkluderar Atari-videospel som Pong, Breakout och Space Invaders och mer komplexa utmaningar som online multiplayer-spelet Starcraft.
DeepMind har också haft anmärkningsvärda framgångar med mer traditionella spel. 2016 slog dess AlphaGo-maskin en av världens starkaste professionella Go-spelare, första gången en maskin hade segrat på detta sätt. I processen hittade AlphaGo helt nya sätt att spela som har revolutionerat hur människor tänker om spelet.
Google nöjer sig inte med att sitta på lagrarna, utan riktar nu sin uppmärksamhet mot mer öppna spel där oförutsägbarhet spelar en viktigare roll. Och dess nästa mål är videofotboll.
Karol Kurach och kollegor på Google Researchs hjärnteam har skapat ett fotbollsspel som heter Google Research Football Environment för att tillåta forskare att testa sina algoritmer i en värld som är fysikbaserad, anpassningsbar, enkel att använda och oändligt reproducerbar. De har gjort den här världen tillgänglig med en öppen källkodslicens så att forskare var som helst kan använda den för att utveckla bättre fotbollsspelande algoritmer.
Först lite bakgrund. En av utmaningarna för AI-forskare är att hitta uppgifter som erbjuder nya problem för maskinlärande algoritmer. Enkla videospel som Pong eller Breakout är ibland alldeles för lätta för dessa algoritmer, som kan uppnå övermänsklig prestation efter bara några timmars träning.
Men några av de mer komplexa videospelen, som Starcraft, är för utmanande. Starcraft är ett strategispel i realtid för flera spelare och utspelar sig i ett stort onlineuniversum. AI-forskare har blivit intresserade av det eftersom det låter dem spela mot andra människor och mot spelbaserade AI-system i komplexa miljöer.
Spelet är dock så omfattande och intrikat att det kräver enorma beräkningsresurser för att samla in relevant data och för att träna ett maskininlärningssystem. Och dessa resurser är inte tillgängliga för de flesta forskare.
Ett annat problem är att många lovande onlinemiljöer körs på egen kod som forskare inte kan ändra eller ens se. Det gör det omöjligt att veta hur spelet fattar viktiga beslut eller att experimentera med olika beslutsprocesser.
Slutligen, många spel är helt deterministiska: de kommer att spelas ut på exakt samma sätt med samma ingångar. Det gör dem enkla att lära sig algoritmer att slå.
Men det är inte så saker fungerar i den verkliga världen, där förmågan att klara av oväntade handlingar är en viktig färdighet. Det enda sättet för maskiner att lära sig denna färdighet är genom att träna i oförutsägbara miljöer. Men oförutsägbarheten måste vara kontrollerbar – för lite och spelet är för lätt, medan för mycket gör inlärningen för svår. Att skapa en sådan miljö är knepigt.
Det är där fotbollssimulatorer kommer in. Dessa har vissa nivåer av förutsägbarhet baserat på spelets fysik. Men det finns också gott om oförutsägbarhet som uppstår från motståndarspelares taktik, obalansen mellan spelare i situationer som tackling och så vidare.
Så Kurach och kollegor har byggt sin egen simulator. Som bas använde de ett allmänt tillgängligt spel som heter Gameplay Football, som tillåter fullständiga fotbollsspel med mål, regelbrott, hörnor, straffar, offsides och så vidare. Fotbollsmiljön tillhandahåller en fysikbaserad 3D-fotbollssimulering där agenter måste kontrollera sina spelare, lära sig att passa in mellan dem och hur man övervinner motståndarens försvar för att göra mål, säger Google-teamet.
Forskarna har modifierat detta för att ge ett mått på framgång för maskiner, baserat på hur nära maskinen kan manövrera bollen till motståndarens mål på ett kontrollerat sätt. Detta är nödvändigt eftersom standardmåttet på framgång – mål – återspeglar en relativt sällsynt händelse och inte ger maskiner ett sätt att övervaka deras framsteg från ögonblick till ögonblick.
Teamet har också skapat flera standardmiljöer av varierande komplexitet för att träna och testa AI-maskiner. De uppgifter som maskinen står inför inkluderar att göra mål i ett tomt mål, springa och göra mål mot en målvakt, navigera i ett 3 mot 1-scenario för att göra mål samtidigt som man uppmuntrar till passningar, och så vidare. Det övergripande testet är ett standardspel med alla vanliga regler, som spelas mot en maskinbaserad motståndare.
Inlärningsalgoritmen kan spela mot andra maskiner eller mot människor. Detta ger den erfarenhet av ett brett spektrum av strategier. Och det undviker scenariot där maskinen helt enkelt lär sig svagheterna hos en maskinbaserad motståndare, vilket kanske inte är tillämpligt på spel i allmänhet. Detta ger ett utmanande förstärkningsinlärningsproblem eftersom fotboll kräver en naturlig balans mellan kortsiktig kontroll, inlärda begrepp som passningar och strategi på hög nivå, säger Kurach och kollegor.
Det är intressant arbete som har potential att hjälpa maskininlärning att fungera i mer realistiska miljöer. Men det väcker också möjligheten att maskiner kommer att lära sig nya fotbollsstrategier som människor aldrig har övervägt, precis som de gjorde för Go.
Det här är taktik som till och med kan spelas i robo-fotbollsturneringar, eller till och med i spel mellan människor.
Huruvida dessa strategier fungerar lika bra för riktig fotboll som de gör för den simulerade sorten kommer att vara en intressant fråga att titta på. Det kommer att vara fascinerande för AI-forskare och fotbollsfans.
Ref: arxiv.org/abs/1907.11180 : Google Research Football: A Novel Reinforcement Learning Environment