211service.com
AI:er som lär sig förstärkning är sårbara för en ny typ av attack
MIT TECHNOLOGY REVIEW / ADAM GLEAVE
Fotbollsboten ställer upp för att ta ett skott mot målet. Men istället för att göra sig redo att blockera den, faller målvakten till marken och vickar med benen. Förvirrad gör anfallaren en konstig liten sidleddans, stampar med fötterna och viftar med ena armen, och faller sedan omkull. 1-0 till målvakten.
Det är inte en taktik du kommer att se använda av proffsen, men den visar att en artificiell intelligens tränad via djup förstärkningsinlärning - tekniken bakom banbrytande spelande AI:er som AlphaZero och OpenAI Five - är mer sårbar för attack än tidigare trodde. Och det kan få allvarliga konsekvenser.
Adam Gleave
Under de senaste åren har forskare hittat många sätt att bryta AI som tränats med hjälp av märkt data, så kallat övervakat lärande. Små justeringar av en AI:s indata - som att ändra några pixlar i en bild - kan göra den fullständigt flummig, vilket gör att den identifierar en bild av en sengångare som en racerbil, till exempel. Dessa så kallade motstridiga attacker har ingen säker lösning.
Jämfört med övervakat lärande är förstärkningsinlärning en relativt ny teknik och har studerats mindre. Men det visar sig att det också är sårbart för manipulerad input. Förstärkningsinlärning lär en AI hur man beter sig i olika situationer genom att ge den belöningar för att göra rätt sak. Så småningom lär sig AI:n en handlingsplan, känd som en policy. Policyer tillåter AI:er att spela spel, köra bil eller köra automatiserade handelssystem.
2017 tittade Sandy Huang, som nu är på DeepMind, och hennes kollegor på en AI som tränats via förstärkning och lärde sig att spela det klassiska videospelet Pong. Det visade de Att lägga till en enda oseriös pixel till bildrutor av videoingång skulle på ett tillförlitligt sätt göra att den förloras . Nu har Adam Gleave vid University of California, Berkeley, tagit motstridiga attacker till en annan nivå.
Gleave är inte alltför orolig för de flesta av de exempel vi har sett hittills. Jag är lite skeptisk till att de är ett hot, säger han. Tanken att en angripare kommer att bryta vårt maskininlärningssystem genom att lägga till en liten mängd brus verkar inte realistisk. Men istället för att lura en AI att se något som inte riktigt finns där, kan du ändra hur saker och ting runt den fungerar. Med andra ord kan en AI som tränas med hjälp av förstärkningsinlärning luras av konstigt beteende. Gleave och hans kollegor kallar detta en kontradiktorisk politik. Det är en tidigare okänd hotmodell, säger Gleave.
Tappa kontrollen
På vissa sätt är kontradiktoriska policyer mer oroande än attacker på övervakade inlärningsmodeller, eftersom förstärkningsinlärningspolicyer styr en AI:s övergripande beteende. Om en förarlös bil felklassificerar indata från sin kamera kan den till exempel falla tillbaka på andra sensorer. Men sabotera bilens kontrollsystem – styrt av en förstärkningsinlärningsalgoritm – och det kan leda till katastrof. Om policyer skulle sättas in utan att lösa dessa problem kan det vara mycket allvarligt, säger Gleave. Förarlösa bilar skulle kunna gå snett om de konfronteras med en armviftande fotgängare.
Gleave och hans kollegor använde förstärkningsinlärning för att träna stick-figur-robotar för att spela en handfull spel för två spelare, inklusive att sparka en boll mot ett mål, tävla över en linje och sumobrottning. Botarna var medvetna om positionen och rörelsen hos deras lemmar och deras motståndare.
Adam Gleave
De tränade sedan en andra uppsättning bots för att hitta sätt att utnyttja den första, och denna andra grupp upptäckte snabbt motstridiga policyer. Teamet fann att motståndarna lärde sig att slå sina offer på ett tillförlitligt sätt efter att ha tränat i mindre än 3 % av tiden som det tog offren att lära sig att spela spelen i första hand.
Motståndarna lärde sig att vinna inte genom att bli bättre spelare utan genom att utföra handlingar som bröt mot motståndarnas policy. I fotbollsspelet och löparspelet ställer sig motståndaren ibland aldrig ens upp. Detta gör att offret kollapsar till en förvriden hög eller slingrar sig runt i cirklar. Dessutom presterade offren faktiskt mycket bättre när de var maskerade och inte alls kunde se sin motståndare.
Forskningen, som ska presenteras vid den internationella konferensen om läranderepresentationer i Addis Abeba, Etiopien, i april, visar att policyer som verkar robusta kan dölja allvarliga brister. I djup förstärkningsinlärning utvärderar vi inte policyer på ett tillräckligt omfattande sätt, säger Gleave. En övervakad inlärningsmodell, utbildad för att klassificera bilder, till exempel, testas på en annan datamängd än den den tränades på för att säkerställa att den inte bara har memorerat ett visst gäng bilder. Men med förstärkningsinlärning tränas och testas modeller vanligtvis i samma miljö. Det betyder att du aldrig kan vara säker på hur väl modellen kommer att klara nya situationer.
Den goda nyheten är att kontradiktorisk politik kan vara lättare att försvara sig mot än andra motstridiga attacker. När Gleave finjusterade offren för att ta hänsyn till deras motståndares konstiga beteende, tvingades motståndarna prova mer välbekanta trick, som att snubbla sina motståndare. Det är fortfarande smutsigt spel men utnyttjar inte ett fel i systemet. När allt kommer omkring gör mänskliga spelare det hela tiden.