211service.com
Hur vi kan skydda oss från skadlig AI
Ett diagram som visar en bild av en panda, plus en bild av lite brus, vilket motsvarar en bild av en panda som felidentifierats som en gibbon. Pandafoto: flickr.com / Gabriele Gherardi
Vi har tidigare berört konceptet med kontradiktoriska exempel – klassen av små förändringar som, när de matas in i en modell för djupinlärning, får den att missköta sig. I mars täckte vi UC Berkeley-professorn Dawn Songs föredrag på vår årliga EmTech Digital-konferens om hur hon använde klistermärken för att lura en självkörande bil att tro att en stoppskylt var en 45-mile-per-timme-skylt, och hur hon använde skräddarsydda meddelanden för att få en textbaserad modell att spotta ut känslig information som kreditkortsnummer. I april pratade vi på liknande sätt om hur hackare med vita hattar använde klistermärken för att förvirra Tesla Autopilot till att styra en bil in i mötande trafik.
Under de senaste åren, i takt med att system för djupinlärning har blivit mer och mer genomgripande i våra liv, har forskare visat hur motstridiga exempel kan påverka allt från enkla bildklassificerare till system för cancerdiagnostik , vilket leder till konsekvenser som sträcker sig från godartade till livshotande. Trots deras fara är dock motstridiga exempel dåligt förstådda. Och forskare har oroat sig över hur - eller till och med om - problemet kan lösas.
TILL nytt papper från MIT pekar nu på en möjlig väg för att övervinna denna utmaning. Det kan tillåta oss att skapa mycket mer robusta modeller för djupinlärning som skulle vara mycket svårare att manipulera på skadliga sätt. För att förstå dess betydelse, låt oss först gå igenom grunderna för motstridiga exempel.
Som vi har noterat många gånger tidigare kommer kraften i djupinlärning från dess utmärkta förmåga att känna igen mönster i data. Mata ett neuralt nätverk med tiotusentals märkta djurfoton, och det kommer att lära sig vilka mönster som är associerade med en panda och vilka mönster som är associerade med en apa. Den kan sedan använda dessa mönster för att identifiera nya bilder av djur som den aldrig har sett förut.
Men djupinlärningsmodeller är också sköra. Eftersom ett bildigenkänningssystem bara förlitar sig på pixelmönster snarare än en djupare konceptuell förståelse av vad det ser, är det lätt att lura systemet att se något helt annat - bara genom att störa mönstren på rätt sätt. Här är ett klassiskt exempel: lägg till lite brus till en bild av en panda, och ett system kommer att klassificera den som en gibbon med nästan 100% tillförsikt. Bullret, här, är den motståndskraftiga attacken.
Ian Goodfellow et al/OpenAI
Sedan några år tillbaka har forskare observerat detta fenomen, särskilt i datorseendesystem, utan att riktigt veta hur man kan bli av med sådana sårbarheter. Faktum är att ett dokument som presenterades förra veckan vid den stora AI-forskningskonferensen ICLR ifrågasatte om motstridiga attacker är oundvikliga . Det verkar som att oavsett hur många pandabilder du matar med en bildklassificerare, kommer det alltid att finnas någon form av störning som du kan designa för att kasta bort systemet.
Men det nya MIT-dokumentet visar att vi har tänkt fel på motstridiga attacker. Istället för att tänka på sätt att samla mer och bättre träningsdata för att mata in till vårt system, bör vi i grunden tänka om hur vi närmar oss träningen.
Den visade detta genom att identifiera en ganska intressant egenskap hos motstridiga exempel som hjälper oss att förstå varför de är så effektiva. Det till synes slumpmässiga bruset eller klistermärkena som utlöser felklassificeringar utnyttjar faktiskt mycket exakta, minimala mönster som bildsystemet har lärt sig att starkt associera med specifika objekt. Med andra ord, maskinen beter sig inte när den ser en gibbon där vi ser en panda. Det är verkligen att se ett mönster av pixlar, omärkligt för människor, som förekom mycket oftare på gibbonfoton än pandafoton under träning.
Forskarna illustrerade detta genom att köra ett experiment: de skapade en datauppsättning av hundbilder som alla hade ändrats på små sätt som skulle få en standardbildsklassificerare att felidentifiera dem som katter. De felmärkte sedan bilderna som katter och använde dem för att träna ett nytt neuralt nätverk från grunden. Efter träning visade de det neurala nätverket faktiska kattbilder, och det identifierade korrekt alla som katter.
Vad som föreslog forskarna är att i varje datamängd finns det två typer av korrelationer: mönster som faktiskt korrelerar med betydelsen av datan, såsom morrhåren i en kattbild eller pälsfärgerna i en pandabild, och mönster som råkar existera inom träningsdatan men som inte generaliserar till andra sammanhang. Dessa sistnämnda vilseledande korrelationer, som vi kommer att kalla dem, är de som utnyttjas i motstridiga attacker. I diagrammet ovan utnyttjar attacken till exempel ett pixelmönster som är felaktigt korrelerat med gibbons genom att begrava de omärkliga pixlarna i pandabilden. Igenkänningssystemet, tränat att känna igen det missvisande mönstret, tar sedan upp det och antar att det tittar på en gibbon.
Detta säger oss att om vi vill eliminera risken för motståndsangrepp måste vi ändra sättet vi tränar våra modeller på. För närvarande låter vi det neurala nätverket välja vilka korrelationer det vill använda för att identifiera objekt i en bild. Men som ett resultat har vi ingen kontroll över de samband som den hittar och om de är verkliga eller vilseledande. Om vi istället tränade våra modeller att komma ihåg de verkliga mönstren – de som faktiskt är knutna till pixlarnas betydelse – skulle det teoretiskt vara möjligt att producera djupinlärningssystem som inte kan perverteras på detta sätt för skada.
När forskarna testade denna idé genom att bara använda verkliga korrelationer för att träna sin modell, mildrade det faktiskt modellens sårbarhet: den manipulerades framgångsrikt endast 50 % av tiden, medan en modell tränad på både verkliga och falska korrelationer kunde manipuleras 95 % av tiden.
Med andra ord verkar det som att motstridiga exempel inte är oundvikliga. Men vi behöver mer forskning för att eliminera dem helt.
Den här historien dök ursprungligen upp i vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Om du vill få fler artiklar som denna levererade direkt till din inkorg, registrera dig här. Det är gratis.