AI Fight Club kan hjälpa oss att rädda oss från en framtid av supersmarta cyberattacker

John Malta

En ny tävling förebådar vad som sannolikt kommer att bli framtiden för cybersäkerhet och cyberkrigföring, med offensiva och defensiva AI-algoritmer som kämpar.

De tävling , som kommer att spelas under de kommande fem månaderna, drivs av Kuggla , en plattform för datavetenskapstävlingar. Det kommer att ställa forskarnas algoritmer mot varandra i försök att förvirra och lura varandra, förhoppningen är att denna strid kommer att ge insikter om hur man härdar maskininlärningssystem mot framtida attacker.

Det är en briljant idé att katalysera forskning om att både lura djupa neurala nätverk och designa djupa neurala nätverk som inte kan luras, säger Jeff Clune , en biträdande professor vid University of Wyoming som studerar gränserna för maskininlärning.

Tävlingen kommer att ha tre delar. En utmaning kommer att innebära att helt enkelt försöka blanda ihop ett maskininlärningssystem så att det inte fungerar korrekt. En annan kommer att innebära att man försöker tvinga ett system att klassificera något felaktigt. Och en tredje kommer att involvera att utveckla de mest robusta försvaren. Resultaten kommer att presenteras på en stor AI-konferens senare i år.

Maskininlärning, och i synnerhet djupinlärning, håller snabbt på att bli ett oumbärligt verktyg i många branscher. Tekniken går ut på att mata in data i en speciell typ av datorprogram, specificera ett visst resultat och låta en maskin utveckla sin egen algoritm för att uppnå resultatet. Deep learning gör detta genom att justera parametrarna för en enorm, sammankopplad väv av matematiskt simulerade neuroner.

Det har länge varit känt att maskininlärningssystem kan luras. Spammare kan till exempel undvika moderna spamfilter genom att ta reda på vilka mönster filtrets algoritm har tränats att identifiera.

På senare år har forskare dock visat att även de smartaste algoritmerna ibland kan vilseledas på överraskande sätt. Till exempel algoritmer för djupinlärning med nästan mänsklig skicklighet att känna igen objekt i bilder kan luras genom till synes abstrakta eller slumpmässiga bilder som utnyttjar de lågnivåmönster som dessa algoritmer letar efter (se The Dark Secret at the Heart of AI).

Motstridig maskininlärning är svårare att studera än konventionell maskininlärning – det är svårt att säga om din attack är stark eller om ditt försvar faktiskt är svagt, säger Ian Goodfellow, forskare vid Google Brain , en avdelning av Google som är dedikerad till att undersöka och tillämpa maskininlärning, som organiserade tävlingen.

När maskininlärning blir genomgripande är rädslan att sådana attacker kan användas för vinst eller rent bus. Det kan vara möjligt för hackare att undvika säkerhetsåtgärder för att till exempel installera skadlig programvara.

Datorsäkerhet går definitivt mot maskininlärning, säger Goodfellow. De onda kommer att använda maskininlärning för att automatisera sina attacker, och vi kommer att använda maskininlärning för att försvara.

I teorin kan brottslingar också förvirra röst- och ansiktsigenkänningssystem, eller till och med sätta upp affischer för att lura synsystemen i självkörande bilar och få dem att krascha.

Kaggle har blivit en ovärderlig grogrund för algoritmutveckling och en grogrund för begåvade dataforskare. Företaget köptes upp av Google i mars och är nu en del av Google Cloud-plattformen. Goodfellow och en annan Google Brain-forskare, Alexey Kurakin, lämnade in idén till utmaningen innan förvärvet.

Benjamin Hamner, Kaggles medgrundare och CTO, säger att han hoppas att tävlingen kommer att uppmärksamma ett hotande problem. I takt med att maskininlärning blir mer allmänt använt, blir det allt viktigare att förstå problemen och riskerna med kontradiktoriskt lärande, säger han.

Fördelarna med den öppna tävlingen uppväger alla risker som är förknippade med att publicera nya typer av attacker, tillägger han: Vi tror att denna forskning bäst skapas och delas öppet, istället för bakom stängda dörrar.

Clune säger samtidigt att han är angelägen om att tävlingen ska testa algoritmer som förmodas tål attacker. Mina pengar ligger på att nätverken fortsätter att luras under överskådlig framtid, säger han.

Dölj