Hur lång tid innan AI-system hackas på kreativa nya sätt?

De senaste artificiella intelligensteknikerna antas av företag i en rasande takt. Snart kan hackare också börja titta närmare, och de kan orsaka alla möjliga problem genom att lura dessa system med illusoriska data.

Ian Goodfellow, en forskare vid OpenAI, som har gjort banbrytande arbete med att lura maskininlärningssystem, sa att det är lätt att attackera systemen vid en AI-konferens nyligen i Barcelona, ​​Spanien. Nästan allt dåligt du kan tänka dig att göra med en maskininlärningsmodell kan göras just nu, sa han. Och att försvara det är riktigt, riktigt svårt.

Under de senaste åren har forskare visat på olika sätt på vilka maskininlärningsprogram kan manipuleras genom att utnyttja deras benägenhet att upptäcka mönster i data. De är sårbara, delvis för att de saknar faktisk intelligens. Det är till exempel möjligt att använda en skylt för att lura visionsystemen på självkörande bilar att se saker som inte finns där. Ohörbara signaler kan lura röststyrda assistenter att vidta oönskade åtgärder, som att besöka en webbplats och ladda ner en del skadlig programvara.

Goodfellow och andra utvecklar motåtgärder. Det är möjligt att träna ett maskininlärningssystem att känna igen och sedan ignorera vilseledande exempel. Men det är knepigt att skydda sig mot alla möjliga övergrepp.

Att lura maskininlärningssystem kan bli mer än en akademisk övning. Det här är väldigt verkligt, säger Patrick McDaniel, professor vid Pennsylvania State University som har utforskat frågan. Maskininlärningssystem driver alla typer av funktioner som skulle kunna tjäna pengar på av motståndare, och därför kommer organiserade och sofistikerade angripare att ta till sig dessa attacker.

McDaniel påpekar att hackare har överlistat maskininlärningssystem i flera år. Spammare, till exempel, har matat inlärningsalgoritmer med falska e-postmeddelanden så att skräppostmeddelanden kan passera senare. Han säger att det inte kan dröja länge innan mer sofistikerade attacker dyker upp.

De första attackerna kommer mycket snart mot klassificeringssystem online, säger McDaniel. Detta kan inkludera moderna spamfilter, system utformade för att upptäcka olagligt eller upphovsrättsskyddat material och avancerade maskininlärningsbaserade datorsäkerhetssystem.

En ny uppsats tyder på att problemet kan vara mer utbrett än tidigare känt. Den visar att vissa bedrägerier kan återanvändas mot olika maskininlärningssystem, eller till och med mot ett stort black box-system som en angripare inte har förkunskaper om.

Buggar som lurar i dessa populära maskininlärningsverktyg kan ge ett annat sätt att rikta in sig på dem. Nya verktyg för maskininlärning utvecklas i snabb takt och släpps ofta gratis online innan de används i aktiva tjänster som bildigenkänning eller analysverktyg för naturligt språk.

Octavian Suciu, doktorand vid University of Maryland, talade vid samma konferens i Spanien, och lyfte fram ett antal sådana sårbarheter i några populära verktyg. Suciu analyserade källkoden för dessa program, och han fann att den kunde manipuleras. Han hittade problem med hur vissa verktyg lagrar information i minnet, vilket innebär att inmatning av en mycket stor bit data kan skriva över en del av programmet och ändra dess beteende.

Suciu spekulerar i att tillvägagångssättet kan vara ett praktiskt sätt att manipulera, till exempel, ett verktyg som erbjuder aktieprognoser, som sedan kan användas för att shorta marknaden. Om [en modell] säger till dig att aktien kommer att gå upp kan du ändra förutsägelsen till att säga att den skulle gå ner, säger han.

Dölj