Militär artificiell intelligens kan lätt och farligt luras

En sköldpadda och ett gevär getty bilder

I mars förra året tillkännagav kinesiska forskare en genialisk och potentiellt förödande attack mot en av USA:s mest uppskattade tekniska tillgångar - en Tesla-elbil.

Teamet, från säkerhetslabbet hos den kinesiska teknikjätten Tencent, visade flera sätt att lura AI-algoritmerna på Teslas bil. Genom att subtilt ändra data som matades till bilens sensorer kunde forskarna förvirra och förvirra den artificiella intelligensen som driver fordonet.

Den här historien var en del av vårt novembernummer 2019

• Se resten av frågan
• Prenumerera

I ett fall innehöll en tv-skärm ett dolt mönster som lurade vindrutetorkarna att aktiveras. I en annan modifierades körfältsmarkeringarna på vägen något så lite för att förvirra det autonoma körsystemet så att det körde över dem och in i filen för mötande trafik.

Teslas algoritmer är normalt lysande på att upptäcka regndroppar på en vindruta eller följa linjerna på vägen, men de fungerar på ett sätt som skiljer sig fundamentalt från människans uppfattning. Det gör sådana djupinlärningsalgoritmer, som snabbt sveper genom olika branscher för tillämpningar som ansiktsigenkänning och cancerdiagnos, förvånansvärt lätta att lura om du hittar deras svaga sidor.

Att leda en Tesla på avvägar kanske inte verkar vara ett strategiskt hot mot USA. Men tänk om liknande tekniker användes för att lura attacker drönare, eller programvara som analyserar satellitbilder, till att se saker som inte finns – eller inte se saker som finns?

Insamling av artificiell intelligens

Runt om i världen ses AI redan som nästa stora militära fördel.

Tidigt i år tillkännagav USA en storslagen strategi för att utnyttja artificiell intelligens inom många områden av militären, inklusive intelligensanalys, beslutsfattande, fordonsautonomi, logistik och vapen. Försvarsdepartementets föreslagna budget på 718 miljarder dollar för 2020 avsätter 927 miljoner dollar för AI och maskininlärning. Befintliga projekt inkluderar det ganska vardagliga (att testa om AI kan förutsäga när stridsvagnar och lastbilar behöver underhåll) såväl som saker i framkanten av vapenteknologi (svärmar av drönare).

Pentagons AI-push drivs delvis av rädsla för hur rivaler kan använda tekniken. Förra året skickade Jim Mattis, då försvarsminister, ett memo till president Donald Trump där han varnade för att USA redan hamnar på efterkälken när det gäller AI. Hans oro är förståelig.

I juli 2017 formulerade Kina sin AI-strategi och förklarade att världens stora utvecklade länder tar utvecklingen av AI som en viktig strategi för att förbättra den nationella konkurrenskraften och skydda den nationella säkerheten. Och några månader senare förklarade Vladimir Putin från Ryssland olycksbådande: Den som blir ledare inom [AI]-sfären kommer att bli världens härskare.

Ambitionen att bygga de smartaste och dödligaste vapnen är förståelig, men som Tesla-hacket visar kan en fiende som vet hur en AI-algoritm fungerar göra den oanvändbar eller till och med vända den mot dess ägare. Hemligheten med att vinna AI-krigen ligger kanske inte i att tillverka de mest imponerande vapnen utan i att bemästra programvarans oroande förräderi.

Battle bots

En ljus och solig dag förra sommaren i Washington, DC, satt Michael Kanaan i Pentagons cafeteria och åt en smörgås och förundrades över en kraftfull ny uppsättning maskininlärningsalgoritmer.

Några veckor tidigare hade Kanaan sett ett videospel där fem AI-algoritmer samarbetade för att nästan övermanövrera, överlista och överlista fem människor i en tävling som involverade att kontrollera styrkor, läger och resurser över ett komplext, vidsträckt slagfält. Pannan under Kanaans avklippta blonda hår var dock rynkad när han beskrev handlingen. Det var en av de mest imponerande demonstrationerna av AI-strategi han någonsin sett, en oväntad utveckling som liknar AI-framsteg i schack, Atari och andra spel.

Krigsspelet hade ägt rum inom Dota 2, ett populärt sci-fi-spel som är otroligt utmanande för datorer. Lag måste försvara sitt territorium samtidigt som de attackerar sina motståndares läger i en miljö som är mer komplex och vilseledande än något brädspel. Spelare kan bara se en liten del av hela bilden, och det kan ta ungefär en halvtimme att avgöra om en strategi är vinnande.

AI-kombattanterna utvecklades inte av militären utan av OpenAI, ett företag som skapats av Silicon Valley stormän, inklusive Elon Musk och Sam Altman för att göra grundläggande AI-forskning. Företagets algoritmiska krigare, kända som OpenAI Five, utarbetade sina egna vinnande strategier genom obeveklig träning och genom att svara med drag som visade sig vara mest fördelaktiga.

AI-styrda missiler kan förblindas av motstridiga data och kanske till och med styras tillbaka mot vänliga mål.

Det är precis den typen av programvara som fascinerar Kanaan, en av personerna som har till uppgift att använda artificiell intelligens för att modernisera den amerikanska militären. För honom visar det vad militären kan vinna genom att ta hjälp av världens bästa AI-forskare. Men om de är villiga är alltmer ifrågasatt.

Kanaan var flygvapnets ledare för Project Maven, ett militärt initiativ som syftade till att använda AI för att automatisera identifieringen av objekt i flygbilder. Google var en entreprenör på Maven, och när andra Google-anställda fick reda på det, 2018, beslutade företaget att överge projektet. Den tog sedan fram en uppförandekod för AI som säger att Google inte skulle använda sin AI för att utveckla vapen eller annan teknik vars huvudsakliga syfte eller implementering är att orsaka eller direkt underlätta skada på människor.

Arbetare på några andra stora teknikföretag följt av att kräva att deras arbetsgivare undviker militära kontrakt. Många framstående AI-forskare har stött ett försök att initiera ett globalt förbud mot att utveckla helt autonoma vapen.

För Kanaan skulle det dock vara ett stort problem om militären inte kunde arbeta med forskare som de som utvecklade OpenAI Five. Ännu mer oroande är möjligheten att en motståndare ska få tillgång till sådan spjutspetsteknik. Koden finns bara där ute för alla att använda, sa han. Han tillade: krig är mycket mer komplext än något videospel.

Fem algoritmer samarbetar för att överlista fem människor i det slagfältsbaserade videospelet Dota 2. courTesy image

AI-ökningen

Kanaan är generellt sett väldigt hausse på AI, delvis för att han själv vet hur användbart det är för trupper. För sex år sedan, som flygvapnets underrättelseofficer i Afghanistan, var han ansvarig för att distribuera en ny sorts verktyg för insamling av underrättelser: en hyperspektral bildapparat. Instrumentet kan upptäcka föremål som normalt är dolda från insyn, som tankar draperade i kamouflage eller utsläpp från en improviserad bombtillverkningsfabrik. Kanaan säger att systemet hjälpte amerikanska trupper att ta bort många tusentals pund sprängämnen från slagfältet. Trots det var det ofta opraktiskt för analytiker att bearbeta de enorma mängder data som samlats in av avbildaren. Vi spenderade för mycket tid på att titta på data och inte tillräckligt med tid på att fatta beslut, säger han. Ibland tog det så lång tid att du undrade om du kunde ha räddat fler liv.

En lösning kan ligga i ett genombrott inom datorseende av ett team ledd av Geoffrey Hinton vid University of Toronto. Den visade att en algoritm inspirerad av ett neuralt nätverk med många lager kunde känna igen objekt i bilder med oöverträffad skicklighet när den ges tillräckligt med data och datorkraft.

Att träna ett neuralt nätverk innebär att mata in data, som pixlarna i en bild, och att kontinuerligt ändra anslutningarna i nätverket, med hjälp av matematiska tekniker, så att utdata kommer närmare ett visst resultat, som att identifiera objektet i bilden. Med tiden lär sig dessa djupinlärningsnätverk att känna igen mönstren av pixlar som utgör hus eller människor. Framsteg inom djupinlärning har utlöst den nuvarande AI-boomen; Tekniken stödjer Teslas autonoma system och OpenAI:s algoritmer.

Kanaan insåg omedelbart potentialen med djupinlärning för att bearbeta olika typer av bilder och sensordata som är väsentliga för militära operationer. Han och andra i flygvapnet började snart lobba sina överordnade för att investera i tekniken. Deras ansträngningar har bidragit till Pentagons stora AI-framgång.

Men kort efter att djup inlärning kom in på scenen fann forskare att de egenskaper som gör den så kraftfull också är en akilleshäl.

Precis som det är möjligt att beräkna hur man justerar ett nätverks parametrar så att det klassificerar ett objekt korrekt, är det möjligt att beräkna hur minimala ändringar av ingångsbilden kan få nätverket att felklassificera det. I sådana motstridiga exempel ändras bara några pixlar i bilden, vilket gör att den ser likadan ut för en person men väldigt annorlunda än en AI-algoritm. Problemet kan uppstå var som helst där djupinlärning kan användas – till exempel för att guida autonoma fordon, planera uppdrag eller upptäcka nätverksintrång.

Mitt i uppbyggnaden av militär användning av AI har dessa mystiska sårbarheter i programvaran fått mycket mindre uppmärksamhet.

Rörliga mål

Ett anmärkningsvärt objekt tjänar till att illustrera kraften i motståndskraftig maskininlärning. Det är en modellsköldpadda.

För dig eller mig ser det normalt ut, men för en drönare eller en robot som kör en speciell synalgoritm för djupinlärning verkar det vara ... ett gevär. I ett separat projekt hade forskarna använt 2D-bilder så att ett AI-visionssystem som gjorts tillgängligt via Googles moln skulle missta det för nästan vad som helst. (Google har sedan dess uppdaterat algoritmen så att den inte blir lurad.)

Sköldpaddan skapades inte av någon nationalstatsfiender, utan av fyra killar på MIT. En av dem är Anish Athalye, en gänglig och mycket artig ung man som arbetar med datorsäkerhet i MIT:s datavetenskap och artificiell intelligens Laboratory (CSAIL). I en video på Athalyes bärbara dator av sköldpaddorna som testas (några av modellerna stals på en konferens, säger han), roteras den 360 grader och vänds upp och ner. Algoritmen upptäcker samma sak om och om igen: gevär, gevär, gevär.

De tidigaste motstridiga exemplen var spröda och benägna att misslyckas, men Athalye och hans vänner trodde att de kunde designa en version robust nog att fungera på ett 3D-utskrivet objekt. Detta innebar att modellera en 3D-rendering av objekt och utveckla en algoritm för att skapa sköldpaddan, ett motstridigt exempel som skulle fungera i olika vinklar och avstånd. Enkelt uttryckt utvecklade de en algoritm för att skapa något som på ett tillförlitligt sätt skulle lura en maskininlärningsmodell.

De militära tillämpningarna är uppenbara. Genom att använda kontradiktoriskt algoritmiskt kamouflage kan stridsvagnar eller flygplan gömma sig från AI-utrustade satelliter och drönare. AI-styrda missiler kan förblindas av motstridiga data och kanske till och med styras tillbaka mot vänliga mål. Information som matas in i underrättelsealgoritmer kan förgiftas för att dölja ett terroristhot eller sätta en fälla för trupper i den verkliga världen.

Athalye är förvånad över hur lite oro han har mött över motståndskraftig maskininlärning. Jag har pratat med ett gäng människor inom industrin och jag frågade dem om de är oroliga för motstridiga exempel. Svaret är, nästan över hela linjen, nej, säger han, eftersom företag är fokuserade på att få sina AI-system att fungera som deras högsta prioritet.

Lyckligtvis börjar Pentagon lägga märke till det. I augusti tillkännagav Defense Advanced Research Projects Agency (DARPA) flera stora AI-forskningsprojekt. Bland dem är GARD, ett program fokuserat på motstridig maskininlärning. Hava Siegelmann, professor vid University of Massachusetts, Amherst, och programchef för GARD, säger att dessa attacker kan vara förödande i militära situationer eftersom människor inte kan identifiera dem. Det är som att vi är blinda, säger hon. Det är det som gör det väldigt farligt.

Utmaningarna från motståndskraftig maskininlärning förklarar också varför Pentagon är så angelägen om att arbeta med företag som Google och Amazon samt akademiska institutioner som MIT. Tekniken utvecklas snabbt, och de senaste framstegen tar fäste i labb som drivs av Silicon Valley-företag och toppuniversitet, inte konventionella försvarsentreprenörer.

Avgörande är att de också händer utanför USA, särskilt i Kina. Jag tror att en annan värld är på väg, säger Kanaan, Air Force AI-experten. Och det är en vi måste bekämpa med AI.

Motreaktionen mot militär användning av AI är förståelig, men den kan missa den större bilden. Även när människor oroar sig för intelligenta mördarrobotar, kanske en större risk på kort sikt är en algoritmisk krigsdimma – en som inte ens de smartaste maskinerna kan titta igenom.

Will Knight var tills nyligen seniorredaktör för AI på MIT Technology Review och arbetar nu på Wired.

Dölj