211service.com
Varför AI-forskare inte ska vända ryggen åt militären
Amerikanska armén
Mer än 2 400 AI-forskare skrev nyligen på en lova lovade att inte bygga så kallade autonoma vapen — system som själva skulle bestämma vem de skulle döda. Detta följer på Googles beslut att inte förnya ett kontrakt för att förse Pentagon med AI för analys av drönarfilmer efter att företaget kom under press från många anställda som motsatte sig dess arbete med ett projekt som kallas Maven.
Paul Scharre, författare till en ny bok, Army of None: Autonomous Weapons and the Future of War , menar att AI-forskare behöver göra mer än att välja bort om de vill åstadkomma förändring.
Paul Scharre. Vinn McNamee/Getty Images
En Army Ranger i Irak och Afghanistan och nu senior fellow vid Center for a New American Security, Scharre hävdar att AI-experter bör samarbeta med beslutsfattare och militära yrkesverksamma för att förklara varför forskare är oroliga och hjälpa dem att förstå begränsningar av AI-system.
Scharre pratade med MED Teknikgranskning seniorredaktör Will Knight om det bästa sättet att stoppa en potentiellt farlig AI-kapprustning.
paulscharre.com
Hur angelägen är den amerikanska militären att utveckla AI-vapen?
USA:s försvarsledare har upprepade gånger uppgav att deras avsikt är att hålla en människa i ögat och ansvarig för dödliga beslut. Nu är förbehållet att de också har erkänt att om andra länder bygger autonoma vapen, så kan de bli tvungna att följa efter. Och det är den verkliga risken – att om ett land passerar denna gräns kan andra känna att de måste svara in natura bara för att förbli konkurrenskraftiga.
Kan man verkligen lita på dessa löften?
Jag tror att höga amerikanska försvarstjänstemän är uppriktiga att de vill att människor ska förbli ansvariga för användningen av dödligt våld. Militär proffs vill verkligen inte att deras vapen går amok. Med det sagt är det fortfarande en öppen fråga hur man kan översätta ett brett begrepp som mänskligt ansvar över dödlig kraft till specifik teknisk vägledning om vilka typer av vapen som är tillåtna. Definitionen av vad som utgör ett autonomt vapen är redan omtvistad, så det kan finnas olika uppfattningar om hur man ska omsätta dessa principer i praktiken.
Varför behöver teknologer involveras?
AI-forskare måste vara en del av dessa samtal, eftersom deras tekniska expertis är avgörande för att utforma politiska val. Vi måste ta hänsyn till AI-bias, transparens, förklarabarhet, säkerhet och andra problem. AI-teknik har dessa dubbla funktioner idag – den är kraftfull men har också många sårbarheter, ungefär som datorer och cyberrisker. Tyvärr verkar regeringar ha fått den första delen av det budskapet (AI är kraftfullt) men inte den andra (det kommer med risker). AI-forskare kan hjälpa regeringar och militärer att bättre förstå varför de är så oroade över konsekvenserna av att beväpna denna teknik. För att göra det fallet effektivt måste AI-forskare vara en del av en konstruktiv dialog.
Vad tycker du om det senaste löftet mot autonoma vapen, organiserat av Future of Life Institute?
Det är inte den första uppmaningen till handling från AI-forskare; den bygger på tidigare öppna brev om autonoma vapen i 2015 och 2017 . Men dessa bokstäver är en symbolisk gest och har förmodligen minskande avkastning i sin effektivitet. Länder har också diskuterat autonoma vapen i FN sedan 2014, och trycket från AI-forskare lägger till en viktig dimension till samtalet men har ännu inte påverkat stora militära makter för att stödja ett omfattande förbud. Det skulle vara mer effektfullt att ha fler AI-forskare som deltar i FN:s möten och hjälper beslutsfattare att förstå varför AI-forskare är så oroliga.
Hur är det med Googles beslut att inte förnya sitt kontrakt med Pentagon?
Det var lite förvånande eftersom Maven faktiskt inte involverade autonoma vapen eller inriktning och verkade vara kompatibel med Googles nyligen släppta AI-principer . Men konkurrensen om bästa AI-talanger är hård, och jag misstänker att Google inte kan riskera att några av sina bästa ingenjörer avgår i protest.
Tror du att sådana gester kommer att bromsa utvecklingen av autonoma vapen?
När det kommer till Maven var Google inte inblandat i att bygga ens människokontrollerade vapen, än mindre autonoma vapen, så det finns ingen direkt koppling dit. Pantbrevet är givetvis direkt riktat mot autonoma vapen. Men jag tror inte att heller kommer att ha någon större effekt på hur militärer införlivar AI och autonomi i sina vapen, eftersom vapen sannolikt kommer att byggas av försvarsentreprenörer. Om stora teknikföretag som Google väljer bort att arbeta med militärer, kan det bromsa inkorporeringen av AI-teknik i viktiga stödfunktioner som dataanalys, vilket Maven gjorde. Men så småningom kommer andra företag att kliva in för att fylla luckan. Vi har redan sett Övrig företag säga ganska offentligt att de vill arbeta med militären.
Kan dessa ansträngningar också få oavsiktliga konsekvenser?
Att måla ut många legitima användningar av AI som oacceptabelt kan ytterligare driva en kil mellan de tekniska och politiska gemenskaperna och göra en rimlig diskurs svårare. Ingenjörer bör absolut avstå från att arbeta med projekt som de inte kan stödja, men när dessa personliga motiv övergår till att pressa andra från att arbeta med viktiga och legitima nationella säkerhetsapplikationer, skadar de den allmänna säkerheten och inkräktar på andra ingenjörers rättigheter att fullfölja sitt eget samvete. Demokratiska länder kommer att behöva använda AI-teknik för en mängd viktiga och lagliga nationell säkerhet syften – underrättelseverksamhet, kontraterrorism, gränssäkerhet, cybersäkerhet och försvar.
Är USA redan i en kapprustning med AI-vapen med Kina?
Kina har offentligt deklarerat sin avsikt att bli den global ledare inom artificiell intelligens till 2030 och ökar sin forskning och rekryterar topptalanger från hela världen. Kinas modell för militär-civil fusion innebär också att AI-forskning lätt kommer att flöda från teknikföretag till militären utan den typ av barriärer som vissa Google-anställda siktar på att bygga upp i USA. Kina har redan börjat att lägga grunden för en AI-bemyndigad teknoövervakningsstat.
Om AI-forskares taktik bara lyckas bromsa införandet av AI-verktyg i öppna, demokratiska samhällen som värdesätter etiskt beteende, skulle deras arbete kunna bidra till att inleda en framtid där den mest kraftfulla tekniken finns i händerna på regimer som bryr sig minst om etik och rättsstatsprincipen.
I din bok påpekar du att det kan vara knepigt att definiera autonomi. Kommer inte detta att komplicera diskussionen om militär användning av AI?
Författarna till det senaste löftet mot autonoma vapen protesterar mot autonoma vapen som skulle döda en person men erkänner att vissa typer av autonoma system skulle behövas för att försvara sig mot andra sådana vapen. Det är det grå området där autonomi kan behövas för att försvara sig mot vapen och en person fortfarande är ombord, som när man riktar in sig på ett stridsflygplan eller ubåt, där den verkliga utmaningen ligger. Att balansera konkurrerande mål är inte enkelt, och beslutsfattare kommer att ställas inför verkliga val när de anammar denna teknik.
AI-ingenjörer kommer att vara mest effektiva när det gäller att forma dessa val om de deltar i en konstruktiv, kontinuerlig dialog med beslutsfattare, snarare än att välja bort. AI-forskare som bryr sig om hur tekniken används kommer att bli mer effektiva om de går bortom presskampanjer och börjar hjälpa till att utbilda beslutsfattare om AI-teknik idag och dess begränsningar.