Försvarsdepartementet utfärdar AI-etiska riktlinjer för tekniska entreprenörer

Ms Tech | Getty

2018, när Google-anställda fick reda på deras företags engagemang i Projekt Maven , en kontroversiell amerikansk militär ansträngning för att utveckla AI för att analysera övervakningsvideo, var de inte nöjda. Tusentals protesterade. Vi anser att Google inte bör vara i krigsbranschen, skrev de i en brev till företagets ledning . Ett dussintal anställda sa upp sig. Google förnyade inte kontraktet 2019.

Project Maven existerar fortfarande, och andra teknikföretag, inklusive Amazon och Microsoft, har sedan dess tagit Googles plats. Ändå vet det amerikanska försvarsdepartementet att det har ett förtroendeproblem. Det är något den måste ta itu med för att behålla tillgången till den senaste tekniken, särskilt AI – vilket kommer att kräva samarbete med Big Tech och andra icke-militära organisationer.

Relaterad berättelse

Amerikanska myndigheter planerar att öka sin användning av teknik för ansiktsigenkänning

En ny undersökning visar att de kontroversiella systemen är redo att spela en ännu större roll i federal verksamhet.

I ett försök att främja transparens har Defense Innovation Unit, som tilldelar DoD-kontrakt till företag, släppt vad den kallar riktlinjer för ansvarsfull artificiell intelligens som det kommer att kräva att tredjepartsutvecklare använder när de bygger AI för militären, oavsett om den AI är för ett HR-system eller måligenkänning.

Riktlinjerna tillhandahåller en steg-för-steg-process för företag att följa under planering, utveckling och driftsättning. De inkluderar procedurer för att identifiera vem som kan använda tekniken, vem som kan skadas av den, vilka skadorna kan vara och hur de kan undvikas – både innan systemet byggs och när det är igång.

Det finns inga andra riktlinjer som finns, varken inom DoD eller, ärligt talat, USA:s regering, som går in på denna detaljnivå, säger Bryce Goodman vid Defense Innovation Unit, som var medförfattare till riktlinjerna.

Arbetet kan förändra hur AI utvecklas av den amerikanska regeringen, om DoD:s riktlinjer antas eller anpassas av andra avdelningar. Goodman säger att han och hans kollegor har gett dem till NOAA och Department of Transportation och pratar med etikgrupper inom justitiedepartementet, General Services Administration och IRS.

Syftet med riktlinjerna är att se till att tekniska entreprenörer håller sig till DoD:s befintliga etiska principer för AI , säger Goodman. DoD tillkännagav dessa principer förra året, efter en tvåårig studie beställd av Defense Innovation Board, en rådgivande panel av ledande teknikforskare och affärsmän som inrättades 2016 för att föra gnistan från Silicon Valley till den amerikanska militären. Styrelsen leddes av tidigare Google-chefen Eric Schmidt fram till september 2020, och dess nuvarande medlemmar inkluderar Daniela Rus, chef för MIT:s datavetenskap och artificiell intelligens Lab.

Ändå ifrågasätter vissa kritiker om verket lovar någon meningsfull reform.

Under studien rådfrågade styrelsen en rad experter, inklusive högljudda kritiker av militärens användning av AI, som medlemmar av Campaign for Killer Robots och Meredith Whittaker, en före detta Google-forskare som hjälpte till att organisera Project Maven-protesterna.

Whittaker, som nu är fakultetschef vid New York Universitys AI Now Institute, var inte tillgänglig för kommentarer. Men enligt Courtney Holsworth, en talesman för institutet, deltog hon vid ett möte, där hon bråkade med ledande medlemmar i styrelsen, inklusive Schmidt, om riktningen det tog. Hon rådfrågades aldrig på ett meningsfullt sätt, säger Holsworth. Att påstå att hon var skulle kunna läsas som en form av etiktvätt, där förekomsten av avvikande röster under en liten del av en lång process används för att hävda att ett givet utfall har ett brett stöd från relevanta intressenter.

Om DoD inte har ett brett buy-in, kan dess riktlinjer ändå hjälpa till att bygga förtroende? Det kommer att finnas människor som aldrig kommer att vara nöjda med någon uppsättning etiska riktlinjer som DoD producerar eftersom de tycker att idén är paradoxal, säger Goodman. Det är viktigt att vara realistisk om vad riktlinjer kan och inte kan göra.

Riktlinjerna säger till exempel ingenting om användningen av dödliga autonoma vapen, en teknik som vissa förkämpar hävdar borde förbjudas. Men Goodman påpekar att bestämmelser som styr sådan teknik bestäms högre upp i kedjan. Syftet med riktlinjerna är att göra det lättare att bygga AI som uppfyller dessa regler. Och en del av den processen är att tydliggöra eventuella problem som tredjepartsutvecklare har. En giltig tillämpning av dessa riktlinjer är att besluta att inte följa ett visst system, säger Jared Dunnmon vid DIU, som var medförfattare till dem. Du kan bestämma att det inte är en bra idé.

Relaterad berättelse

Varför AI-forskare borde ompröva protesterande inblandning i militära projekt En rådgivare från försvarsdepartementet föreslår att konstruktivt engagemang kommer att vara mer framgångsrikt än att välja bort.

Margaret Mitchell, AI-forskare vid Kramar ansikte , som medledde Googles etiska AI-team med Timnit Gebru innan båda var tvingas ut ur företaget , håller med om att etiska riktlinjer kan bidra till att göra ett projekt mer transparent för dem som arbetar med det, åtminstone i teorin. Mitchell hade en plats på första raden under protesterna mot Google. En av de viktigaste kritikerna som anställda hade var att företaget lämnade över kraftfull teknik till militären utan skyddsräcken, säger hon: Folk slutade med att lämna specifikt på grund av bristen på någon form av tydliga riktlinjer eller transparens.

För Mitchell är problemen inte entydiga. Jag tror att vissa personer i Google definitivt kände att allt arbete med militären är dåligt, säger hon. Jag är inte en av de människorna. Hon har pratat med DoD om hur det kan samarbeta med företag på ett sätt som upprätthåller deras etiska principer.

Hon tror att det är en bit kvar innan DoD får det förtroende den behöver. Ett problem är att en del av formuleringarna i riktlinjerna är öppna för tolkning. Till exempel säger de: Avdelningen kommer att vidta medvetna åtgärder för att minimera oavsiktlig fördom i AI-kapacitet. Hur är det med avsedd partiskhet? Det kan tyckas vara tråkigt, men skillnader i tolkning beror på denna typ av detaljer.

Det är svårt att övervaka användningen av militär teknik eftersom det vanligtvis kräver säkerhetsgodkännande. För att ta itu med detta skulle Mitchell vilja se DoD-kontrakt tillhandahålla oberoende revisorer med nödvändig tillstånd, som kan försäkra företag om att riktlinjerna verkligen följs. Medarbetarna behöver viss garanti för att riktlinjer tolkas som de förväntar sig, säger hon.

Dölj