Sluta prata om AI-etik. Det är dags att prata om makt.

Vladan Joler

I början av 1900-talet tog en tysk häst Europa med storm. Smart Hans, som han var känd, kunde till synes utföra alla möjliga trick som tidigare var begränsade till människor. Han kunde lägga till och subtrahera siffror, tala om tid och läsa en kalender, till och med stava ord och meningar – allt genom att stämpla ut svaret med en hov. A var en kran; B var två; 2+3 var fem. Han var en internationell sensation – och ett bevis, trodde många, att djur kunde läras att resonera lika bra som människor.

Problemet var att smarta Hans inte riktigt gjorde någon av dessa saker. Som utredarna senare upptäckte hade hästen lärt sig att ge rätt svar genom att observera förändringar i frågeställarens hållning, andning och ansiktsuttryck. Om frågeställaren stod för långt bort skulle Hans förlora sina förmågor. Hans intelligens var bara en illusion.

Den här historien används som en varning för AI-forskare när de utvärderar kapaciteten hos deras algoritmer. Ett system är inte alltid så intelligent som det verkar. Var noga med att mäta den ordentligt.

MED TILLSTÅND AV KATE CRAWFORD

Men i hennes nya bok, Atlas av AI , vänder den ledande AI-forskaren Kate Crawford denna moral på huvudet. Problemet, skriver hon, var med hur människor definierade Hans prestationer: Hans utförde redan anmärkningsvärda bedrifter av kommunikation mellan arter, offentlig prestation och stort tålamod, men dessa erkändes inte som intelligens.

Så börjar Crawfords utforskning av artificiell intelligenss historia och dess inverkan på vår fysiska värld. Varje kapitel försöker utöka vår förståelse av tekniken genom att avslöja hur snävt vi har sett och definierat den.

Crawford gör detta genom att ta oss med på en global resa, från gruvorna där de sällsynta jordartsmetallerna som används i datortillverkning utvinns till Amazonas uppfyllelsecenter där människokroppar har mekaniserats i företagets obevekliga strävan efter tillväxt och vinst. I kapitel ett berättar hon om att hon körde en skåpbil från hjärtat av Silicon Valley till ett litet gruvsamhälle i Nevadas Clayton Valley. Där undersöker hon de destruktiva miljömetoder som krävs för att få fram det litium som driver världens datorer. Det är en kraftfull illustration av hur nära dessa två platser är i det fysiska rummet men ändå hur långt ifrån varandra de är i rikedom.

Genom att grunda sin analys i sådana fysiska undersökningar gör Crawford bort den eufemistiska inramningen att artificiell intelligens helt enkelt är effektiv programvara som körs i molnet. Hennes närbild, levande beskrivningar av jorden och arbetet AI bygger på, och den djupt problematiska historien bakom den, gör det omöjligt att fortsätta tala om tekniken rent abstrakt.

I kapitel fyra, till exempel, tar Crawford oss ​​med på en annan resa – den här genom tiden snarare än rummet. För att förklara historien om fältets besatthet av klassificering besöker hon Penn Museum i Philadelphia, där hon stirrar på rader och rader av mänskliga skallar.

Skallarna samlades in av Samuel Morton, en amerikansk kraniolog från 1800-talet, som trodde att det var möjligt att objektivt dela upp dem genom sina fysiska mått i världens fem raser: afrikansk, indian, kaukasisk, malaysisk och mongolisk. Crawford drar paralleller mellan Mortons arbete och de moderna AI-systemen som fortsätter att klassificera världen i fasta kategorier.

Dessa klassificeringar är långt ifrån objektiva, menar hon. De inför en social ordning, naturaliserar hierarkier och förstorar ojämlikheter. Sett genom detta objektiv kan AI inte längre betraktas som en objektiv eller neutral teknik.

Under sin 20-åriga karriär har Crawford brottats med de verkliga konsekvenserna av storskaliga datasystem, maskininlärning och artificiell intelligens. 2017, tillsammans med Meredith Whittaker, grundade hon forskningsinstitutet AI Now som en av de första organisationerna som ägnade sig åt att studera de sociala konsekvenserna av dessa teknologier. Hon är också nu professor vid USC Annenberg, i Los Angeles, och den första besöksstolen i AI och rättvisa vid École Normale Supérieure i Paris, samt senior huvudforskare vid Microsoft Research.

För fem år sedan, säger Crawford, arbetade hon fortfarande med att introducera tanken att data och AI inte var neutrala. Nu har samtalet utvecklats, och AI-etiken har blommat ut till sitt eget område. Hon hoppas att hennes bok kommer att hjälpa den att mogna ännu mer.

Jag satte mig ner med Crawford för att prata om hennes bok.

Följande har redigerats för längd och tydlighet.

Varför valde du att göra det här bokprojektet, och vad betyder det för dig?

Crawford: Så många av de böcker som har skrivits om artificiell intelligens talar egentligen bara om väldigt snäva tekniska landvinningar. Och ibland skriver de om de stora männen inom AI, men det är egentligen allt vi har haft när det gäller att verkligen kämpa med vad artificiell intelligens är.

Jag tror att det har skapat denna mycket skeva förståelse av artificiell intelligens som rent tekniska system som på något sätt är objektiva och neutrala, och - som Stuart Russell och Peter Norvig säger i deras lärobok —som intelligenta agenter som fattar det bästa beslutet av alla möjliga åtgärder.

Jag ville göra något helt annat: att verkligen förstå hur artificiell intelligens skapas i vid bemärkelse. Detta innebär att titta på naturresurserna som driver den, energin som den förbrukar, den dolda arbetskraften längs hela försörjningskedjan och de enorma mängder data som extraheras från varje plattform och enhet som vi använder varje dag.

Relaterad berättelse

Deepfake Amazon-arbetare sår förvirring på Twitter. Det är inte problemet.

Berättelserna är sannolikt bara parodier, inte en del av en olycksbådande företagsstrategi, men de illustrerar den typ av sak som kan hända en dag.

Genom att göra det ville jag verkligen öppna upp denna förståelse av AI som varken artificiell eller intelligent. Det är motsatt av konstgjorda. Det kommer från de mest materiella delarna av jordskorpan och från mänskliga kroppar som arbetar, och från alla artefakter som vi producerar och säger och fotograferar varje dag. Inte heller är det intelligent. Jag tror att det finns den här stora arvsynden i fältet, där människor antog att datorer på något sätt är som mänskliga hjärnor och om vi bara tränar dem som barn kommer de långsamt att växa till dessa övernaturliga varelser.

Det är något som jag tycker är riktigt problematiskt – att vi har köpt den här idén om intelligens när vi i själva verket bara tittar på former av statistisk analys i stor skala som har lika många problem som de data som den ges.

Var det direkt uppenbart för dig att det är så folk borde tänka om AI? Eller var det en resa?

Det har absolut varit en resa. Jag skulle säga att en av vändpunkterna för mig var tillbaka 2016, när jag startade ett projekt som heter Anatomi av ett AI-system med Vladan Joler. Vi träffades på en konferens specifikt om röstaktiverad AI, och vi försökte effektivt rita vad som krävs för att få ett Amazon Echo att fungera. Vilka är komponenterna? Hur extraherar den data? Vilka är lagren i datapipelinen?

Vi insåg, ja - faktiskt, för att förstå det måste du förstå var komponenterna kommer ifrån. Var producerades chipsen? Var är gruvorna? Var smälts det? Var finns logistik- och leveranskedjans vägar?

Slutligen, hur spårar vi slutet av livet för dessa enheter? Hur ser vi på var e-avfallsdipparna finns på platser som Malaysia och Ghana och Pakistan? Det vi slutade med var detta mycket tidskrävande tvååriga forskningsprojekt för att verkligen spåra dessa materialförsörjningskedjor från vagga till grav.

När du börjar titta på AI-system i den större skalan, och på den längre tidshorisonten, går du bort från dessa mycket snäva redogörelser för AI-rättvisa och etik till att säga: det här är system som producerar djupgående och varaktiga geomorfa förändringar på vår planet, som samt öka de former av arbetsojämlikhet som vi redan har i världen.

Så det fick mig att inse att jag var tvungen att gå från en analys av bara en enhet, Amazon Echo, till att tillämpa den här typen av analys på hela branschen. Det var den stora uppgiften för mig, och det är därför Atlas av AI tog fem år att skriva. Det finns ett sådant behov av att faktiskt se vad dessa system verkligen kostar oss, eftersom vi så sällan gör arbetet med att faktiskt förstå deras sanna planetära implikationer.

Det andra jag skulle säga som har varit en verklig inspiration är det växande fältet av forskare som ställer dessa större frågor kring arbete, data och ojämlikhet. Här tänker jag på Ruha Benjamin, Safiya Noble, Mar Hicks, Julie Cohen, Meredith Broussard, Simone Brown – listan fortsätter. Jag ser detta som ett bidrag till den kunskapsmassan genom att ta in perspektiv som kopplar samman miljö, arbetsrätt och dataskydd.

Du reser mycket genom hela boken. Nästan varje kapitel börjar med att du faktiskt ser dig omkring på din omgivning. Varför var detta viktigt för dig?

Det var ett mycket medvetet val att grunda en analys av AI på specifika platser, för att flytta bort från dessa abstrakta ingenstanser av algoritmiskt utrymme, där så många av debatterna kring maskininlärning sker. Och förhoppningsvis belyser det det faktum att när vi inte gör det, när vi bara pratar om dessa ingenstans utrymmen av algoritmisk objektivitet, så är det också ett politiskt val, och det har konsekvenser.

När det gäller att sammanföra platserna är det verkligen därför jag började tänka på den här metaforen om en atlas, eftersom atlaser är ovanliga böcker. Det är böcker som du kan öppna upp och titta på en hel kontinents omfattning, eller så kan du zooma in och titta på en bergskedja eller en stad. De ger dig dessa förändringar i perspektiv och förändringar i skala.

Det är denna underbara linje som jag använder i boken från fysikern Ursula Franklin. Hon skriver om hur kartor förenar det kända och det okända i dessa metoder för kollektiv insikt. Så för mig var det verkligen att dra på den kunskap jag hade, men också att tänka på de faktiska platserna där AI konstrueras bokstavligen från stenar och sand och olja.

Vilken typ av feedback har boken fått?

En av de saker som jag har blivit förvånad över i de tidiga svaren är att folk verkligen känner att den här typen av perspektiv var försenad. Det finns ett ögonblick av erkännande att vi behöver ha en annan sorts konversation än de vi har haft under de senaste åren.

Vi har spenderat alldeles för mycket tid på att fokusera på smala tekniska korrigeringar för AI-system och alltid centrera tekniska svar och tekniska svar. Nu måste vi brottas med systemens miljöavtryck. Vi måste brottas med de mycket verkliga former av arbetskraftsexploatering som har förekommit i konstruktionen av dessa system.

Och vi börjar nu också se det giftiga arvet av vad som händer när du bara river ut så mycket data från internet som du kan, och bara kallar det för jordsanning. Den typen av problematisk inramning av världen har orsakat så många skador, och som alltid har dessa skador upplevts mest av allt av samhällen som redan var marginaliserade och inte upplevt fördelarna med dessa system.

Vad hoppas du att folk ska börja göra annorlunda?

Jag hoppas att det kommer att bli mycket svårare att ha dessa återvändsgrändskonversationer där termer som etik och AI för gott har varit så fullständigt denaturerad av någon egentlig mening . Jag hoppas att den drar åt sidan och säger, låt oss faktiskt titta på vem som styr spakarna i dessa system. Det innebär att man går bort från att bara fokusera på saker som etiska principer till att prata om makt.

Hur går vi bort från denna etiska inramning?

Relaterad berättelse

Orolig för ditt företags AI-etik? Dessa startups är här för att hjälpa. Ett växande ekosystem av ansvarsfulla AI-satsningar lovar att hjälpa organisationer att övervaka och fixa sina AI-modeller.

Om det har funnits en verklig fälla i tekniksektorn under det senaste decenniet, är det att teorin om förändring alltid har centrerat teknik. Det har alltid varit, om det finns ett problem finns det en teknisk lösning för det. Och först nyligen börjar vi se att det bredda ut sig till Åh, ja, om det finns ett problem, då reglering kan fixa det. Politikerna har en roll.

Men jag tror att vi måste bredda det ytterligare. Vi måste också säga: Var är det civila samhällets grupper, var är aktivisterna, var är förespråkarna som tar upp frågor om klimaträttvisa, arbetsrätt och dataskydd? Hur tar vi med dem i dessa diskussioner? Hur inkluderar vi drabbade samhällen?

Med andra ord, hur gör vi detta till en mycket djupare demokratisk konversation kring hur dessa system redan påverkar livet för miljarder människor på i första hand oansvariga sätt som lever utanför reglering och demokratisk tillsyn?

I den meningen försöker den här boken avcentrera tekniken och börjar ställa större frågor kring: Vilken typ av värld vill vi leva i?

Vilken typ av värld gör du vill bo i? Vilken typ av framtid drömmer du om?

Jag vill se de grupper som har gjort det riktigt hårda arbetet med att ta itu med frågor som klimaträttvisa och arbetsrättigheter samlas och inse att dessa tidigare ganska separata fronter för social förändring och rasrättvisa verkligen har delat oro och en delad grund för vilken att koordinera och organisera.

För vi tittar på en väldigt kort tidshorisont här. Vi har att göra med en planet som redan är under svår påfrestning. Vi tittar på en djupgående koncentration av makt till utomordentligt få händer. Du skulle verkligen behöva gå tillbaka till järnvägarnas tidiga dagar för att se en annan industri som är så koncentrerad, och nu kan man till och med säga att tekniken har gått om det.

Så vi måste brottas med sätt på vilka vi kan pluralisera våra samhällen och ha större former av demokratisk ansvarighet. Och det är ett kollektivt agerande problem. Det är inte ett individuellt valproblem. Det är inte som att vi väljer det mer etiska tekniska varumärket från hyllan. Det är att vi måste hitta sätt att arbeta tillsammans med dessa utmaningar i planetarisk skala.

Uppdatering : Beskrivningen av AI Now-institutet har förtydligats.

Dölj