Vi läste tidningen som tvingade bort Timnit Gebru från Google. Så här står det.

Företagets stjärna etikforskare lyfte fram riskerna med stora språkmodeller, som är nyckeln till Googles verksamhet.





  • Karen Hao arkivsida
4 december 2020 Timnit Gebru

med tillstånd av Timnit Gebru

På kvällen onsdagen den 2 december meddelade Timnit Gebru, medledaren för Googles etiska AI-team. via Twitter att företaget hade tvingat ut henne.

Gebru, en allmänt respekterad ledare inom AI-etikforskning, är känd för att vara medförfattare ett banbrytande papper som visade att ansiktsigenkänning är mindre exakt när det gäller att identifiera kvinnor och färgade personer, vilket innebär att användningen av det kan leda till diskriminering mot dem. Hon var också med och grundade Black in AI-affinitetsgruppen, och kämpar för mångfald i teknikindustrin . Teamet som hon hjälpte till att bygga på Google är ett av de mest mångsidiga inom AI och inkluderar många ledande experter i sin egen rätt. Kamrater på området avundades det för att ha producerat kritiskt arbete som ofta utmanade vanliga AI-praxis.



TILL serie tweets , läckta mejl , och mediaartikel visade att Gebrus utträde var kulmen på en konflikt om en annan tidning som hon var medförfattare till. Jeff Dean, chefen för Google AI, berättade för kollegor i ett internt e-postmeddelande (vilket han har gjort sedan dess lägga online ) att tidningen inte uppfyllde vårt krav för publicering och att Gebru hade sagt att hon skulle avgå om inte Google uppfyllde ett antal villkor som man inte var villig att uppfylla. Gebru twittrade det hon hade bett om att få förhandla fram ett sista datum för sin anställning efter att hon kommit tillbaka från semestern. Hon blev avskuren från sitt företags e-postkonto innan hon återvände.

Online hävdar många andra ledare inom området för AI-etik att företaget drev ut henne på grund av de obekväma sanningar som hon avslöjade om en kärnlinje i sin forskning – och kanske dess slutresultat. Mer än 1 400 Google-anställda och 1 900 andra supportrar har också undertecknade ett protestbrev .

Många detaljer om det exakta händelseförloppet som ledde fram till Gebrus avgång är ännu inte klara; både hon och Google har avböjt att kommentera utöver sina inlägg på sociala medier. Men MIT Technology Review fick en kopia av forskningsrapporten från en av medförfattarna, Emily M. Bender, professor i beräkningslingvistik vid University of Washington. Även om Bender bad oss ​​att inte publicera själva tidningen eftersom författarna inte ville att ett så tidigt utkast skulle cirkulera online, ger det en viss inblick i de frågor Gebru och hennes kollegor ställde om AI som kan orsaka Google oro.



Om farorna med stokastiska papegojor: Kan språkmodeller vara för stora? beskriver riskerna med stora språkmodeller – AI:er som tränas på häpnadsväckande mängder textdata. Dessa har vuxit allt populärare -och allt större – under de senaste tre åren. De är nu utomordentligt bra, under rätt förhållanden, på att producera vad som ser ut som övertygande, meningsfull ny text – och ibland på att uppskatta mening utifrån språket. Men, säger inledningen till uppsatsen, vi frågar om man har lagt ner tillräckligt med tanke på de potentiella riskerna som är förknippade med att utveckla dem och strategier för att mildra dessa risker.

Pappret

Uppsatsen, som bygger på andra forskares arbete, presenterar historien om bearbetning av naturliga språk, en översikt över fyra huvudsakliga risker med stora språkmodeller och förslag på vidare forskning. Eftersom konflikten med Google verkar handla om riskerna har vi fokuserat på att sammanfatta dem här.

Miljö- och finansiella kostnader

Att träna stora AI-modeller förbrukar mycket datorkraft, och därmed mycket elektricitet. Gebru och hennes medförfattare hänvisar till en artikel från 2019 från Emma Strubell och hennes medarbetare om koldioxidutsläppen och finansiella kostnader av stora språkmodeller. Den fann att deras energiförbrukning och koldioxidavtryck har exploderat sedan 2017, eftersom modeller har matats med mer och mer data.



Strubells studie fann att träning av en språkmodell med en viss typ av NAS-metod (neural architecture search) skulle ha producerat motsvarande 626 155 pund (284 ton) koldioxid - ungefär livstidsproduktionen för fem genomsnittliga amerikanska bilar. Utbilda en version av Googles språkmodell, BERT, som underbygger företagets sökmotor , producerade 1 438 pund CO2-ekvivalenter enligt Strubells uppskattning - nästan samma som en tur-och-retur-flygning mellan New York City och San Francisco. Dessa siffror bör ses som minimum, kostnaden för att träna en modell en gång. I praktiken tränas och omskolas modeller många gånger under forskning och utveckling.

Gebrus utkast till papper påpekar att de stora resurser som krävs för att bygga och upprätthålla sådana stora AI-modeller innebär att de tenderar att gynna rika organisationer, medan klimatförändringarna drabbar marginaliserade samhällen hårdast. Det är dags för forskare att prioritera energieffektivitet och kostnader för att minska negativ miljöpåverkan och orättvis tillgång till resurser, skriver de.

Massiv data, outgrundliga modeller

Stora språkmodeller tränas också på exponentiellt ökande textmängder. Det betyder att forskare har försökt samla in all data de kan från internet, så det finns en risk att rasistiskt, sexistiskt och på annat sätt kränkande språk hamnar i träningsdatan.



En AI-modell som lärs ut att se rasistiskt språk som normalt är uppenbarligen dåligt. Forskarna pekar dock på ett par mer subtila problem. En är att förändringar i språket spelar en viktig roll i social förändring; rörelserna MeToo och Black Lives Matter har till exempel försökt etablera en ny antisexistisk och antirasistisk vokabulär. En AI-modell tränad på stora delar av internet kommer inte att anpassas till nyanserna i detta ordförråd och kommer inte att producera eller tolka språk i linje med dessa nya kulturella normer.

Det kommer också att misslyckas med att fånga språket och normerna för länder och folk som har mindre tillgång till internet och därmed ett mindre språkligt fotavtryck online. Resultatet är att AI-genererat språk kommer att homogeniseras, vilket återspeglar praxis i de rikaste länderna och samhällena.

Dessutom, eftersom träningsdatauppsättningarna är så stora, är det svårt att granska dem för att kontrollera dessa inbäddade fördomar. En metod som förlitar sig på datauppsättningar som är för stora för att dokumentera är därför i sig riskabel, avslutar forskarna. Medan dokumentation möjliggör potentiell ansvarsskyldighet, [...] vidmakthåller odokumenterad utbildningsdata skada utan att behöva göra något åt ​​det.

Forskningsalternativkostnader

Forskarna sammanfattar den tredje utmaningen som risken för missriktad forskningsinsats. Även om de flesta AI-forskare erkänner att stora språkmodeller faktiskt inte förstå språk och är bara utmärkta på manipulera Det kan Big Tech tjäna pengar på modeller som manipulerar språket mer exakt, så det fortsätter att investera i dem. Denna forskningssatsning för med sig en alternativkostnad, skriver Gebru och hennes kollegor. Det läggs inte lika mycket ansträngning på att arbeta med AI-modeller som kanske uppnår förståelse, eller som uppnår goda resultat med mindre, mer noggrant kurerade datamängder (och därmed också använder mindre energi).

Illusioner av mening

Det sista problemet med stora språkmodeller, säger forskarna, är att eftersom de är så bra på att efterlikna verkligt mänskligt språk, är det lätt att använda dem för att lura människor. Det har förekommit några högprofilerade fall, som t.ex högskolestudent som skrev ut AI-genererade självhjälps- och produktivitetsråd på en blogg som blev viral.

Farorna är uppenbara: AI-modeller kan användas för att generera desinformation om ett val eller covid-19-pandemin, till exempel. De kan också gå fel oavsiktligt när de används för maskinöversättning. Forskarna tar upp ett exempel: 2017, Facebook felöversatt en palestinsk mans post, som sa god morgon på arabiska, som attackerade dem på hebreiska, vilket ledde till att han arresterades.

Varför det spelar roll

Gebru och Benders uppsats har sex medförfattare, varav fyra är Google-forskare. Bender bad att undvika att avslöja deras namn av rädsla för återverkningar. (Bender, däremot, är en fast professor: jag tror att detta understryker värdet av akademisk frihet, säger hon.)

Tidningens mål, säger Bender, var att göra en inventering av landskapet för aktuell forskning inom bearbetning av naturliga språk. Vi arbetar i en skala där människorna som bygger sakerna faktiskt inte kan ta hand om datan, sa hon. Och eftersom uppsidorna är så uppenbara är det särskilt viktigt att ta ett steg tillbaka och fråga oss själva, vilka är de möjliga nackdelarna? … Hur får vi fördelarna med detta samtidigt som vi minskar risken?

I sitt interna mejl sa Dean, Googles AI-chef, att en anledning till att tidningen inte uppfyllde vår bar var att den ignorerade för mycket relevant forskning. Specifikt sa han att det inte nämnde nyare arbete om hur man kan göra stora språkmodeller mer energieffektiva och mildra problem med partiskhet.

De sex kollaboratörerna drog dock på en bred bredd av stipendier. Tidningens citeringslista, med 128 referenser, är anmärkningsvärt lång. Det är den sortens arbete som ingen enskild eller ens par författare kan utföra, sa Bender. Det krävdes verkligen detta samarbete.

Den version av artikeln vi såg nickar också till flera forskningsinsatser för att minska storleken och beräkningskostnaderna för stora språkmodeller, och för att mäta modellers inbäddade bias. Den hävdar dock att dessa ansträngningar inte har varit tillräckliga. Jag är väldigt öppen för att se vilka andra referenser vi borde inkludera, sa Bender.

Nicolas Le Roux, en Google AI-forskare på Montreal-kontoret, senare noterat på Twitter att resonemanget i Deans mejl var ovanligt. Mina bidrag kontrollerades alltid för avslöjande av känsligt material, aldrig för kvaliteten på litteraturgranskningen, sa han.

Deans mejl säger också att Gebru och hennes kollegor gav Google AI bara en dag för en intern granskning av tidningen innan de skickade in den till en konferens för publicering. Han skrev att vårt mål är att konkurrera med peer-reviewade tidskrifter när det gäller rigoriteten och omtänksamheten i hur vi granskar forskning innan publicering.

Bender noterade att trots det skulle konferensen fortfarande sätta uppsatsen igenom en omfattande granskningsprocess: Stipendium är alltid en konversation och alltid ett pågående arbete, sa hon.

Andra, inklusive William Fitzgerald, en tidigare Google PR-chef, har ytterligare tvivel på Deans påstående.

Google var banbrytande för mycket av den grundläggande forskning som sedan dess lett till den senaste explosionen av stora språkmodeller. Google AI var först med att uppfinna Transformator språkmodell 2017 som fungerar som grunden för företagets senare modell BERT, och OpenAI:s GPT-2 och GPT-3. BERT, som nämnts ovan, driver nu även Google Search, företagets kassako.

Bender oroar sig för att Googles agerande kan skapa en kylande effekt på framtida AI-etikforskning. Många av de främsta experterna inom AI-etik arbetar på stora teknikföretag eftersom det är där pengarna finns. Det har varit fördelaktigt på många sätt, säger hon. Men vi slutar med ett ekosystem som kanske har incitament som inte är de allra bästa för vetenskapens framsteg för världen.

Uppdatering (7 december): Ytterligare detaljer har lagts till för att klargöra miljökostnaderna för stora språkmodeller.

Dölj