Inne i kampen för att återta AI från Big Techs kontroll

På bilden i övre raden från vänster: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Andra raden: Joy Buolamwini. Tredje raden från vänster: William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru trodde aldrig a vetenskaplig uppsats skulle göra henne så mycket besvär.

2020, som medledare för Googles etiska AI-team, hade Gebru nått ut till Emily Bender , en lingvistikprofessor vid University of Washington, och de två bestämde sig för att samarbeta om forskning om den oroande riktningen för artificiell intelligens. Gebru ville identifiera riskerna stora språkmodeller , ett av de mest fantastiska senaste genombrotten inom AI-forskning. Modellerna är algoritmer tränade på svindlande mängder text. Under rätt förutsättningar kan de komponera vad som ser ut som övertygande prosastycken.

Den här historien var en del av vårt julinummer 2021

• Se resten av frågan
• Prenumerera

Under några år hade teknikföretag tävlat om att bygga större versioner och integrera dem i konsumentprodukter. Google, som uppfann tekniken, använde redan en för att förbättra sökresultatens relevans. OpenAI tillkännagav den största, kallad GPT-3 , i juni 2020 och licensierade den exklusivt till Microsoft några månader senare.

Gebru var orolig för hur snabbt tekniken togs i bruk. I tidningen som hon slutade skriva med Bender och fem andra beskrev hon de möjliga farorna. Modellerna var enormt dyra att skapa – både miljömässigt (de kräver enorma mängder beräkningskraft) och ekonomiskt; de tränades ofta på det giftiga och kränkande språket på internet; och de hade kommit att dominera forskningen inom språklig AI, genom att armbåga fram lovande alternativ.

Liksom andra befintliga AI-tekniker förstår modellerna faktiskt inte språk. Men eftersom de kan manipulera det för att hämta textbaserad information för användare eller skapa naturliga samtal, kan de paketeras i produkter och tjänster som tjänar mycket pengar på teknikföretag.

Den november lämnade Gebru in tidningen till en konferens. Strax efter bad Googles chefer henne att dra tillbaka det, och när hon vägrade sparkade de henne. Två månader senare gjorde de också sparkade sin medförfattare Margaret Mitchell , den andra ledaren för det etiska AI-teamet.

Nedmonteringen av det laget utlöste en av de största kontroverserna inom AI-världen på senare tid. Defenders of Google hävdade att företaget har rätt att övervaka sina egna forskare. Men för många andra befäste det farhågorna om graden av kontroll som teknikjättar nu har över fältet. Big Tech är nu den primära arbetsgivaren och finansiären för AI-forskare, inklusive, något ironiskt nog, många av dem som bedömer dess sociala konsekvenser.

Relaterad berättelse

Vi läste tidningen som tvingade bort Timnit Gebru från Google. Så här står det.

Företagets stjärna etikforskare lyfte fram riskerna med stora språkmodeller, som är nyckeln till Googles verksamhet.

Bland världens rikaste och mäktigaste företag har Google, Facebook, Amazon, Microsoft och Apple gjort AI till centrala delar av sin verksamhet. Framsteg under det senaste decenniet, särskilt i en AI-teknik som kallas Djup lärning , har tillåtit dem att övervaka användarnas beteende; rekommendera nyheter, information och produkter till dem; och framför allt rikta in dem med annonser. Förra året genererade Googles reklamapparat över 140 miljarder dollar i intäkter. Facebook genererade 84 miljarder dollar.

Företagen har investerat mycket i tekniken som har gett dem så stora rikedomar. Googles moderbolag, Alphabet, förvärvade det Londonbaserade AI-labbet DeepMind för 600 miljoner dollar 2014 och spenderar hundratals miljoner per år för att stödja sin forskning. Microsoft undertecknade ett avtal på 1 miljard dollar med OpenAI 2019 för kommersialiseringsrättigheter till dess algoritmer.

Samtidigt har teknikjättar blivit stora investerare i universitetsbaserad AI-forskning, vilket i hög grad påverkar dess vetenskapliga prioriteringar. Under åren har fler och fler ambitiösa forskare gått över till att arbeta för teknikjättar på heltid eller antagit en dubbel anknytning. Från 2018 till 2019 hade 58 % av de mest citerade artiklarna vid de två bästa AI-konferenserna minst en författare knuten till en teknikjätte, jämfört med endast 11 % ett decennium tidigare, enligt en studie av forskare i Radikalt AI-nätverk , en grupp som försöker utmana kraftdynamik inom AI.

Problemet är att företagsagendan för AI har fokuserat på tekniker med kommersiell potential, och till stor del ignorerat forskning som kan hjälpa till att hantera utmaningar som ekonomisk ojämlikhet och klimatförändringar. Det har faktiskt gjort dessa utmaningar värre. Strävan att automatisera uppgifter har kostat jobb och lett till ökningen av tråkigt arbete som datarensning och innehållsmoderering. Strävan att skapa allt större modeller har fått AI:s energiförbrukning att explodera. Deep learning har också skapat en kultur där vår data ständigt skrapas, ofta utan samtycke, för att träna produkter som ansiktsigenkänningssystem. Och rekommendationsalgoritmer har förvärrat den politiska polariseringen, medan stora språkmodeller har misslyckats med att rensa upp desinformation.

Det är denna situation som Gebru och en växande rörelse av likasinnade forskare vill förändra. Under de senaste fem åren har de försökt flytta fältets prioriteringar bort från att bara berika teknikföretag, genom att utöka vem som får delta i utvecklingen av tekniken. Deras mål är inte bara att mildra skadorna som orsakas av befintliga system utan att skapa en ny, mer rättvis och demokratisk AI.

Hej från Timnit

I december 2015 satte sig Gebru för att skriva ett öppet brev. Halvvägs genom sin doktorsexamen vid Stanford, hade hon deltagit i konferensen Neural Information Processing Systems, den största årliga AI-forskningsträffen. Av de mer än 3 700 forskarna där räknade Gebru bara en handfull som var svarta.

En gång ett litet möte om ett nischat akademiskt ämne, blev NeurIPS (som det nu kallas) snabbt den största årliga AI-jobbbonanzan. Världens rikaste företag kom för att visa upp demos, arrangera extravaganta fester och skriva rejäla checkar för de mest sällsynta människorna i Silicon Valley: skickliga AI-forskare.

Det året kom Elon Musk för att tillkännage den ideella satsningen OpenAI . Han, Y Combinators dåvarande president Sam Altman, och PayPals medgrundare Peter Thiel hade lagt in 1 miljard dollar för att lösa vad de trodde var ett existentiellt problem: utsikten att en superintelligens en dag skulle kunna ta över världen. Deras lösning: bygg en ännu bättre superintelligens. Av de 14 rådgivare eller tekniska teammedlemmar han smorde var 11 vita män.

RICARDO SANTOS | MED HENSYN FOTO

Medan Musk lioniserades hanterade Gebru förnedring och trakasserier. På en konferensfest ringde en grupp berusade killar i Google Research T-shirts runt henne och utsatte henne för oönskade kramar, en puss på kinden och ett foto.

Gebru skrev en svidande kritik av det hon hade observerat: spektaklet, den kultliknande dyrkan av AI-kändisar och framför allt den överväldigande homogeniteten. Den här pojkens klubbkultur, skrev hon, hade redan drivit begåvade kvinnor ur fältet. Det ledde också hela samhället mot en farligt snäv uppfattning om artificiell intelligens och dess inverkan på världen.

Google hade redan implementerat en datorseendealgoritm som klassificerade svarta människor som gorillor, noterade hon. Och den ökande sofistikeringen av obemannade drönare satte den amerikanska militären på en väg mot dödliga autonoma vapen. Men det nämndes inget om dessa problem i Musks stora plan för att stoppa AI från att ta över världen i något teoretiskt framtidsscenario. Vi behöver inte projicera in i framtiden för att se AI:s potentiella negativa effekter, skrev Gebru. Det händer redan.

Gebru publicerade aldrig sin reflektion. Men hon insåg att något behövde förändras. Den 28 januari 2016 skickade hon ett mejl med ämnesraden Hej från Timnit till fem andra Black AI-forskare. Jag har alltid varit ledsen över bristen på färg i AI, skrev hon. Men nu har jag sett 5 av er :) och tänkte att det vore coolt om vi startade en svart i AI-grupp eller åtminstone känner till varandra.

Mejlet föranledde en diskussion. Vad var det med att vara svart som informerade deras forskning? För Gebru var hennes arbete mycket en produkt av hennes identitet; för andra var det inte. Men efter mötet kom de överens: Om AI skulle spela en större roll i samhället behövde de fler svarta forskare. Annars skulle fältet producera svagare vetenskap - och dess negativa konsekvenser kan bli mycket värre.

En vinstdriven agenda

Som Svart i AI hade precis börjat smälta samman, AI tog sitt kommersiella framsteg. Det året, 2016, spenderade teknikjättar uppskattningsvis 20 till 30 miljarder dollar på att utveckla tekniken, enligt McKinsey Global Institute.

Uppvärmd av företagsinvesteringar skev fältet. Ytterligare tusentals forskare började studera AI, men de ville mest arbeta med algoritmer för djupinlärning, som de bakom stora språkmodeller. Som en ung doktorand som vill få jobb på ett teknikföretag inser du att teknikföretag handlar om djupt lärande, säger Suresh Venkatasubramanian, en professor i datavetenskap som nu tjänstgör vid Vita husets kontor för vetenskap och teknologipolitik. Så du flyttar all din forskning till djupinlärning. Sedan tittar nästa doktorand som kommer in sig omkring och säger: 'Alla håller på med djupinlärning. Jag borde nog göra det också.’

Men djupinlärning är inte den enda tekniken på området. Innan dess boom fanns det en annan AI-metod som kallas symboliskt resonemang. Medan djupinlärning använder enorma mängder data för att lära ut algoritmer om meningsfulla relationer i information, fokuserar symboliskt resonemang på att explicit koda kunskap och logik baserat på mänsklig expertis.

Vissa forskare anser nu att dessa tekniker bör kombineras. Hybridmetoden skulle göra AI mer effektiv i sin användning av data och energi, och ge den kunskapen och resonemangsförmågan hos en expert samt förmågan att uppdatera sig själv med ny information. Men företag har små incitament att utforska alternativa tillvägagångssätt när det säkraste sättet att maximera sin vinst är att bygga allt större modeller.

I sin artikel antydde Gebru och Bender en grundläggande kostnad för denna tendens att hålla fast vid djupinlärning: de mer avancerade AI-systemen vi behöver utvecklas inte, och liknande problem återkommer hela tiden. Facebook, till exempel, är starkt beroende av stora språkmodeller för automatiserad innehållsmoderering. Men utan att riktigt förstå innebörden bakom text misslyckas de modellerna ofta. De tar regelbundet ner ofarliga inlägg samtidigt som de ger hatretorik och desinformation ett pass.

AI-baserade ansiktsigenkänningssystem lider av samma problem. De är tränade på enorma mängder data men ser bara pixelmönster – de har inte koll på visuella begrepp som ögon, munnar och näsor. Det kan störa dessa system när de används på individer med en annan hudton än de personer som de visades under träningen. Ändå har Amazon och andra företag sålt dessa system till brottsbekämpande myndigheter. I USA har de orsakat tre kända fall där polisen fängslat fel person – alla svarta män – under det senaste året.

I flera år har många inom AI-gemenskapen i stort sett accepterat Big Techs roll i att forma utvecklingen och effekten av dessa teknologier. Medan vissa uttryckte obehag med företagsövertagandet, välkomnade många fler branschens djupa finansieringskälla.

Men eftersom bristerna med dagens AI har blivit mer uppenbara – både dess misslyckande att lösa sociala problem och de växande exemplen på att det kan förvärra dem – har tron ​​på Big Tech försvagats. Googles avsättning av Gebru och Mitchell underblåste diskussionen ytterligare genom att avslöja hur mycket företag kommer att prioritera vinst framför självpolisiering.

Direkt efter det skrev över 2 600 Google-anställda och 4 300 andra under på en petition som fördömde Gebrus avsked som oöverträffad forskningscensur. Ett halvår senare avvisar forskargrupper fortfarande företagets finansiering, forskare vägrar att delta i dess konferensworkshops och anställda lämnar i protest.

Till skillnad från för fem år sedan, när Gebru började ta upp dessa frågor, finns det nu en väletablerad rörelse som ifrågasätter vad AI ska vara och vem den ska tjäna. Detta är ingen slump. Det är mycket en produkt av Gebrus eget initiativ, som började med den enkla handlingen att bjuda in fler svarta forskare på området.

Det krävs en konferens

I december 2017 var den nya Black in AI-gruppen värd för sin första workshop på NeurIPS. Medan han organiserade workshopen kontaktade Gebru Joy Buolamwini, en forskare från MIT Media Lab som studerade kommersiella system för ansiktsigenkänning för möjlig fördom. Buolamwini hade börjat testa dessa system efter att ett misslyckats med att upptäcka sitt eget ansikte om hon inte tog på sig en vit mask. Hon lämnade in sina preliminära resultat till workshopen.

Deborah Raji, då en grundutbildningsforskare, var en annan tidig deltagare. Raji var bestört över kulturen hon hade observerat på NeurIPS. Verkstaden blev hennes andrum. Att gå från fyra eller fem dagar av det till en hel dag med människor som ser ut som jag pratar om att lyckas i det här utrymmet – det var en så viktig uppmuntran för mig, säger hon.

Buolamwini, Raji och Gebru skulle fortsätta att arbeta tillsammans på ett par banbrytande studier om diskriminerande datorseendesystem. Buolamwini och Gebru var medförfattare Genus nyanser , som visade att ansiktsigenkänningssystem som säljs av Microsoft, IBM och den kinesiska teknikjätten Megvii hade anmärkningsvärt höga felfrekvenser på svarta kvinnor trots nästan perfekt prestanda på vita män. Raji och Buolamwini samarbetade sedan i en uppföljning Handlingsbar revision , som fann samma sak för Amazons erkännande. År 2020 skulle Amazon gå med på en ett års moratorium för polisförsäljning av sin produkt, delvis på grund av det arbetet.

Relaterad berättelse

Jag började gråta: Inuti Timnit Gebrus sista dagar på Google – och vad som händer härnäst .

På den allra första Black in AI-workshopen var dessa framgångar dock avlägsna möjligheter. Det fanns ingen annan agenda än att bygga gemenskap och producera forskning utifrån deras så mycket saknade perspektiv. Många åskådare förstod inte varför en sådan grupp behövde existera. Gebru minns avvisande kommentarer från några i AI-communityt. Men för andra pekade Black in AI på en ny väg framåt.

Detta gällde för William Agnew och Raphael Gontijo Lopes, båda queer män som forskar inom datavetenskap, som insåg att de kunde bilda en Queer in AI-grupp. (Andra grupper som tog form inkluderar Latinx i AI, {Dis}Ability in AI och Muslim i ML.) Speciellt för Agnew kändes det som ett akut behov att ha en sådan gemenskap. Det var svårt att ens föreställa mig att jag skulle ha ett lyckligt liv, säger han och reflekterar över bristen på queera förebilder inom området. Det är Turing, men han begick självmord. Så det är deprimerande. Och den queera delen av honom ignoreras bara.

Alla medlemmar i affinitetsgrupp ser inte ett samband mellan sin identitet och sin forskning. Ändå har varje grupp etablerat särskild expertis. Black in AI har blivit det intellektuella centret för att avslöja algoritmisk diskriminering, kritisera övervakning och utveckla dataeffektiva AI-tekniker. Queer in AI har blivit ett centrum för att bestrida hur algoritmer inkräktar på människors integritet och klassificerar dem i avgränsade kategorier som standard.

Venkatasubramanian och Gebru hjälpte också till att skapa konferensen Fairness, Accountability, and Transparency (FAccT) för att skapa ett forum för forskning om de sociala och politiska konsekvenserna av AI. Idéer och utkast till papper som diskuteras vid NeurIPS affinitetsgruppsworkshops blir ofta grunden för papper som publiceras på FAccT, som sedan visar upp den forskningen för en bredare publik.

Det var till exempel efter att Buolamwini presenterade på den första Black in AI-workshopen som FAccT publicerade Gender Shades. Tillsammans med Actionable Auditing drev det sedan flera stora utbildnings- och opinionskampanjer för att begränsa regeringens användning av ansiktsigenkänning. När Amazon försökte undergräva legitimiteten för Buolamwinis och Rajis forskning, slog dussintals AI-forskare och civilsamhällesorganisationer sig samman för att försvara dem, vilket förebådade vad de senare skulle göra för Gebru. Dessa ansträngningar bidrog så småningom till Amazons moratorium, som i maj meddelade företaget att det skulle förlängas på obestämd tid.

Forskningen startade också en kaskad av reglering. Mer än ett dussin städer har förbjudit polisens användning av ansiktsigenkänning, och Massachusetts kräver nu att polisen får en domares tillåtelse att använda det. Både USA och EU-kommissionen har föreslagit ytterligare reglering.

Först fick vi bara vara där, säger Gebru. Och någon gång börjar det som Black in AI säger att bli viktigt. Och vad alla dessa grupper tillsammans säger blir viktigt. Du måste lyssna på oss nu.

Följ pengarna

Efter Gebru och Mitchells sparken brottas fältet på nytt med en urgammal fråga: Är det möjligt att ändra status quo medan man arbetar inifrån? Gebru tror fortfarande att samarbete med teknikjättar är det bästa sättet att identifiera problemen. Men hon menar också att företagsforskare behöver starkare rättsskydd. Om de ser riskfyllda metoder bör de kunna dela med sig av sina iakttagelser offentligt utan att äventyra deras karriärer.

Sedan är det frågan om finansiering. Många forskare vill ha mer investeringar från den amerikanska regeringen för att stödja arbete som är kritiskt till kommersiell AI-utveckling och främjar allmänhetens välfärd. Förra året satsade den ynka 1 miljard dollar till icke-försvarsrelaterad AI-forskning. Biden-administrationen ber nu kongressen att investera ytterligare 180 miljarder dollar i framväxande teknologier, med AI som högsta prioritet.

Sådan finansiering kan hjälpa människor som Abebe kommer tillbaka , en biträdande professor i datavetenskap vid University of California, Berkeley. Abebe, som också var med och grundade Black in AI, kom till AI med idéer om att använda det för att främja social rättvisa. Men när hon började sin doktorsexamen vid Cornell var ingen fokuserad på att göra sådan forskning.

Hösten 2016, som doktorand, startade hon en liten Cornell-läsgrupp med en doktorandstuderande för att studera ämnen som instabilitet i bostäder, tillgång till hälsovård och ojämlikhet. Hon inledde sedan ett nytt projekt för att se om hennes datorkunskaper kunde stödja ansträngningar för att lindra fattigdom.

Så småningom hittade hon Poverty Tracker-studien, en detaljerad datauppsättning om de ekonomiska chocker – oväntade utgifter som medicinska räkningar eller parkeringsbiljetter – som upplevdes av mer än 2 000 New York-familjer. Under många samtal med studiens författare, socialarbetare och ideella organisationer som betjänar marginaliserade samhällen, lärde hon sig om deras behov och berättade för dem hur hon kunde hjälpa. Abebe utvecklade sedan en modell som visade hur frekvensen och typen av chocker påverkade en familjs ekonomiska status.

Fem år senare pågår projektet fortfarande. Hon samarbetar nu med ideella organisationer för att förbättra sin modell och arbetar med beslutsfattare genom California Policy Lab för att använda den som ett verktyg för att förebygga hemlöshet. Hennes läsgrupp har också sedan dess vuxit till en gemenskap med 2 000 personer och håller sin första konferens senare i år.

Abebe ser det som ett sätt att uppmuntra fler forskare att vända på normerna för AI. Medan traditionella datavetenskapliga konferenser betonar avancerade beräkningstekniker för att göra det, kommer den nya att publicera ett arbete som först försöker förstå en social fråga på djupet. Arbetet är inte mindre tekniskt, men det lägger grunden för att mer socialt meningsfull AI kan växa fram.

Dessa förändringar som vi kämpar för – det är inte bara för marginaliserade grupper, säger hon. Det är faktiskt för alla.

Dölj