Hur Facebook blev beroende av att sprida desinformation

Företagets AI-algoritmer gav det en omättlig vana för lögner och hatretorik. Nu kan inte mannen som byggde dem fixa problemet.

De skyldiga är Wintermeyer

förbi

• Karen Hao arkivsida

11 mars 2021

Joaquin Quiñonero Candela, chef för AI på Facebook, bad sin publik om ursäkt.

Det var den 23 mars 2018, bara dagar efter avslöjandet att Cambridge Analytica, ett konsultföretag som arbetade med Donald Trumps presidentvalskampanj 2016, i smyg hade sugit upp personuppgifter från tiotals miljoner amerikaner från deras Facebook-konton i ett försök att påverka hur de röstade. Det var det största integritetsintrånget i Facebooks historia, och Quiñonero hade tidigare varit planerad att tala vid en konferens om bland annat skärningspunkten mellan AI, etik och integritet på företaget. Han övervägde att ställa in, men efter att ha diskuterat det med sin kommunikationsdirektör hade han hållit sin tilldelade tid.

När han klev upp för att möta rummet började han med ett erkännande. Jag har precis haft de tuffaste fem dagarna under min tid på Facebook, minns han att han sa. Om det finns kritik så accepterar jag den.

Cambridge Analytica-skandalen skulle starta Facebooks största publicitetskris någonsin. Det förvärrade farhågorna att algoritmerna som bestämmer vad folk ser på plattformen förstärkte falska nyheter och hatretorik, och att ryska hackare hade beväpnat dem för att försöka påverka valet till Trumps fördel. Miljoner började ta bort appen ; anställda lämnade i protest; bolagets börsvärde sjönk med mer än 100 miljarder dollar efter dess resultatupprop i juli.

Under de efterföljande månaderna började Mark Zuckerberg att be om ursäkt. Han bad om ursäkt för att han inte tog en tillräckligt bred vy av Facebooks ansvar och för hans misstag som VD. Internt startade Sheryl Sandberg, operativ chef, ett tvåår revision av medborgerliga rättigheter att rekommendera hur företaget kan förhindra användningen av dess plattform för att undergräva demokratin.

Slutligen bad Mike Schroepfer, Facebooks tekniska chef, Quiñonero att starta ett team med ett direktiv som var lite vagt: att undersöka den samhälleliga påverkan av företagets algoritmer. Gruppen döpte sig till Society and AI Lab (SAIL); förra året kombinerades det med ett annat team som arbetade med frågor om datasekretess för att bilda Responsible AI.

Quiñonero var ett naturligt val för jobbet. Han, lika mycket som någon annan, var den som var ansvarig för Facebooks position som ett kraftpaket för AI. Under sina sex år på Facebook hade han skapat några av de första algoritmerna för att rikta in sig på användare med innehåll som var exakt anpassat till deras intressen, och sedan spred han dessa algoritmer över hela företaget. Nu skulle hans mandat vara att göra dem mindre skadliga.

Facebook har konsekvent pekat på Quiñoneros och andras ansträngningar när de försöker reparera sitt rykte. Den travar regelbundet ut olika ledare för att tala till media om de pågående reformerna. I maj 2019, den beviljade en serie intervjuer med Schroepfer till New York Times, som belönade företaget med en humaniserande profil av en känslig, välmenande chef som strävar efter att övervinna de tekniska utmaningarna med att filtrera bort desinformation och hatretorik från en ström av innehåll som uppgick till miljarder bitar om dagen. Dessa utmaningar är så svåra att det gör Schroepfer känslosam, skrev Times: Ibland får det honom till tårar.

Våren 2020 var det tydligen min tur. Ari Entin, Facebooks AI-kommunikationsdirektör, frågade i ett mejl om jag ville ta en djupare titt på företagets AI-arbete. Efter att ha pratat med flera av dess AI-ledare bestämde jag mig för att fokusera på Quiñonero. Entin gladeligen skyldig. Som inte bara ledare för Responsible AI-teamet utan också mannen som hade gjort Facebook till ett AI-drivet företag, var Quiñonero ett gediget val att använda som affischpojke.

Han verkade vara ett naturligt val av ämne för mig också. Under åren sedan han bildade sitt team efter Cambridge Analytica-skandalen hade oron över spridningen av lögner och hatretorik på Facebook bara ökat. I slutet av 2018 medgav företaget att denna verksamhet hade hjälpte till att underblåsa en folkmordskampanj mot muslimer i Myanmar i flera år. År 2020 började Facebook försenat vidta åtgärder mot förintelseförnekare, anti-vaxxers och konspirationsrörelsen QAnon. Alla dessa farliga falskheter metastaserade tack vare AI-förmågorna Quiñonero hade hjälpt till att bygga. Algoritmerna som stöder Facebooks verksamhet skapades inte för att filtrera bort det som var falskt eller inflammatoriskt; de designades för att få människor att dela och engagera sig i så mycket innehåll som möjligt genom att visa dem saker som de med största sannolikhet skulle bli upprörda eller retade över. Att fixa det här problemet, för mig, verkade som kärnområdet för ansvarsfull AI.

Jag började videosamtal Quiñonero regelbundet. Jag pratade också med Facebook-chefer, nuvarande och tidigare anställda, branschkollegor och externa experter. Många talade på villkor att de var anonyma eftersom de hade undertecknat sekretessavtal eller fruktade repressalier. Jag ville veta: Vad gjorde Quiñoneros team för att tygla hatet och lögnerna på sin plattform?

Joaquin Quiñonero Candela utanför sitt hem i Bay Area, där han bor med sin fru och tre barn.

WINNI WINTERMEYER

Men Entin och Quiñonero hade en annan agenda. Varje gång jag försökte ta upp dessa ämnen togs mina förfrågningar om att tala om dem bort eller omdirigerades. De ville bara diskutera Responsible AI-teamets plan för att ta itu med en specifik typ av problem: AI-bias, där algoritmer diskriminerar vissa användargrupper. Ett exempel skulle vara en annonsinriktningsalgoritm som visar vissa jobb- eller boendemöjligheter för vita människor men inte för minoriteter.

När tusentals upprorsmakare stormade den amerikanska Capitolium i januari, delvis organiserad på Facebook och underblåst av lögnerna om ett stulet val som hade fläkt ut över plattformen, stod det klart från mina samtal att Responsible AI-teamet hade misslyckats med att göra framsteg mot desinformation och hatretorik eftersom det aldrig hade gjort dessa problem till sitt huvudfokus. Ännu viktigare, insåg jag, om det försökte, skulle det ställas in för att misslyckas.

Anledningen är enkel. Allt företaget gör och väljer att inte göra kommer från en enda motivation: Zuckerbergs obevekliga önskan om tillväxt. Quiñoneros AI-expertise överlade den tillväxten. Hans team blev inblandade i att inrikta sig på AI-bias, som jag lärde mig i min rapportering, eftersom att förhindra sådan partiskhet hjälper företaget att undvika föreslagen förordning som kan, om det går igenom, hämma den tillväxten. Facebooks ledarskap har också upprepade gånger försvagat eller stoppat många initiativ som syftar till att rensa upp felaktig information på plattformen eftersom det skulle undergräva den tillväxten.

Med andra ord, det ansvariga AI-teamets arbete – oavsett dess fördelar med det specifika problemet med att ta itu med AI-bias – är i huvudsak irrelevant för att lösa de större problemen med desinformation, extremism och politisk polarisering. Och det är vi alla som betalar priset.

När du är i branschen för att maximera engagemanget är du inte intresserad av sanningen. Du är inte intresserad av skada, splittring, konspiration. Det är faktiskt dina vänner, säger Hany Farid, professor vid University of California, Berkeley som samarbetar med Facebook för att förstå bild- och videobaserad desinformation på plattformen.

De gör alltid precis tillräckligt för att kunna lägga ut pressmeddelandet. Men med några få undantag tror jag inte att det faktiskt översätts till bättre politik. De har aldrig riktigt att göra med de grundläggande problemen.

I mars 2012 Quiñonero besökte en vän i Bay Area. Vid den tiden var han chef på Microsoft Researchs kontor i Storbritannien och ledde ett team som använde maskininlärning för att få fler besökare att klicka på annonser som visades av företagets sökmotor, Bing. Hans expertis var sällsynt och laget var mindre än ett år gammalt. Maskininlärning, en delmängd av AI, hade ännu inte visat sig vara en lösning på storskaliga industriproblem. Få teknikjättar hade investerat i tekniken.

Quiñoneros vän ville visa upp sin nya arbetsgivare, en av de hetaste startups i Silicon Valley: Facebook, då åtta år gammal och redan med nära till en miljard månatliga aktiva användare (dvs de som har loggat in minst en gång under de senaste 30 dagarna). När Quiñonero gick runt i dess huvudkontor i Menlo Park, såg han en ensam ingenjör göra en stor uppdatering av webbplatsen, något som skulle ha inneburit betydande byråkrati hos Microsoft. Det var en minnesvärd introduktion till Zuckerbergs Move fast and break things ethos. Quiñonero var imponerad av möjligheterna. Inom en vecka hade han gått igenom intervjuer och skrivit på ett erbjudande om att gå med i företaget.

Hans ankomst kunde inte ha varit bättre tajmad. Facebooks annonstjänst var mitt i en snabb expansion när företaget förberedde sin börsintroduktion i maj. Målet var att öka intäkterna och ta sig an Google, som hade lejonparten av marknaden för onlineannonsering. Maskininlärning, som kan förutsäga vilka annonser som bäst resonerar med vilka användare och därmed göra dem mer effektiva, kan vara det perfekta verktyget. Kort efter starten befordrades Quiñonero till att leda ett team liknande det han hade lett på Microsoft.

Quiñonero började föda upp kycklingar i slutet av 2019 som ett sätt att varva ner från intensiteten i sitt jobb.

WINNI WINTERMEYER

Till skillnad från traditionella algoritmer, som är hårdkodade av ingenjörer, tränar maskininlärningsalgoritmer på indata för att lära sig korrelationerna inom den. Den tränade algoritmen, känd som en maskininlärningsmodell, kan sedan automatisera framtida beslut. En algoritm som tränas på annonsklickdata kan till exempel lära sig att kvinnor klickar på annonser för yogaleggings oftare än män. Den resulterande modellen kommer då att visa fler av dessa annonser till kvinnor. Idag på ett AI-baserat företag som Facebook, genererar ingenjörer otaliga modeller med små variationer för att se vilken som presterar bäst på ett givet problem.

Facebooks enorma mängder användardata gav Quiñonero en stor fördel. Hans team kunde utveckla modeller som lärde sig att sluta sig till existensen av inte bara breda kategorier som kvinnor och män, utan av mycket finkorniga kategorier som kvinnor mellan 25 och 34 som gillade Facebook-sidor relaterade till yoga och riktade annonser till dem. Ju finare inriktningen är, desto bättre är chansen för ett klick, vilket skulle ge annonsörerna mer valuta för pengarna.

Inom ett år hade hans team utvecklat dessa modeller, såväl som verktygen för att designa och implementera nya snabbare. Innan hade det tagit Quiñoneros ingenjörer sex till åtta veckor att bygga, träna och testa en ny modell. Nu tog det bara en.

Nyheten om framgången spreds snabbt. Teamet som arbetade med att avgöra vilka inlägg enskilda Facebook-användare skulle se i sina personliga nyhetsflöden ville använda samma teknik. Precis som algoritmer kunde tränas för att förutsäga vem som skulle klicka på vilken annons, kunde de också tränas i att förutsäga vem som skulle gilla eller dela vilket inlägg, och sedan ge dessa inlägg mer framträdande plats. Om modellen avgjorde att en person verkligen gillade hundar, till exempel, skulle vänners inlägg om hundar dyka upp högre upp på användarens nyhetsflöde.

Quiñoneros framgång med nyhetsflödet – tillsammans med imponerande ny AI-forskning som utförs utanför företaget – fångade Zuckerbergs och Schroepfers uppmärksamhet. Facebook hade nu drygt 1 miljard användare, vilket gör det mer än åtta gånger större än något annat socialt nätverk, men de ville veta hur de skulle fortsätta den tillväxten. Cheferna bestämde sig för att investera kraftigt i AI, internetuppkoppling och virtuell verklighet.

De skapade två AI-team. En var FAIR, ett grundläggande forskningslabb som skulle främja teknikens toppmoderna kapacitet. Den andra, Applied Machine Learning (AML), skulle integrera dessa funktioner i Facebooks produkter och tjänster. I december 2013, efter månader av uppvaktning och övertalning, rekryterade cheferna Yann LeCun, ett av de största namnen på området, för att leda FAIR. Tre månader senare befordrades Quiñonero igen, denna gång för att leda AML. (Det döptes senare om till FAIAR, uttalas brand.)

Det är så du vet vad han tänker på. Jag var alltid, under ett par år, några steg från Marks skrivbord.

Joaquin Quinonero Candela

I sin nya roll byggde Quiñonero en ny modellutvecklingsplattform för alla på Facebook att komma åt. Kallad FBLearner Flow , det gjorde det möjligt för ingenjörer med liten AI-erfarenhet att träna och distribuera maskininlärningsmodeller inom några dagar. I mitten av 2016 användes den av mer än en fjärdedel av Facebooks ingenjörsteam och hade redan använts för att träna över en miljon modeller, inklusive modeller för bildigenkänning, annonsinriktning och innehållsmoderering.

Zuckerbergs besatthet av att få hela världen att använda Facebook hade hittat ett kraftfullt nytt vapen. Teamen hade tidigare använt designtaktik, som att experimentera med innehållet och frekvensen av meddelanden, för att försöka få in användare mer effektivt. Deras mål var bland annat att öka ett mått som heter L6/7, andelen personer som loggat in på Facebook sex av de senaste sju dagarna. L6/7 är bara ett av otaliga sätt på vilka Facebook har mätt engagemang - människors benägenhet att använda sin plattform på något sätt, oavsett om det är genom att posta saker, kommentera dem, gilla eller dela dem, eller bara titta på dem. Nu analyserades varje användarinteraktion som en gång analyserats av ingenjörer med algoritmer. Dessa algoritmer skapade mycket snabbare, mer personliga återkopplingsslingor för att finjustera och skräddarsy varje användares nyhetsflöde för att fortsätta skjuta upp engagemangssiffrorna.

Zuckerberg, som satt i centrum av Building 20, huvudkontoret vid Menlo Parks högkvarter, placerade de nya FAIR- och AML-teamen bredvid sig. Många av de ursprungliga AI-anställda var så nära att hans skrivbord och deras praktiskt taget berörde varandra. Det var den inre helgedomen, säger en före detta ledare i AI-organisationen (grenen av Facebook som innehåller alla dess AI-team), som minns att VD:n blandade folk in och ut ur sin närhet när de fick eller förlorade hans gunst. Det är så du vet vad han tänker på, säger Quiñonero. Jag var alltid, under ett par år, några steg från Marks skrivbord.

Med nya maskinlärande modeller kommer online dagligen, skapade företaget ett nytt system för att spåra deras inverkan och maximera användarens engagemang. Processen är densamma än idag. Team tränar upp en ny maskininlärningsmodell på FBLearner, oavsett om de ska ändra rankningsordningen för inlägg eller för att bättre fånga innehåll som bryter mot Facebooks community-standarder (dess regler om vad som är och inte är tillåtet på plattformen). Sedan testar de den nya modellen på en liten delmängd av Facebooks användare för att mäta hur den förändrar engagemangsstatistik, som antalet gilla-markeringar, kommentarer och delningar, säger Krishna Gade, som fungerade som ingenjörschef för nyhetsflödet från 2016 till 2018 .

Om en modell minskar engagemanget för mycket, kasseras den. Annars distribueras den och övervakas kontinuerligt. På Twitter, Gade förklarade att hans ingenjörer skulle få aviseringar med några dagars mellanrum när mätvärden som gilla-markeringar eller kommentarer låg nere. Sedan skulle de dechiffrera vad som hade orsakat problemet och om några modeller behövde omskolning.

Men detta tillvägagångssätt orsakade snart problem. Modellerna som maximerar engagemanget gynnar också kontroverser, desinformation och extremism: enkelt uttryckt, människor gillar upprörande saker. Ibland väcker detta existerande politiska spänningar. Det mest förödande exemplet hittills är fallet med Myanmar, där virala falska nyheter och hatpropaganda om den muslimska minoriteten rohingya eskalerade landets religiösa konflikt till ett fullständigt folkmord. Facebook antagen 2018 , efter år av nedtonat sin roll, att den inte hade gjort tillräckligt för att förhindra att vår plattform används för att uppmuntra splittring och uppvigla offlinevåld.

Även om Facebook kan ha varit omedveten om dessa konsekvenser i början, studerade man dem 2016. I en intern presentation från det året, granskad av Wall Street Journal , fann en företagsforskare, Monica Lee, att Facebook inte bara var värd för ett stort antal extremistgrupper utan också marknadsför dem för sina användare: 64 % av alla extremistgrupper som går med beror på våra rekommendationsverktyg, sade presentationen, främst tack vare modellerna bakom funktionerna för grupper du bör gå med i och upptäck.

Frågan till ledarskapet var: Ska vi optimera för engagemang om du upptäcker att någon är i ett sårbart sinnestillstånd?

En före detta AI-forskare som gick med 2018

Under 2017 bildade Chris Cox, Facebooks mångåriga produktchef, en ny arbetsgrupp för att förstå om maximering av användarengagemanget på Facebook bidrog till politisk polarisering. Den fann att det verkligen fanns en korrelation och att en minskning av polariseringen skulle innebära att man drabbades av engagemang. I ett dokument i mitten av 2018 som granskades av tidskriften föreslog arbetsgruppen flera potentiella korrigeringar, som att justera rekommendationsalgoritmerna för att föreslå ett mer varierat utbud av grupper för människor att gå med. Men den erkände att några av idéerna var anti-tillväxt. De flesta av förslagen gick inte framåt, och arbetsgruppen upplöstes.

Sedan dess har andra anställda bekräftat dessa fynd. En tidigare Facebook AI-forskare som gick med 2018 säger att han och hans team genomförde studie efter studie som bekräftar samma grundläggande idé: modeller som maximerar engagemanget ökar polariseringen. De kunde enkelt spåra hur starkt användarna var överens eller oense i olika frågor, vilket innehåll de gillade att engagera sig i och hur deras ställningstaganden förändrades som ett resultat. Oavsett problemet lärde sig modellerna att ge användarna allt mer extrema synpunkter. Med tiden de mätbart bli mer polariserad, säger han.

Forskarteamet fann också att användare med en tendens att posta eller engagera sig i melankoliskt innehåll – ett möjligt tecken på depression – lätt kunde gå i spiral till att konsumera allt mer negativt material som riskerade att ytterligare förvärra deras mentala hälsa. Teamet föreslog att man skulle justera innehållsrankningsmodellerna för dessa användare för att sluta maximera engagemanget enbart, så att de skulle få se mindre av de deprimerande sakerna. Frågan till ledarskapet var: Ska vi optimera för engagemang om du upptäcker att någon är i ett sårbart sinnestillstånd? han kommer ihåg. (En talesperson för Facebook sa att hon inte kunde hitta dokumentation för detta förslag.)

Relaterad berättelse

Den röriga, hemliga verkligheten bakom OpenAI:s försök att rädda världen AI moonshot grundades i en anda av transparens. Detta är den inre historien om hur konkurrenstrycket urholkade den idealismen.

Men allt som minskade engagemanget, även av skäl som att inte förvärra någons depression, ledde till en hel del sömn och tjafs bland ledarskapet. Med sina prestationsöversikter och löner knutna till ett framgångsrikt slutförande av projekt, lärde sig anställda snabbt att släppa de som fick pushback och fortsätta arbeta med de som dikterades uppifrån och ner.

Ett sådant projekt som drivs hårt av företagsledare involverade att förutsäga om en användare kan vara i riskzonen för något som flera personer redan hade gjort: att livestreama sitt eget självmord på Facebook Live. Uppgiften gick ut på att bygga en modell att analysera kommentarerna att andra användare postade på en video efter att den hade gått live, och uppmärksammade utbildade Facebook-communityrecensenter på riskanvändare som kunde ringa lokala räddningspersonal för att utföra en hälsokontroll. Det krävde inga ändringar av innehållsrankningsmodeller, hade en försumbar inverkan på engagemanget och avvärjde effektivt negativ press. Det var också nästan omöjligt, säger forskaren: Det är mer ett PR-trick. Effektiviteten av att försöka avgöra om någon kommer att ta livet av sig inom de kommande 30 sekunderna, baserat på de första 10 sekunderna av videoanalys - du kommer inte att vara särskilt effektiv.

Facebook bestrider denna karaktärisering och säger att teamet som arbetade med denna insats har sedan dess framgångsrikt förutspått vilka användare som var i riskzonen och ökat antalet utförda hälsokontroller. Men företaget släpper inte uppgifter om riktigheten av sina förutsägelser eller hur många hälsokontroller som visade sig vara riktiga nödsituationer.

Den tidigare anställde låter under tiden inte längre sin dotter använda Facebook.

Quiñonero borde ha varit det perfekt placerad för att ta itu med dessa problem när han skapade SAIL-teamet (senare Responsible AI) i april 2018. Hans tid som direktör för Applied Machine Learning hade gjort honom intimt bekant med företagets algoritmer, särskilt de som användes för att rekommendera inlägg, annonser, och annat innehåll till användarna.

Det verkade också som att Facebook var redo att ta dessa problem på allvar. Medan tidigare ansträngningar att arbeta med dem hade varit utspridda över företaget, fick Quiñonero nu ett centraliserat team med utrymme i sitt mandat att arbeta med vad han än såg lämpligt i skärningspunkten mellan AI och samhället.

Vid den tiden ägnade Quiñonero sig åt sin egen omutbildning om hur man är en ansvarsfull teknolog. Fältet för AI-forskning ägnade växande uppmärksamhet åt problem med AI-bias och ansvarsskyldighet i kölvattnet av högprofilerade studier som visade att till exempel en algoritm gav svarta svarande betyg som mer sannolikt att gripas igen än vita åtalade som hade gripits för samma eller allvarligare brott. Quiñonero började studera den vetenskapliga litteraturen om algoritmisk rättvisa, läsa böcker om etisk ingenjörskonst och teknikens historia och tala med medborgarrättsexperter och moralfilosofer.

WINNI WINTERMEYER

Under de många timmar jag tillbringade med honom kunde jag säga att han tog detta på allvar. Han hade anslutit sig till Facebook mitt i den arabiska våren, en serie revolutioner mot förtryckande Mellanösternregimer. Experter hade hyllat sociala medier för att de spridit informationen som underblåste upproren och gav människor verktyg att organisera sig. Född i Spanien men uppvuxen i Marocko, där han hade sett undertryckandet av yttrandefriheten på egen hand, kände Quiñonero en intensiv koppling till Facebooks potential som en kraft för det goda.

Sex år senare hade Cambridge Analytica hotat att häva detta löfte. Kontroversen tvingade honom att konfrontera sin tro på företaget och undersöka vad det skulle innebära för hans integritet att stanna. Jag tror att det som händer med de flesta som jobbar på Facebook – och definitivt har varit min historia – är att det inte finns någon gräns mellan Facebook och mig, säger han. Det är extremt personligt. Men han valde att stanna och att leda SAIL, eftersom han trodde att han kunde göra mer för världen genom att hjälpa till att vända företaget än genom att lämna det bakom sig.

Jag tror att om du är på ett företag som Facebook, särskilt under de senaste åren, så inser du verkligen vilken inverkan dina produkter har på människors liv – på vad de tycker, hur de kommunicerar, hur de interagerar med varandra, säger Quiñoneros mångårig vän Zoubin Ghahramani, som hjälper till att leda Google Brain-teamet. Jag vet att Joaquin bryr sig djupt om alla aspekter av detta. Som någon som strävar efter att uppnå bättre och förbättra saker, ser han den viktiga roll han kan ha i att forma både tänkandet och policyn kring ansvarsfull AI.

Till en början hade SAIL bara fem personer, som kom från olika delar av företaget men alla var intresserade av algoritmernas samhälleliga inverkan. En av grundarna, Isabel Kloumann, en forskare som kom från företagets kärndatavetenskapsteam, tog med sig en första version av ett verktyg för att mäta snedvridningen i AI-modeller.

Teamet brainstormade också många andra idéer för projekt. Den tidigare ledaren i AI-organisationen, som var närvarande för några av SAILs tidiga möten, påminner om ett förslag för att bekämpa polarisering. Det innebar att man använde sentimentanalys, en form av maskininlärning som tolkar åsikter i bitar av text, för att bättre identifiera kommentarer som uttryckte extrema åsikter. Dessa kommentarer skulle inte raderas, men de skulle vara dolda som standard med ett alternativ för att avslöja dem, vilket begränsar antalet personer som såg dem.

Och det fördes diskussioner om vilken roll SAIL skulle kunna spela inom Facebook och hur det skulle utvecklas över tid. Uppfattningen var att teamet först skulle ta fram riktlinjer för ansvarsfull AI för att berätta för produktteamen vad de borde eller inte borde göra. Men förhoppningen var att det i slutändan skulle fungera som företagets centrala nav för att utvärdera AI-projekt och stoppa de som inte följde riktlinjerna.

Tidigare anställda beskrev dock hur svårt det kunde vara att få inköp eller ekonomiskt stöd när arbetet inte direkt förbättrade Facebooks tillväxt. Till sin natur var laget inte tänkte på tillväxt, och i vissa fall var det att föreslå idéer som var motsatta tillväxt. Som ett resultat fick den få resurser och försvann. Många av dess idéer förblev till stor del akademiska.

Den 29 augusti 2018, som plötsligt förändrades. I upptakten till det amerikanska mellanårsvalet, president Donald Trump och andra republikanska ledare skärpt anklagelser att Facebook, Twitter och Google hade en antikonservativ partiskhet. De hävdade att i synnerhet Facebooks moderatorer, när de tillämpade gemenskapsstandarderna, undertryckte konservativa röster mer än liberala. Denna avgift skulle senare avfärdas , men hashtaggen #StopTheBias , underblåst av en Trump-tweet, spreds snabbt på sociala medier.

För Trump var det det senaste försöket att så misstro mot landets vanliga informationsdistributionskanaler. För Zuckerberg hotade det att alienera Facebooks konservativa amerikanska användare och göra företaget mer sårbart för reglering från en republikanskt ledd regering. Det hotade med andra ord företagets tillväxt.

Facebook gav mig inte en intervju med Zuckerberg, men tidigare rapportering har visad hur han i allt högre grad vände sig till Trump och det republikanska ledarskapet. Efter att Trump valdes, rådde Joel Kaplan, Facebooks VP för global offentlig politik och dess högst rankade republikan, Zuckerberg att trampa försiktigt i den nya politiska miljön.

Den 20 september 2018, tre veckor efter Trumps #StopTheBias tweet, höll Zuckerberg ett möte med Quiñonero för första gången sedan SAIL skapades. Han ville veta allt som Quiñonero hade lärt sig om AI-bias och hur man avskaffar det i Facebooks modeller för innehållsmoderering. I slutet av mötet var en sak klar: AI-bias var nu Quiñoneros högsta prioritet. Ledarskapet har varit väldigt, väldigt påträngande när det gäller att se till att vi skalar detta aggressivt, säger Rachad Alao, ingenjörschefen för Responsible AI som kom till i april 2019.

Det var en vinst för alla i rummet. Zuckerberg har ett sätt att avvärja anklagelser om antikonservativ partiskhet. Och Quiñonero hade nu mer pengar och ett större team för att göra den övergripande Facebook-upplevelsen bättre för användarna. De skulle kunna bygga vidare på Kloumanns befintliga verktyg för att mäta och korrigera den påstådda antikonservativa fördomen i modeller för innehållsmoderering, såväl som för att korrigera andra typer av fördomar i de allra flesta modeller över hela plattformen.

Detta kan hjälpa till att förhindra att plattformen oavsiktligt diskriminerar vissa användare. Då hade Facebook redan tusentals modeller igång samtidigt, och nästan ingen hade mätts för bias. Det skulle få det i juridiska problem några månader senare med US Department of Housing and Urban Development (HUD), som hävdade att företagets algoritmer härledde skyddade attribut som ras från användarnas data och visade dem annonser för bostäder baserade på dessa attribut. —en olaglig form av diskriminering. (Rättegången pågår fortfarande.) Schroepfer förutspådde också att kongressen snart skulle anta lagar till reglera algoritmisk diskriminering , så Facebook behövde göra framsteg på dessa ansträngningar ändå.

(Facebook ifrågasätter idén att de fortsatte sitt arbete med AI-bias för att skydda tillväxt eller i väntan på reglering. Vi byggde upp Responsible AI-teamet för att det var rätt sak att göra, sa en talesperson.)

Men att begränsa SAILs fokus till algoritmisk rättvisa skulle åsidosätta alla Facebooks andra långvariga algoritmiska problem. Dess innehållsrekommendationsmodeller skulle fortsätta att skicka inlägg, nyheter och grupper till användare i ett försök att maximera engagemanget, belöna extremistiskt innehåll och bidra till en allt mer splittrad politisk diskurs.

Zuckerberg erkände till och med detta. Två månader efter mötet med Quiñonero, in en offentlig notering Han beskrev Facebooks planer för innehållsmoderering och illustrerade de skadliga effekterna av företagets engagemangsstrategi med ett förenklat diagram. Det visade att ju mer sannolikt ett inlägg är att bryta mot Facebooks gemenskapsstandarder, desto mer användarengagemang får det, eftersom algoritmerna som maximerar engagemanget belönar inflammatoriskt innehåll.

FACEBOOK

Men sedan visade han ett annat diagram med det omvända förhållandet. Istället för att belöna innehåll som var nära att bryta mot communityns standarder, skrev Zuckerberg, kunde Facebook välja att börja straffa det, vilket ger det mindre distribution och engagemang snarare än mer. Hur skulle detta göras? Med mer AI. Facebook skulle utveckla bättre modeller för innehållsmoderering för att upptäcka detta gränsöverskridande innehåll så att det retroaktivt skulle kunna pressas ned i nyhetsflödet för att stoppa dess viralitet, sa han.

FACEBOOK

Problemet är att för alla Zuckerbergs löften är denna strategi i bästa fall svag.

Desinformation och hatretorik utvecklas ständigt. Nya lögner dyker upp; nya människor och grupper blir måltavlor. För att fånga saker innan de blir virala måste modeller för innehållsmoderering kunna identifiera nytt oönskat innehåll med hög noggrannhet. Men maskininlärningsmodeller fungerar inte på det sättet. En algoritm som har lärt sig att känna igen förnekelse av förintelsen kan inte omedelbart upptäcka, säg, förnekande av folkmord från rohingya. Det måste tränas på tusentals, ofta till och med miljoner, exempel på en ny typ av innehåll innan man lär sig att filtrera bort det. Även då kan användare snabbt lära sig att överlista modellen genom att göra saker som att ändra ordalydelsen i ett inlägg eller ersätta upphetsande fraser med eufemismer, vilket gör deras budskap oläsligt för AI medan det fortfarande är uppenbart för en människa. Det är därför nya konspirationsteorier snabbt kan komma utom kontroll, och delvis varför, även efter att sådant innehåll har förbjudits, former av det burk envisas på plattformen.

I sin New York Times-profil, Schroepfer namngav dessa begränsningar av företagets strategi för innehållsmoderering. Varje gång Schroepfer och hans mer än 150 ingenjörsspecialister skapar A.I. lösningar som flaggar och dämpar skadligt material, nya och tvivelaktiga inlägg som A.I. system har aldrig sett förut dyka upp — och fångas därmed inte upp, skrev Times. Det kommer aldrig att gå till noll, sa Schroepfer till tidningen.

Samtidigt fungerar algoritmerna som rekommenderar detta innehåll fortfarande för att maximera engagemanget. Detta innebär att varje giftigt inlägg som undkommer filtren för innehållsmoderering kommer att fortsätta att pressas högre upp i nyhetsflödet och marknadsföras för att nå en större publik. Faktum är att a studie från New York University fann nyligen att bland partipolitiska utgivares Facebook-sidor fick de som regelbundet publicerade politisk desinformation mest engagemang i upptakten till det amerikanska presidentvalet 2020 och upploppen i Capitol. Det fick mig precis, säger en före detta anställd som arbetade med integritetsfrågor från 2018 till 2019. Vi erkände [detta] fullt ut och ändå ökar vi engagemanget.

Men Quiñoneros SAIL-team arbetade inte med det här problemet. På grund av Kaplans och Zuckerbergs oro för att alienera konservativa, förblev teamet fokuserat på partiskhet. Och även efter att det slogs samman till det större teamet för ansvarsfull AI, fick det aldrig mandat att arbeta med system för innehållsrekommendationer som kan begränsa spridningen av felaktig information. Det har inte heller något annat team gjort, vilket jag bekräftade efter att Entin och en annan talesperson gav mig en fullständig lista över alla Facebooks andra initiativ i integritetsfrågor – företagets paraplyterm för problem inklusive desinformation, hatretorik och polarisering.

Relaterad berättelse

Jag började gråta: Inuti Timnit Gebrus sista dagar på Google – och vad som händer härnäst .

En talesperson för Facebook sa att arbetet inte utförs av ett specifikt team eftersom det inte är så företaget fungerar. Den delas istället ut bland de team som har den specifika expertis att ta itu med hur innehållsrankning påverkar desinformation för deras del av plattformen, sa hon. Men Schroepfer sa till mig precis motsatsen i en tidigare intervju. Jag hade frågat honom varför han hade skapat ett centraliserat ansvarsfullt AI-team istället för att styra befintliga team att göra framsteg i frågan. Han sa att det var bästa praxis på företaget.

[Om] det är ett viktigt område måste vi gå snabbt på det, det är inte väldefinierat, [vi skapar] ett dedikerat team och får rätt ledarskap, sa han. När ett område växer och mognar kommer du att se produktteamen ta på sig mer arbete, men det centrala teamet behövs fortfarande eftersom du måste hålla dig uppdaterad med det senaste arbetet.

När jag beskrev det ansvariga AI-teamets arbete för andra experter på AI-etik och mänskliga rättigheter, noterade de bristen på överensstämmelse mellan de problem som det tog itu med och de, som desinformation, som Facebook är mest ökänt för. Det här verkar vara så konstigt borttaget från Facebook som en produkt - de saker som Facebook bygger och frågorna om påverkan på världen som Facebook står inför, sa Rumman Chowdhury, vars startup, Paritet , ger råd till företag om ansvarsfull användning av AI, och förvärvades av Twitter efter vår intervju. Jag hade visat Chowdhury Quiñonero-teamets dokumentation som beskriver deras arbete. Jag tycker att det är förvånande att vi kommer att prata om inkludering, rättvisa, rättvisa och inte prata om de mycket verkliga problem som händer idag, sa hon.

Det verkar som om inramningen av 'ansvarig AI' är helt subjektiv till vad ett företag bestämmer sig för att bry sig om. Det är som 'Vi kommer att hitta på villkoren och sedan följer vi dem', säger Ellery Roberts Biddle, redaktionschef för Ranking Digital Rights, en ideell organisation som studerar teknikföretagens inverkan på mänskliga rättigheter. Jag förstår inte ens vad de menar när de pratar om rättvisa. Tycker de att det är rättvist att rekommendera att folk går med i extremistiska grupper, som de som stormade Capitolium? Om alla får rekommendationen, betyder det att det var rättvist?

Vi är på en plats där det finns ett folkmord [Myanmar] som FN, med många bevis, har kunnat specifikt peka på Facebook och på hur plattformen främjar innehåll, tillägger Biddle. Hur mycket högre kan insatserna bli?

Under de senaste två åren, Quiñoneros team har byggt ut Kloumanns originalverktyg, kallat Fairness Flow. Det låter ingenjörer mäta noggrannheten hos maskininlärningsmodeller för olika användargrupper. De kan jämföra en ansiktsigenkänningsmodells noggrannhet över olika åldrar, kön och hudtoner, eller en taligenkänningsalgoritms noggrannhet över olika språk, dialekter och accenter.

Fairness Flow kommer också med en uppsättning riktlinjer för att hjälpa ingenjörer att förstå vad det innebär att utbilda en rättvis modell. Ett av de svårare problemen med att göra algoritmer rättvisa är att det finns olika definitioner av rättvisa , vilket kan vara ömsesidigt oförenligt. Fairness Flow listar fyra definitioner som ingenjörer kan använda enligt vilka som passar deras syfte bäst, till exempel om en taligenkänningsmodell känner igen alla accenter med lika noggrannhet eller med en minsta tröskel för noggrannhet.

Men att testa algoritmer för rättvisa är fortfarande till stor del valfritt på Facebook. Inget av teamen som arbetar direkt på Facebooks nyhetsflöde, annonstjänst eller andra produkter måste göra det. Löneincitament är fortfarande knutna till engagemang och tillväxtmått. Och även om det finns riktlinjer om vilken rättvisedefinition som ska användas i en given situation, tillämpas de inte.

Detta sista problem kom i förgrunden när företaget var tvungen att hantera anklagelser om antikonservativ partiskhet.

2014 befordrades Kaplan från USA:s policychef till global vicepresident för politik, och han började spela en mer hårdhänt roll i innehållsmoderering och beslut om hur man rankar inlägg i användarnas nyhetsflöden. Efter att republikaner började framföra påståenden om antikonservativ partiskhet 2016 började hans team manuellt granska effekterna av modeller för desinformationsdetektering på användare för att säkerställa – bland annat – att de inte oproportionerligt straffade konservativa.

Alla Facebook-användare har cirka 200 egenskaper kopplade till sin profil. Dessa inkluderar olika dimensioner som lämnats in av användare eller uppskattas av maskininlärningsmodeller, såsom ras, politiska och religiösa hållningar, socioekonomisk klass och utbildningsnivå. Kaplans team började använda egenskaperna för att sätta ihop anpassade användarsegment som till stor del återspeglade konservativa intressen: användare som ägnade sig åt konservativt innehåll, grupper och sidor, till exempel. Sedan körde de speciella analyser för att se hur beslut om innehållsmoderering skulle påverka inlägg från dessa segment, enligt en före detta forskare vars arbete var föremål för dessa recensioner.

Fairness Flow-dokumentationen, som Responsible AI-teamet skrev senare, innehåller en fallstudie om hur man använder verktyget i en sådan situation. När man avgör om en desinformationsmodell är rättvis med avseende på politisk ideologi, skrev teamet, att rättvisa gör det inte innebär att modellen bör påverka konservativa och liberala användare lika. Om konservativa publicerar en större del av desinformation, enligt offentlig konsensus, bör modellen flagga en större del av konservativt innehåll. Om liberaler publicerar mer desinformation bör det flagga deras innehåll oftare också.

Men medlemmar i Kaplans team följde exakt motsatt tillvägagångssätt: de tog rättvisa för att betyda att dessa modeller inte skulle påverka konservativa mer än liberaler. När en modell gjorde det, skulle de stoppa utbyggnaden och kräva en förändring. En gång blockerade de en detektor för medicinsk desinformation som märkbart hade minskat räckvidden för antivaccinkampanjer, berättade den tidigare forskaren för mig. De sa till forskarna att modellen inte kunde användas förrän teamet åtgärdat denna avvikelse. Men det gjorde faktiskt modellen meningslös. Det är alltså ingen mening, säger forskaren. En modell modifierad på det sättet skulle bokstavligen inte ha någon inverkan på det faktiska problemet med desinformation.

Jag förstår inte ens vad de menar när de pratar om rättvisa. Tycker de att det är rättvist att rekommendera att folk går med i extremistiska grupper, som de som stormade Capitolium? Om alla får rekommendationen, betyder det att det var rättvist?

Ellery Roberts Biddle, redaktionschef för Ranking Digital Rights

Detta hände otaliga andra gånger – och inte bara för innehållsmoderering. År 2020, Washington Post rapporterade att Kaplans team hade undergrävt ansträngningar för att mildra valinblandning och polarisering inom Facebook och sa att de kunde bidra till antikonservativ partiskhet. Under 2018 använde man samma argument för att lägga ner ett projekt för att redigera Facebooks rekommendationsmodeller även om forskare trodde att det skulle minska splittringen på plattformen, enligt Wall Street Journal . Hans påståenden om politisk partiskhet försvagade också ett förslag om att redigera rankningsmodellerna för nyhetsflödet som Facebooks dataforskare trodde skulle stärka plattformen mot den manipulationstaktik som Ryssland hade använt under det amerikanska valet 2016.

Och inför valet 2020 använde Facebooks policychefer denna ursäkt, enligt The New York Times , för att lägga in sitt veto mot eller försvaga flera förslag som skulle ha minskat spridningen av hatiskt och skadligt innehåll.

Facebook bestred Wall Street Journals rapportering en uppföljningsblogg inlägg och utmanade New York Times karaktärisering i en intervju med publikationen. En talesperson för Kaplans team förnekade också för mig att detta var ett beteendemönster och sa att de fall som rapporterats av Posten, Journalen och Times alla var individuella instanser som vi tror är felaktigt karakteriserade. Han avböjde att kommentera omskolningen av desinformationsmodeller på posten.

Många av dessa incidenter inträffade innan Fairness Flow antogs. Men de visar hur Facebooks strävan efter rättvisa i tillväxtens tjänst redan hade kostat högt för att gå vidare med plattformens andra utmaningar. Och om ingenjörer använde definitionen av rättvisa som Kaplans team hade antagit, skulle Fairness Flow helt enkelt kunna systematisera beteenden som belönade felaktig information istället för att hjälpa till att bekämpa den.

Ofta kom det hela med rättvisa till spel bara som ett bekvämt sätt att upprätthålla status quo, säger den tidigare forskaren: Det verkar flyga i ansiktet med de saker som Mark sa offentligt när det gäller att vara rättvis och rättvis.

Senast jag pratade med Quiñonero var en månad efter US Capitol-upploppen. Jag ville veta hur stormandet av kongressen hade påverkat hans tänkande och inriktningen av hans arbete.

I videosamtalet var det som det alltid var: Quiñonero ringde in från sitt hemmakontor i ett fönster och Entin, hans PR-hanterare, i ett annat. Jag frågade Quiñonero vilken roll han tyckte att Facebook hade spelat i upploppen och om det förändrade uppgiften han såg för Responsible AI. Efter en lång paus kringgick han frågan och inledde en beskrivning av det senaste arbetet han gjort för att främja större mångfald och inkludering bland AI-teamen.

Jag ställde frågan till honom igen. Hans Facebook Portal-kamera, som använder datorseende algoritmer för att spåra talaren, började långsamt zooma in på hans ansikte när han växte still. Jag vet inte att jag har ett enkelt svar på den frågan, Karen, sa han. Det är en extremt svår fråga att ställa till mig.

Entin, som hade gått snabbt med ett stoiskt pokeransikte, tog en röd stressboll.

Jag frågade Quiñonero varför hans team inte tidigare hade tittat på sätt att redigera Facebooks innehållsrankningsmodeller för att stävja desinformation och extremism. Han berättade för mig att det var andra teams jobb (även om ingen, som jag bekräftade, har fått mandat att arbeta med den uppgiften). Det är inte möjligt för Responsible AI-teamet att studera alla dessa saker själva, sa han. När jag frågade om han skulle överväga att låta sitt team ta itu med dessa frågor i framtiden, erkände han vagt att jag håller med dig om att det kommer att vara omfattningen av dessa typer av samtal.

Nära slutet av vår timslånga intervju började han betona att AI ofta orättvist utmålades som boven. Oavsett om Facebook använde AI eller inte, sa han, skulle folk fortfarande sprida lögner och hatretorik, och det innehållet skulle fortfarande spridas över plattformen.

Jag tryckte på honom en gång till. Visst kunde han inte tro att algoritmer absolut inte hade gjort någonting för att ändra karaktären på dessa problem, sa jag.

Jag vet inte, sa han med en hejdande stamning. Sedan upprepade han, med mer övertygelse: Det är mitt ärliga svar. Ärlig mot Gud. Jag vet inte.

Rättelser: Vi ändrade en rad som antydde att Joel Kaplan, Facebooks vicepresident för global policy, hade använt Fairness Flow. Han har inte. Men medlemmar i hans team har använt begreppet rättvisa för att begära omskolning av desinformationsmodeller på sätt som direkt motsäger Responsible AI:s riktlinjer. Vi klargjorde också när Rachad Alao, ingenjörschefen för Responsible AI , gick med i företaget.