Jag var där när: Facebook satte vinster över säkerhet

Förra månaden, den primära källan för Wall Street Journals Facebook-filer , avslöjade sin identitet i ett avsnitt av 60 minuter . Frances Haugen, en tidigare produktchef på företaget, säger att hon trädde fram efter att hon såg Facebooks ledarskap upprepade gånger prioritera vinst framför säkerhet. Hon dök sedan upp inför lagstiftare i USA och Storbritannien för att prata om vad hon hade lärt sig under sin tid på företaget.

Men Haugen var inte den första Facebook-whistleblower som slog larm över företagets oförmåga – eller ovilja – att hantera allvarliga problem som orsakats av plattformens algoritmer. År 2020 fick vi veta om Sophie Zhang, som officiellt hade anställts som datavetare på låg nivå på företaget. När hon slutade avslöjade hennes storsäljande, 8 000 ords exitmemo-memo att hon hade identifierat dussintals länder, inklusive Indien, Mexiko, Afghanistan och Sydkorea, där falska konton och likes tillät politiker att vilseleda allmänheten och få makt. Det avslöjade också hur lite företaget hade gjort för att mildra problemet, trots Zhangs upprepade försök att uppmärksamma ledarskapet på det.

I det senaste avsnittet av Jag var där när , ett nytt muntligt historieprojekt från podden In Machines We Trust, talar vi med Zhang om hennes ansträngningar.

Krediter:

Det här avsnittet producerades av Jennifer Strong, Anthony Green och Emma Cillekens. Den är redigerad av Michael Reilly och Mat Honan. Den är mixad av Garret Lang, med ljuddesign och musik av Jacob Gorski.

Fullständig utskrift:

[TR ID]

SOT: Frances Haugen: Under min tid på Facebook insåg jag en förödande sanning. Nästan ingen utanför Facebook vet vad som händer inuti Facebook.

Jennifer: Frances Haugen är tidigare produktchef på Facebook. Hon har lämnat in klagomål till federala brottsbekämpande myndigheter och hävdar att sociala mediejättens ledarskap upprepade gånger har satt vinst framför säkerhet.

SOT: Frances Haugen: Företaget döljer avsiktligt viktig information från allmänheten, från den amerikanska regeringen och från regeringar runt om i världen.

Jennifer: Hennes klagomål kom med en mängd dokument som Haugen samlade in innan han slutade... i ett försök att visa att företaget medvetet hade valt att inte åtgärda problemen på sin plattform.

Bland dem... att algoritmer som den bakom ditt Facebook-nyhetsflöde förstärker hat, desinformation och politisk oro.

Och hon är inte den enda whistleblower som anklagar företaget för att blunda för desinformationskampanjer på plattformen.

Sophie Zhang arbetade som dataforskare på Facebook... och fram till att hon fick sparken konsumerade hon sig själv med att hitta och ta bort falska konton, kommentarer och likes som användes för att påverka val globalt. Hennes storsäljande exit-memo var på åtta tusen ord... och det avslöjade hur lite Facebook hade gjort för att mildra problemet.

Jag är Jennifer Strong, och det här är Jag var där när .

Det är ett muntligt historiskt projekt som visar berättelserna om hur vattendelare-ögonblick inom artificiell intelligens och datoranvändning hände ... som berättat av människorna som bevittnade dem.

[Visa ID]

Sophie Zhang: Jag är Sophie Zhang. På Facebook var jag datavetare och jag arbetade i engagemangsteamet. Med falska menar jag till exempel falska konton, men även hackade konton. Och med engagemang menar jag gilla-markeringar, kommentarer, delningar, et cetera. Men på min fritid, när jag började månsken i området för att hitta oäkta politisk aktivitet. Ofta mycket sofistikerad, oäkta politisk aktivitet. Jag skulle kunna hävda att detta också var falskt engagemang, men det var inte vad jag förväntades arbeta med.

När jag började titta på skärningspunkterna mellan falskt engagemang och medborgerlig aktivitet fann jag mycket snabbt resultat över hela världen. Jag hittade resultat i, i Brasilien, i Indien, i Indonesien, i många nationer, men också i Honduras, ganska mycket i Honduras faktiskt i förhållande till dess storlek. Och jag höll på att sammanställa en rapport för ledarskap om problemet. Jag tänkte ta en skärmdump av sidan för den stora mottagaren i Honduras, Juan Orlando Hernández, som efter att jag sökt upp honom visade sig vara Honduras president.

Jag skulle till hans sida för att ta en skärmdump när de plötsligt slutade, för jag märkte något väldigt ovanligt eftersom de som var, som gillade hans sida och kommenterade, många av dem inte var människor alls. De var sidor som utgav sig för att vara användare. Och så bara för att ta ett steg tillbaka här, vad är sidor? Vad är användare? Sidor är en Facebook-funktion avsedd för offentliga personer, offentliga organisationer, etc. Så till exempel har MIT Tech Review en Facebook-sida. MIT Tech Review är inte en person. Sidan drivs av någon annan på Facebook.

Och så avsikten med hur Facebook-sidor är, är att de ska återspegla offentliga enheter och en enda användare kan kontrollera många sidor. Så till exempel kan samma administratör kontrollera CNN-sidan såväl som CNN, Filippinerna och CNN Europe, etcetera. Men det fanns inget som hindrade en användare från att skapa hundratals sidor, ge dem namn och profilbilder som riktiga människor och låta dem agera som riktiga människor. Faktum är att det var lättare för dem eftersom de ganska enkelt kunde växla mellan dessa sidor utan att behöva logga in och ut varje gång.

Insåg ganska snabbt att dessa falska sidor som låtsades vara användare, det fanns tusentals av dem i Honduras. Och några hundra av dem drevs personligen av sidadministratören för Honduras president. Detta var någon som uppenbarligen hade ett betydande förtroende på sociala medier i Honduras regering. Och de dolde inte ens det faktum att de använde tusentals falska tillgångar för att manipulera sina egna medborgare.

Och så från början var jag väldigt naiv. Jag tänkte att, okej, jag hittade det här. Dessa människor var dumma. Vi fångade dem. Jag kommer att lämna över dem till andra. De tar över det. Jag kan dra tillbaka till mitt faktiska jobb och allt kommer att bli bra. Det blev istället början på en tvåårig sisyfeisk prövning, för det som hände när jag uppfostrade var alla överens om att det här var hemskt. Det var inte kontroversiellt att detta var dåligt. Alla var överens om att detta inte skulle tillåtas, men frågan var vad vi gör åt det? Har vi förmågan att agera på det? Ligger det inom vår policy att agera på det, et cetera. Från början pratade jag om det till alla som verkade relatera till det. Jag talade om det till Pages Integrity, till Groups Integrity. Jag pratade om det med medborgerlig integritetsteamet. Jag försökte få hotintelligens intresserad. Till slut pratade jag med alla som ville lyssna. Jag pratade med alla till och med vicepresident Guy Rosen. I grund och botten var det som att prata med vinden, som att försöka tömma havet med ett durkslag. Så småningom kom jag på att det bästa sättet att få resultat ofta inte var att försöka gå via de rätta kanalerna, utan genom att klaga offentligt inom företaget på Workplace, som i huvudsak är Facebook för kontoret, och göra Workplace-inlägg om situationen som andra på företaget kunde se. Och många av dem var naturligtvis upprörda över det eftersom det inte var den sortens företag de trodde att de arbetade för och ville jobba för. Jag vet inte om det var på detta sätt, av andra, men så småningom tog Facebook slutligen ner operationen av den honduriska regeringen, vilket var internationella nyheter.

Några veckor senare kom operationen tillbaka med en annan metod. När vi fick nedtagningen i Honduras var jag fortfarande naiv och idealistisk i början. Jag tänkte, okej, innan det här sa alla att vi inte hade ett prejudikat, vi visste inte vad vi skulle göra, men nu har vi prejudikatet. Nu kan vi säga att vi har skapat detta prejudikat för att göra detta. Vi kan lösa det på den här metoden. Och så efter detta tänkte jag, okej, jag kan skicka dem över alla andra som jag hittade. De skulle ta hand om det. De tog inte hand om det. När jag använde de rätta kanalerna för att skicka över dem, gick de i huvudsak in i en svart låda där de ignorerades.

Under andra halvan av 2019 lyfte och flaggade jag ytterligare cirka tre dussin nätverk av oäkta politiska aktiviteter från Afghanistan till Albanien, från Brasilien, till Bolivia, från Indien till Indonesien. Och så det tog ett tag att ta reda på det rätta sättet att faktiskt få resultat och få folk att faktiskt svara. Det berodde på om de var knutna till politiker och framstående personer, för om något var knutet till en politisk person blev det mycket svårare att ta ner det. Jag ska ge dig ett nummer nu när jag inte lämnade när de såg det första gången. Eftersom Azerbajdzjan verkligen har mindre än 3 % av världens befolkning, mycket mindre, skapade dess nätverk kanske en miljon kommentarer varje månad. Och detta utgjorde ungefär 3 % av alla kommentarer från sidor på inlägg från andra sidor världen över, globalt, medborgare eller icke-medborgerliga.

Men även när jag tog Azerbajians regering på bar gärning tog det mer än ett år innan operationen avvecklades. När jag upptäckte att Azerbajdzjans regering hade inrättat en massiv vägtullgård av betalda agenter för att trakassera oppositionen i stora volymer. Detta var mycket klart dåligt. Det var mycket tydligt knutet till den azerbajianska regeringen. Och den var enorm i skala. Men när vi tog ner det, är jag säker på att någonstans på Facebook, fanns det ett team som var väldigt upprörda över varför siffrorna plötsligt sjönk utan anledning som de kunde ta reda på. mellan min upptäckt och nedläggningen hade Azerbajdzjan slagit till mot oppositionen, arresterat oförbättrade oppositionsfigurer och startat ett krig med Armenien.

Det blev mer och mer påfrestande att jobba med frågan. Det är svårt att individuellt se vilken inverkan något av detta hade, men det blev snabbt uppenbart att det var knutet till aktivitet i länder som hade det kämpigt eftersom det var så mycket på gång. Och det var jag som personligen fattade beslut om vad som var viktigt. Det var i princip helt upp till mig vad jag valde att gå vidare med, vad jag valde att prioritera och försöka få uppmärksamhet för. Och jag valde att inte prioritera Bolivia eftersom det objektivt sett var väldigt litet och inte särskilt smart. Långt efter valet var det massprotester som eskalerade till vad som alternativt har kallats en statskupp eller ett folkligt uppror som resulterade i den bolivianska regeringens fall. Jag vet att det här inte borde ha varit mitt personliga ansvar, men i slutändan var det ingen annan som klev upp. Och så valde jag att göra det själv. Och eftersom jag hade satt mig själv i den här positionen var det i huvudsak upp till mig själv, vad som var tillräckligt viktigt att fokusera på, och jag vill vara tydlig. Det var alltid andra som var det, som var ansvariga för att förfina mina fynd och ansvarade för att faktiskt ta ner det på slutet.

Jag bestämde mig från början att jag bara skulle vara åklagare, i huvudsak skulle jag göra mitt bästa för att aldrig vara domare, jury och bödel, eftersom jag redan hade för mycket makt i mina händer. Jag tror inte att någon ska kunna avgöra om Albanien är viktigare än Azerbajdzjan eller sådana frågor. Eftersom de också hittade i den boken som var knutna till att stödja medlemmar av den albanska regeringen. Men det jag hittade i Azerbajdzjan var objektivt sett värre vad gäller storlek och skala. Och så jag visste att jag bara hade det politiska kapitalet att mycket långsamt driva igenom en i taget. Och så valde jag att fokusera på Azerbajdzjan. Det pågår fortfarande i Albanien. Albanien hade allmänna val tidigare i år, och det pågick fortfarande då. Jag menar, mer än två år efter att jag upptäckte det, har Facebook fortfarande inte gjort någonting.

Och jag kan bara be om ursäkt till det albanska folket. Jag borde inte ha varit i en position där jag behövde välja om Albanien eller Azerbajdzjan var viktigare. Jag står fast vid mitt beslut eftersom det de hittade i Azerbajdzjan var objektivt sett värre, men ändå borde ingen enskild person vara ansvarig för frågor som denna. Det har varit många nyhetsrapporter om hur Facebook har underresurser på integritetsområdet. Jag har inte sett några nyhetsrapporter som klagar på att Facebook har för lite resurser i annonsmarknadsföring. Och jag tror att det säger volymer om företagets prioriteringar i slutet.

Det jag tyckte var svårast var i vissa auktoritära länder. Den demokratiska oppositionen gynnades av att använda och välsmakande taktik. Och jag tänkte mest över de fallen. Men jag tog ändå ner dem utan att tveka eftersom jag trodde mycket fast att min lojalitet var till idéerna om demokrati och rättsstatsprincipen. Och att demokrati i grunden inte kan stå på en bädd av lögn. Som en anställd på mycket låg nivå på min egen fritid, utan någon som helst uppsikt, fattade beslut personligen, som direkt påverkade nationella regeringar.

Det är en svår fråga att svara på vad jag tror borde hända, för en del av det är som att fråga om du kan göra himlen vilken färg som helst, vilken färg skulle du vilja att den ska ha? Eftersom det är en, det är mestadels en teoretisk fråga och ditt svar kommer inte att ha någon verklig effekt på den verkliga världen.

Jag kan inte få Mark att ändra sig längre än att de kan göra himlen rosa över en natt. Det här är upp till människorna som lyssnar på mig, till människor som du själv, för jag kan inte ändra någonting själv. Jag har bara så mycket makt som andra ger mig. Om du vill att saker ska förändras bör du personligen fråga dina representanter eftersom detta i slutändan är ett problem som inte upplevs av några enstaka personer. Detta är problemet där kostnaderna bärs av samhället, av demokratin, av den civila diskursen som helhet. Och som företag har Facebook inga incitament att fixa detta längre än vad vi förväntade oss att Philip Morris skulle utveckla icke-beroendeframkallande cigaretter.

Jennifer: Jag var där när är ett muntligt historiskt projekt som visar berättelser om människor som har sett eller skapat genombrott inom artificiell intelligens och datoranvändning.

Har du en historia att berätta? Känner du någon som gör det? Skicka ett mejl till oss på podcasts på technology review dot com.

[MIDROLL]

[KREDIT]

Jennifer: Det här avsnittet producerades av mig med hjälp av Anthony Green och Emma Cillekens. Vi är redigerade av Niall Firth och Mat Honan. Vår mixtekniker är Garret Lang... och vår temamusik är av Jacob Gorski.

Tack för att du lyssnade, jag heter Jennifer Strong.

[TR ID]

Dölj