Facebooks whistleblower säger att dess algoritmer är farliga. Här är varför.

Facebook-visselblåsaren Frances Haugen vittnar under en senatskommitté den 5 oktober. Drew Angerer/Getty Images

På söndag kväll, den primära källan för Wall Street Journals Facebook-filer , en undersökande serie baserad på interna Facebook-dokument, avslöjade hennes identitet i ett avsnitt av 60 minuter .

Frances Haugen, en tidigare produktchef på företaget, säger att hon trädde fram efter att hon såg Facebooks ledarskap upprepade gånger prioritera vinst framför säkerhet.

Innan hon slutade i maj i år, kammade hon igenom Facebook Workplace, företagets interna sociala medier-nätverk för anställda, och samlade en lång rad interna rapporter och forskning i ett försök att slutgiltigt visa att Facebook avsiktligt hade valt att inte åtgärda problemen på sin plattform.

Idag vittnade hon inför senaten om Facebooks inverkan på samhället. Hon upprepade många av resultaten från den interna forskningen och bad kongressen att agera.

Relaterad berättelse

Hur Facebook blev beroende av att sprida desinformation

Företagets AI-algoritmer gav det en omättlig vana för lögner och hatretorik. Nu kan inte mannen som byggde dem fixa problemet.

Jag är här i dag för att jag tror att Facebooks produkter skadar barn, skapar splittring och försvagar vår demokrati, sa hon i sitt inledande uttalande till lagstiftare. Dessa problem är lösbara. En säkrare, yttrandefrihetsrespekterande, roligare social media är möjlig. Men det finns en sak som jag hoppas att alla tar bort från dessa avslöjande, det är att Facebook kan förändras, men kommer uppenbarligen inte att göra det på egen hand.

Under sitt vittnesmål skyllde Haugen särskilt på Facebooks algoritm- och plattformsdesignbeslut för många av dess problem. Detta är en anmärkningsvärd förändring från politiska beslutsfattares befintliga fokus på Facebooks innehållspolicy och censur – vad som hör och inte hör hemma på Facebook. Många experter tror att denna snäva syn leder till en mullvad strategi som missar den större bilden.

Jag är en stark förespråkare för icke-innehållsbaserade lösningar, eftersom dessa lösningar kommer att skydda de mest utsatta människorna i världen, sa Haugen och pekade på Facebooks ojämna förmåga att genomdriva sin innehållspolicy på andra språk än engelska.

Haugens vittnesmål återspeglar många av fynden från en MIT Technology Review-undersökning publicerades tidigare i år, som byggde på dussintals intervjuer med Facebook-chefer, nuvarande och tidigare anställda, branschkollegor och externa experter. Vi tog ihop de mest relevanta delarna av vår utredning och annan rapportering för att ge Haugens vittnesmål mer sammanhang.

Hur fungerar Facebooks algoritm?

I vardagsspråk använder vi termen Facebooks algoritm som om det bara finns en. Faktum är att Facebook bestämmer hur man riktar in annonser och rangordnar innehåll baserat på hundratals, kanske tusentals, algoritmer. Några av dessa algoritmer retar ut en användares preferenser och ökar den typen av innehåll upp i användarens nyhetsflöde. Andra är till för att upptäcka specifika typer av dåligt innehåll, som nakenhet, skräppost eller rubriker för clickbait, och ta bort eller trycka ner dem i flödet.

Alla dessa algoritmer är kända som maskinlärande algoritmer. Som jag skrev tidigare i år :

Till skillnad från traditionella algoritmer, som är hårdkodade av ingenjörer, tränar maskininlärningsalgoritmer på indata för att lära sig korrelationerna inom den. Den tränade algoritmen, känd som en maskininlärningsmodell, kan sedan automatisera framtida beslut. En algoritm som tränas på annonsklickdata kan till exempel lära sig att kvinnor klickar på annonser för yogaleggings oftare än män. Den resulterande modellen kommer då att visa fler av dessa annonser till kvinnor.

Och på grund av Facebooks enorma mängder användardata kan det

utveckla modeller som lärde sig att sluta sig till existensen inte bara av breda kategorier som kvinnor och män, utan av mycket finkorniga kategorier som kvinnor mellan 25 och 34 som gillade Facebook-sidor relaterade till yoga och [inriktar] annonser på dem. Ju finare inriktningen är, desto bättre är chansen för ett klick, vilket skulle ge annonsörerna mer valuta för pengarna.

Samma principer gäller för att rangordna innehåll i nyhetsflödet:

Precis som algoritmer [kan] tränas för att förutsäga vem som skulle klicka på vilken annons, kan de också tränas i att förutsäga vem som skulle gilla eller dela vilket inlägg, och sedan ge dessa inlägg mer framträdande plats. Om modellen avgjorde att en person verkligen gillade hundar, till exempel, skulle vänners inlägg om hundar dyka upp högre upp på användarens nyhetsflöde.

Innan Facebook började använda maskininlärningsalgoritmer använde team designtaktik för att öka engagemanget. De skulle experimentera med saker som färgen på en knapp eller frekvensen av meddelanden för att få användare att komma tillbaka till plattformen. Men maskininlärningsalgoritmer skapar en mycket kraftfullare återkopplingsslinga. De kan inte bara anpassa vad varje användare ser, de kommer också att fortsätta att utvecklas med en användares skiftande preferenser, och ständigt visa varje person vad som kommer att hålla dem mest engagerade.

Vem driver Facebooks algoritm?

Inom Facebook finns det inget team som ansvarar för detta innehållsrankningssystem i sin helhet. Ingenjörer utvecklar och lägger till sina egna maskininlärningsmodeller i mixen, baserat på deras teams mål. Till exempel kommer team som fokuserar på att ta bort eller degradera dåligt innehåll, så kallade integritetsteam, bara träna modeller för att upptäcka olika typer av dåligt innehåll.

Detta var ett beslut som Facebook tog tidigt som en del av sin snabba utveckling och bryta kulturen. Det utvecklade ett internt verktyg som kallas FBLearner Flow som gjorde det enkelt för ingenjörer utan erfarenhet av maskininlärning att utveckla vilka modeller de behövde till sitt förfogande. Vid en datapunkt användes den redan av mer än en fjärdedel av Facebooks ingenjörsteam 2016.

Relaterad berättelse

Hon riskerade allt för att avslöja Facebook. Nu berättar hon sin historia.

Sophie Zhang, en före detta dataforskare på Facebook, avslöjade att det möjliggör global politisk manipulation och har inte gjort mycket för att stoppa det.

Många av de nuvarande och tidigare Facebook-anställda som jag har pratat med säger att detta är en del av varför Facebook inte verkar kunna få grepp om vad det serverar användarna i nyhetsflödet. Olika team kan ha konkurrerande mål, och systemet har blivit så komplext och otympligt att ingen längre kan hålla reda på alla dess olika komponenter.

Som ett resultat är företagets huvudsakliga process för kvalitetskontroll genom experiment och mätning. Som jag skrev:

Team tränar upp en ny maskininlärningsmodell på FBLearner, oavsett om de ska ändra rankningsordningen för inlägg eller för att bättre fånga innehåll som bryter mot Facebooks community-standarder (dess regler om vad som är och inte är tillåtet på plattformen). Sedan testar de den nya modellen på en liten delmängd av Facebooks användare för att mäta hur den förändrar engagemangsstatistik, som antalet gilla-markeringar, kommentarer och delningar, säger Krishna Gade, som fungerade som ingenjörschef för nyhetsflödet från 2016 till 2018 .

Om en modell minskar engagemanget för mycket, kasseras den. Annars distribueras den och övervakas kontinuerligt. På Twitter, Gade förklarade att hans ingenjörer skulle få aviseringar med några dagars mellanrum när mätvärden som gilla-markeringar eller kommentarer låg nere. Sedan skulle de dechiffrera vad som hade orsakat problemet och om några modeller behövde omskolning.

Hur har Facebooks innehållsrankning lett till spridningen av desinformation och hatretorik?

Under sitt vittnesmål återkom Haugen upprepade gånger till tanken att Facebooks algoritm framkallar desinformation, hatretorik och till och med etniskt våld.

Facebook … vet – de har erkänt offentligt – att engagemangbaserad rankning är farlig utan integritet och säkerhetssystem, men sedan rullade inte ut dessa integritets- och säkerhetssystem på de flesta språk i världen, sa hon till senaten idag. Det drar isär familjer. Och på platser som Etiopien uppblåser det bokstavligen till etniskt våld.

Här är vad jag har skrivit om detta tidigare:

De maskininlärningsmodeller som maximerar engagemanget gynnar också kontroverser, desinformation och extremism: enkelt uttryckt, människor gillar upprörande saker.

Ibland väcker detta existerande politiska spänningar. Det mest förödande exemplet hittills är fallet med Myanmar, där virala falska nyheter och hatpropaganda om den muslimska minoriteten rohingya eskalerade landets religiösa konflikt till ett fullständigt folkmord. Facebook erkände 2018, efter år av nedtonat sin roll, att de inte hade gjort tillräckligt för att förhindra att vår plattform används för att uppmuntra splittring och uppvigla offlinevåld.

Som Haugen nämnde har Facebook också vetat om detta ett tag. Tidigare rapporter har funnit att det har studerat fenomenet sedan åtminstone 2016.

I en intern presentation från det året, granskad av Wall Street Journal , fann en företagsforskare, Monica Lee, att Facebook inte bara var värd för ett stort antal extremistgrupper utan också marknadsför dem för sina användare: 64 % av alla extremistgrupper som går med beror på våra rekommendationsverktyg, sade presentationen, främst tack vare modellerna bakom funktionerna för grupper du bör gå med i och upptäck.

Under 2017 bildade Chris Cox, Facebooks mångåriga produktchef, en ny arbetsgrupp för att förstå om maximering av användarengagemanget på Facebook bidrog till politisk polarisering. Den fann att det verkligen fanns en korrelation och att en minskning av polariseringen skulle innebära att man drabbades av engagemang. I ett dokument i mitten av 2018 som granskades av tidskriften föreslog arbetsgruppen flera potentiella korrigeringar, som att justera rekommendationsalgoritmerna för att föreslå ett mer varierat utbud av grupper för människor att gå med. Men den erkände att några av idéerna var anti-tillväxt. De flesta av förslagen gick inte framåt, och arbetsgruppen upplöstes.

I mina egna samtal bekräftade Facebook-anställda också dessa fynd.

En tidigare Facebook AI-forskare som gick med 2018 säger att han och hans team genomförde studie efter studie som bekräftar samma grundläggande idé: modeller som maximerar engagemanget ökar polariseringen. De kunde enkelt spåra hur starkt användarna var överens eller oense i olika frågor, vilket innehåll de gillade att engagera sig i och hur deras ställningstaganden förändrades som ett resultat. Oavsett problemet lärde sig modellerna att ge användarna allt mer extrema synpunkter. Med tiden blir de mätbart mer polariserade, säger han.

Relaterad berättelse

Kapplöpet om att förstå språkets AI:s spännande, farliga värld

Hundratals forskare runt om i världen arbetar tillsammans för att förstå en av de mest kraftfulla framväxande teknologierna innan det är för sent.

I sitt vittnesmål betonade Haugen också upprepade gånger hur dessa fenomen är mycket värre i regioner som inte talar engelska på grund av Facebooks ojämna täckning av olika språk.

I Etiopiens fall finns det 100 miljoner människor och sex språk. Facebook stöder bara två av dessa språk för integritetssystem, sa hon. Denna strategi att fokusera på språkspecifika, innehållsspecifika system för AI för att rädda oss är dömd att misslyckas.

Hon fortsatte: Så att investera i icke-innehållsbaserade sätt att bromsa plattformen skyddar inte bara vår yttrandefrihet, det skyddar människors liv.

Jag utforskar detta mer i en annan artikel från tidigare i år om begränsningarna för stora språkmodeller , eller LLM:er:

Trots att LLM:er har dessa språkliga brister förlitar Facebook sig starkt på dem för att automatisera sin innehållsmoderering globalt. När kriget i Tigray[, Etiopien] först bröt ut i november, såg [AI-etikforskaren Timnit] Gebru plattformsflundran för att få grepp om mängden desinformation. Detta är symboliskt för ett ihållande mönster som forskare har observerat i innehållsmoderering. Gemenskaper som talar språk som inte prioriteras av Silicon Valley lider av de mest fientliga digitala miljöerna.

Gebru noterade att det inte är där skadan slutar heller. När falska nyheter, hatretorik och till och med dödshot inte modereras bort, skrapas de sedan som träningsdata för att bygga nästa generations LLM. Och de här modellerna, som eftersträvar vad de är utbildade i, återupplivar dessa giftiga språkmönster på internet.

Hur relaterar Facebooks innehållsrankning till tonåringars mentala hälsa?

En av de mer chockerande avslöjandena från Journalens Facebook-filer var Instagrams interna forskning, som fann att dess plattform försämrar mental hälsa bland tonårsflickor. Trettiotvå procent av tonårsflickorna sa att när de mådde dåligt över sina kroppar fick Instagram dem att må sämre, skrev forskare i en bildpresentation från mars 2020.

Haugen kopplar detta fenomen till engagemangsbaserade rankningssystem också, vilket hon sa till senaten i dag gör att tonåringar exponeras för mer anorexiinnehåll.

Om Instagram är en så positiv kraft, har vi sett en guldålder för tonåringars mentala hälsa under de senaste 10 åren? Nej, vi har sett eskalerande frekvenser av självmord och depression bland tonåringar, fortsatte hon. Det finns ett brett spektrum av forskning som stöder tanken att användningen av sociala medier förstärker risken för dessa psykiska skador.

I min egen rapportering hörde jag från en före detta AI-forskare som också såg denna effekt sträcka sig till Facebook.

Forskarteamet ... fann att användare med en tendens att posta eller engagera sig i melankoliskt innehåll - ett möjligt tecken på depression - lätt kunde gå i spiral till att konsumera allt mer negativt material som riskerade att ytterligare förvärra deras mentala hälsa.

Men som med Haugen fann forskaren att ledarskap inte var intresserade av att göra grundläggande algoritmiska förändringar.

Teamet föreslog att man skulle justera innehållsrankningsmodellerna för dessa användare för att sluta maximera engagemanget enbart, så att de skulle få se mindre av de deprimerande sakerna. Frågan till ledarskapet var: Ska vi optimera för engagemang om du upptäcker att någon är i ett sårbart sinnestillstånd? han kommer ihåg.

Men allt som minskade engagemanget, även av skäl som att inte förvärra någons depression, ledde till en hel del sömn och tjafs bland ledarskapet. Med sina prestationsöversikter och löner knutna till ett framgångsrikt slutförande av projekt, lärde sig anställda snabbt att släppa de som fick pushback och fortsätta arbeta med de som dikterades uppifrån och ner...

Den tidigare anställde låter under tiden inte längre sin dotter använda Facebook.

Hur fixar vi detta?

Haugen är emot att bryta upp Facebook eller upphäva paragraf 230 i US Communications Decency Act, som skyddar tekniska plattformar från att ta ansvar för innehållet de distribuerar.

Istället rekommenderar hon att man skapar ett mer riktat undantag i avsnitt 230 för algoritmisk rankning, som hon hävdar skulle bli av med den engagemangsbaserade rankningen. Hon förespråkar också en återgång till Facebooks kronologiska nyhetsflöde.

Relaterad berättelse

Recension: Varför Facebook aldrig kan fixa sig själv

I An Ugly Truth avslöjar reportrarna Sheera Frenkel och Cecilia Kang Facebooks grundläggande brister genom en detaljerad redogörelse för åren mellan två amerikanska val.

Ellery Roberts Biddle, projektledare på Ranking Digital Rights, en ideell organisation som studerar sociala mediers rankningssystem och deras inverkan på mänskliga rättigheter, säger att ett avsnitt 230 skulle behöva granskas noggrant: jag tror att det skulle ha en snäv implikation. Jag tror inte att det riktigt skulle uppnå vad vi kan hoppas på.

För att en sådan utskärning ska vara genomförbar, säger hon, skulle beslutsfattare och allmänheten behöva ha en mycket större grad av insyn i hur Facebooks system för annonsinriktning och innehållsrankning fungerar. Jag förstår Haugens avsikt – det är vettigt, säger hon. Men det är tufft. Vi har faktiskt inte svarat på frågan om transparens kring algoritmer än. Det finns mycket mer att göra.

Icke desto mindre har Haugens avslöjanden och vittnesmål väckt förnyad uppmärksamhet till vad många experter och Facebook-anställda har sagt i flera år: att såvida inte Facebook ändrar den grundläggande designen av sina algoritmer, kommer det inte att göra ett meningsfullt hack i plattformens problem.

Hennes ingripande väcker också utsikterna att om Facebook inte kan sätta ordning på sitt eget hus, kan beslutsfattare tvinga fram frågan.

Kongressen kan ändra reglerna som Facebook följer och stoppa de många skador den nu orsakar, sa Haugen till senaten. Jag kom fram med stor personlig risk eftersom jag tror att vi fortfarande har tid att agera, men vi måste agera nu.

Dölj