Trollfarmar nådde 140 miljoner amerikaner i månaden på Facebook före valet 2020, visar intern rapport

MIT Technology Review | Envato element

Uppdatering: Efter att den här historien publicerats tog Facebook ner två av de fem trollfarmssidorna vi identifierade.

Inför valet 2020, det mest omtvistade i USA:s historia, drevs Facebooks mest populära sidor för kristet och svart amerikanskt innehåll av östeuropeiska trollfarmar. Dessa sidor var en del av ett större nätverk som tillsammans nådde nästan hälften av alla amerikaner, enligt en intern företagsrapport, och uppnådde den räckvidden inte genom användarval utan främst som ett resultat av Facebooks egen plattformsdesign och engagemangshungriga algoritm.

Relaterad berättelse

Hur Facebook blev beroende av att sprida desinformation

Företagets AI-algoritmer gav det en omättlig vana för lögner och hatretorik. Nu kan inte mannen som byggde dem fixa problemet.

Rapporten, skriven i oktober 2019 och erhållen av MIT Technology Review från en tidigare Facebook-anställd som inte var inblandad i forskningen, fann att efter valet 2016 misslyckades Facebook med att prioritera grundläggande förändringar av hur dess plattform främjar och distribuerar information. Företaget följde istället en mullvad strategi som innebar att övervaka och avbryta aktiviteten hos dåliga aktörer när de engagerade sig i politisk diskurs, och lägga till några skyddsräcken som förhindrade det värsta av det värsta.

Men detta tillvägagångssätt gjorde lite för att stoppa det underliggande problemet, noterade rapporten. Trollfarmar – professionella grupper som arbetar på ett samordnat sätt för att lägga upp provocerande innehåll, ofta propaganda, till sociala nätverk – byggde fortfarande en massiv publik genom att driva nätverk av Facebook-sidor. Deras innehåll nådde 140 miljoner amerikanska användare per månad - av vilka 75% aldrig hade följt någon av sidorna. De såg innehållet eftersom Facebooks innehållsrekommendationssystem hade tryckt in det i sina nyhetsflöden.

Istället för att användare väljer att ta emot innehåll från dessa aktörer, är det vår plattform som väljer att ge [dessa trollfarmar] en enorm räckvidd, skrev rapportens författare, Jeff Allen, en före detta dataforskare på Facebook.

Joe Osborne, en talesperson för Facebook, sa i ett uttalande att företaget redan hade undersökt dessa ämnen vid tidpunkten för Allens rapport, och tillade: Sedan dess har vi ställt upp team, utvecklat nya policyer och samarbetat med branschkollegor för att ta itu med dessa nätverk. Vi har vidtagit aggressiva tillsynsåtgärder mot den här typen av utländska och inhemska oäkta grupper och har delat resultaten offentligt på kvartalsbasis.

I processen att faktagranska den här berättelsen strax före publicering fann MIT Technology Review att fem av trollfarmssidorna som nämns i rapporten förblev aktiva.

Detta är den största sidan för trollfarm som riktar sig till afroamerikaner i oktober 2019. Den är fortfarande aktiv på Facebook.

Rapporten fann att trollfarmar nådde samma demografiska grupper som pekas ut av Kreml-stödda Internet Research Agency (IRA) under valet 2016, som hade riktat sig mot kristna, svarta amerikaner och indianer. A 2018 BuzzFeed News utredning fann att minst en medlem av den ryska IRA, åtalad för påstådd inblandning i valet i USA 2016, också hade besökt Makedonien kring uppkomsten av dess första trollfarmar, även om den inte hittade några konkreta bevis för ett samband. (Facebook sa att dess undersökningar inte heller hade visat på en koppling mellan IRA och makedonska trollfarmar.)

Detta är inte normalt. Det här är inte hälsosamt, skrev Allen. Vi har bemyndigat oäkta aktörer att ackumulera enorma följare för i stort sett okända syften ... Det faktum att aktörer med möjliga band till IRA har tillgång till enorma publiksiffror i samma demografiska grupper som IRA riktar sig till utgör en enorm risk för valet i USA 2020 .

Så länge som trollfarmar fann framgång med att använda denna taktik, skulle vilken annan dålig skådespelare också kunna, fortsatte han: Om trollfarmarna når 30 miljoner amerikanska användare med innehåll riktat till afroamerikaner, borde vi inte alls bli förvånade om vi upptäcker IRA har också för närvarande stor publik där.

Allen skrev rapporten som den fjärde och sista delen av ett och ett halvt år långt försök att förstå trollfarmar. Han lämnade företaget samma månad, delvis på grund av frustration över att ledarskapet effektivt hade ignorerat hans forskning, enligt den tidigare Facebook-anställde som levererade rapporten. Allen avböjde att kommentera.

Rapporten avslöjar det alarmerande tillståndet där Facebooks ledning lämnade plattformen i flera år, trots upprepade offentliga löften om att aggressivt ta itu med utlandsbaserad valinblandning. MIT Technology Review gör hela rapporten tillgänglig, med anställdas namn redigerade, eftersom det ligger i allmänhetens intresse.

Dess avslöjanden inkluderar:

• Från och med oktober 2019 hölls omkring 15 000 Facebook-sidor med en majoritet av USA-publiken slut från Kosovo och Makedonien, kända dåliga skådespelare under valet 2016.
• Sammantaget nådde dessa trollgårdssidor – som rapporten behandlar som en enda sida för jämförelsesyften – 140 miljoner amerikanska användare varje månad och 360 miljoner globala användare varje vecka. Walmarts sida nådde den näst största amerikanska publiken på 100 miljoner.
• Trollfarmssidorna kombinerades också för att bilda:
  • den största kristna amerikanska sidan på Facebook, 20 gånger större än den näst största – nådde 75 miljoner amerikanska användare varje månad, av vilka 95 % aldrig hade följt någon av sidorna.
  • den största afroamerikanska sidan på Facebook, tre gånger större än den näst största – och nådde 30 miljoner amerikanska användare varje månad, av vilka 85 % aldrig hade följt någon av sidorna.
  • den näst största indiansidan på Facebook, nådde 400 000 användare varje månad, varav 90% aldrig hade följt någon av sidorna.
  • den femte största kvinnosidan på Facebook, nådde 60 miljoner amerikanska användare varje månad, av vilka 90% aldrig hade följt någon av sidorna.
• Trollfarmar påverkar främst USA men riktar sig även till Storbritannien, Australien, Indien och central- och sydamerikanska länder.
• Facebook har genomfört flera studier som bekräftar att innehåll som är mer benägna att få användarengagemang (gillar, kommentarer och delningar) är mer sannolikt av en typ som är känd för att vara dålig. Ändå har företaget fortsatt att rangordna innehåll i användarnas nyhetsflöden efter vad som kommer att få det högsta engagemanget.
• Facebook förbjuder sidor att publicera innehåll som bara kopierats och klistrats in från andra delar av plattformen men tillämpar inte policyn mot kända dåliga aktörer. Detta gör det enkelt för utländska skådespelare som inte talar det lokala språket att lägga upp helt kopierat innehåll och ändå nå en stor publik. Vid ett tillfälle gick så många som 40 % av sidvisningarna på sidor i USA till sidor som huvudsakligen hade original innehåll eller material med begränsad originalitet.
• Trollfarmar tog sig tidigare in i Facebooks partnerskapsprogram för Instant Articles och Ad Breaks, som är utformade för att hjälpa nyhetsorganisationer och andra utgivare att tjäna pengar på sina artiklar och videor. Vid ett tillfälle, tack vare bristen på grundläggande kvalitetskontroller, gick så många som 60 % av läsningarna av Instant Article till innehåll som hade plagierats från någon annanstans. Detta gjorde det enkelt för trollfarmar att blanda sig obemärkt och till och med ta emot betalningar från Facebook.

Hur Facebook möjliggör trollfarmar och ökar sin publik

Rapporten tittar specifikt på trollfarmar baserade i Kosovo och Makedonien, som drivs av människor som inte nödvändigtvis förstår amerikansk politik. Men på grund av hur Facebooks nyhetsflödessystem är utformade kan de fortfarande ha en betydande inverkan på den politiska diskursen.

Relaterad berättelse

Hon riskerade allt för att avslöja Facebook. Nu berättar hon sin historia.

Sophie Zhang, en före detta dataforskare på Facebook, avslöjade att det möjliggör global politisk manipulation och har inte gjort mycket för att stoppa det.

I rapporten identifierar Allen tre skäl till varför dessa sidor kan få så stor publik. För det första straffar Facebook inte sidor för att lägga upp helt original innehåll. Om något tidigare har blivit viralt kommer det troligen att bli viralt igen när det publiceras en andra gång. Detta gör det väldigt enkelt för vem som helst att bygga en massiv följare bland svarta amerikaner, till exempel. Dåliga skådespelare kan helt enkelt kopiera viralt innehåll från svarta amerikaners sidor, eller till och med Reddit och Twitter, och klistra in det på sin egen sida – eller ibland dussintals sidor.

För det andra skickar Facebook engagerande innehåll på sidor till personer som inte följer dem. När användarnas vänner kommenterar eller delar vidare inlägg på en av dessa sidor, kommer dessa användare att se det också i sina nyhetsflöden. Ju mer en sidas innehåll kommenteras eller delas, desto mer går den bortom sina följare. Detta innebär att trollfarmar, vars strategi fokuserar på att återpublicera det mest engagerande innehållet, har en stor förmåga att nå nya målgrupper.

För det tredje driver Facebooks rankningssystem mer engagerande innehåll högre upp i användarnas nyhetsflöden. För det mesta har de som driver trollfarmar ekonomiska motiv snarare än politiska; de lägger upp det som får mest engagemang, med liten hänsyn till det faktiska innehållet. Men eftersom desinformation, clickbait och politiskt splittrande innehåll är mer benägna att få högt engagemang (som Facebooks egna interna analyser erkänner), trollfarmar dras till att lägga upp mer av det med tiden, säger rapporten.

Som ett resultat, i oktober 2019, drevs alla de 15 främsta sidorna som riktade sig till kristna amerikaner, 10 av de 15 främsta Facebook-sidorna som riktade sig till svarta amerikaner och fyra av de 12 främsta Facebook-sidorna som riktade sig till indianer av trollfarmar.

Vår plattform har gett den största rösten i det kristna amerikanska samhället till en handfull dåliga skådespelare, som, baserat på sina medieproduktionsmetoder, aldrig har varit i kyrkan, skrev Allen. Vår plattform har gett den största rösten i det afroamerikanska samhället till en handfull dåliga skådespelare, som, baserat på sina medieproduktionsmetoder, aldrig har haft en interaktion med en afroamerikan.

Relaterad berättelse

Recension: Varför Facebook aldrig kan fixa sig själv

I An Ugly Truth avslöjar reportrarna Sheera Frenkel och Cecilia Kang Facebooks grundläggande brister genom en detaljerad redogörelse för åren mellan två amerikanska val.

Det kommer alltid att slå mig som djupt konstigt ... och genuint skrämmande, skrev han. Det verkar helt klart att tills den situationen kan fixas kommer vi alltid att känna allvarlig motvind när vi försöker utföra vårt uppdrag.

Rapporten föreslog också en möjlig lösning. Det här är långt ifrån första gången mänskligheten har bekämpat dåliga aktörer i våra medieekosystem, skrev han och pekade på Googles användning av vad som är känt som ett grafbaserat auktoritetsmått – som bedömer kvaliteten på en webbsida efter hur ofta den citerar och citeras av andra kvalitetswebbsidor – för att sänka dåliga aktörer i sina sökrankningar.

Vi har en egen implementering av en grafbaserad auktoritetsåtgärd, fortsatte han. Om plattformen tog mer hänsyn till detta befintliga mått vid rankning av sidor, skulle det kunna hjälpa till att vända den oroande trenden där sidor når den bredaste publiken.

När Facebooks ranking prioriterar engagemang, slår trollgårdssidor ut autentiska sidor, skrev Allen. Men 90 % av Troll Farm Pages har exakt 0 Graph Authority … [Autentiska sidor] vinner klart.

Systemproblem

En sökning på alla trollgårdssidor som listas i rapporten visar att fem fortfarande är aktiva nästan två år senare:

• En sida som heter My Baby Daddy Ain’t Shit, som var den största Facebook-sidan som riktade sig till afroamerikaner i oktober 2019.
• En sida som heter Savage Hood och riktar sig till afroamerikaner.
• En sida som heter Hood Videos, riktad mot afroamerikaner.
• En sida som heter Livets syfte och riktar sig till kristna.
• En sida som heter Eagle Spirit och riktar sig till indianer.

En trollgårdssida riktad mot kristna amerikaner.

Facebooks senaste kontroversiella Rapport för brett visat innehåll föreslår att några av de centrala sårbarheterna som trollfarmarna utnyttjade också kvarstår. Femton av de 19 mest sedda inläggen i rapporten plagierades från andra inlägg som tidigare hade blivit virala på Facebook eller en annan plattform, enligt en analys från Casey Newton på The Verge.

Samantha Bradshaw, en postdoktor vid Stanford University som studerar skärningspunkten mellan desinformation, sociala medier och demokrati, säger att rapporten talar om många av de djupare systemproblemen med plattformen och deras algoritm på det sätt som de främjar vissa typer av innehåll till vissa användare, allt bara baserat på detta underliggande värde av tillväxt. Om de inte åtgärdas kommer de att fortsätta skapa snedvridna ekonomiska incitament för dåliga aktörer, tillägger hon: Det är problemet.

Läs hela rapporten här:

Dölj