Hur Facebook och Google finansierar global desinformation

Teknikjättarna betalar miljontals dollar till operatörerna av clickbait-sidor och finansierar försämringen av informationsekosystemen runt om i världen.





ljus och skugga på golvet

Getty

  • Karen Hao arkivsida
20 november 2021

Myanmar, mars 2021.

En månad efter den demokratiska regeringens fall.



Din webbläsare stöder inte videotaggen. Din webbläsare stöder inte videotaggen.

En livevideo på Facebook visade hundratals människor som protesterade mot militärkuppen på Myanmars gator.

Den hade nästan 50 000 delningar och över 1,5 miljoner visningar, i ett land med lite över 54 miljoner människor.

Observatörer, som inte kunde se händelserna på marken, använde filmerna, tillsammans med hundratals andra liveflöden, för att spåra och dokumentera situationen som utvecklades. (MIT Technology Review suddade ut namnen och bilderna på affischerna för att undvika att äventyra deras säkerhet.)



Men mindre än en dag senare skulle samma video sändas igen flera gånger, var och en påstår sig fortfarande vara live.

Mitt i en massiv politisk kris fanns det inte längre ett sätt att urskilja vad som var verkligt och vad som inte var det.

Under 2015 var sex av de 10 webbplatserna i Myanmar som fick mest engagemang på Facebook från legitima medier, enligt data från CrowdTangle, ett Facebook-drivet verktyg. Ett år senare erbjöd Facebook (som nyligen döptes om till Meta) global tillgång till Instant Articles, ett program som utgivare kunde använda för att tjäna pengar på sitt innehåll.



Ett år efter den lanseringen stod legitima utgivare för endast två av de 10 bästa utgivarna på Facebook i Myanmar. År 2018 stod de för noll. Allt engagemang hade istället gått till fake news och clickbait-webbplatser. I ett land där Facebook är synonymt med internet överväldigade låggradigt innehåll andra informationskällor.

Det var under denna snabba försämring av Myanmars digitala miljö som en militant grupp av rohingyer – en övervägande muslimsk etnisk minoritet – attackerade och dödade ett dussintal medlemmar av säkerhetsstyrkorna i augusti 2017. När polis och militär började slå ner på rohingyerna och drev ut antimuslimsk propaganda, falska nyhetsartiklar som utnyttjade känslorna blev virala. De hävdade att muslimer var beväpnade, att de samlades i 1 000 mäktiga mobbar, att de var runt hörnet och kom för att döda dig.

Det är fortfarande inte klart idag om de falska nyheterna i första hand kom från politiska aktörer eller från ekonomiskt motiverade. Men hur som helst, den stora mängden falska nyheter och clickbait fungerade som bränsle på lågorna av redan farligt höga etniska och religiösa spänningar. Det förändrade den allmänna opinionen och eskalerade konflikten, som i slutändan ledde till att 10 000 rohingyer dog enligt försiktiga uppskattningar och att ytterligare 700 000 fördrevs.



2018 slog en FN-utredning fast att våldet mot rohingya utgjorde ett folkmord och att Facebook hade spelat en avgörande roll i grymheterna. Månader senare erkände Facebook att det inte hade gjort tillräckligt för att förhindra att vår plattform används för att uppmuntra splittring och uppvigla offlinevåld.

Under de senaste veckorna har avslöjanden från Facebook Papers, en samling interna dokument som lämnats till kongressen och ett konsortium av nyhetsorganisationer av whistleblower Frances Haugen, bekräftat vad civilsamhällesgrupper har sagt i flera år: Facebooks algoritmiska förstärkning av inflammatoriskt innehåll , i kombination med dess misslyckande att prioritera innehållsmoderering utanför USA och Europa, har underblåst spridningen av hatretorik och desinformation, farligt destabiliserat länder runt om i världen.

Men det saknas en viktig del i historien. Facebook förstärker inte bara desinformation.

Företaget finansierar också det.

En MIT Technology Review undersökning, baserad på expertintervjuer, dataanalyser och dokument som inte ingick i Facebook Papers, har funnit att Facebook och Google betalar miljontals annonsdollar till bankroll clickbait-aktörer, vilket underblåser försämringen av informationsekosystemen runt om i världen.

Anatomin hos en clickbait-farm

Facebook lanserade sitt Instant Articles-program 2015 med en handfull amerikanska och europeiska förlag. Företaget fakturerade programmet som ett sätt att förbättra artikelladdningstider och skapa en snyggare användarupplevelse.

Relaterad berättelse

Hur Facebook blev beroende av att sprida desinformation

Företagets AI-algoritmer gav det en omättlig vana för lögner och hatretorik. Nu kan inte mannen som byggde dem fixa problemet.

Det var den offentliga försäljningen. Men flytten tog också bekvämt in reklampengar från Google. Innan Instant Articles omdirigerades artiklar som publicerades på Facebook till en webbläsare, där de öppnades på utgivarens egen webbplats. Annonsleverantören, vanligtvis Google, skulle sedan tjäna pengar på alla annonsvisningar eller klick. Med det nya systemet skulle artiklar öppnas direkt i Facebook-appen och Facebook skulle äga annonsutrymmet. Om en deltagande utgivare också hade valt att tjäna pengar med Facebooks annonsnätverk, kallat Audience Network, skulle Facebook kunna infoga annonser i utgivarens berättelser och ta 30 % av intäkterna.

Instant Articles föll snabbt i onåd hos sin ursprungliga kohort av stora mainstream-förlag. För dem var utbetalningarna inte tillräckligt höga jämfört med andra tillgängliga former av intäktsgenerering. Men det var inte sant för publicister i den globala södern, som Facebook startade accepterar programmet 2016 . Under 2018 rapporterade företaget att betala ut 1,5 miljarder dollar till utgivare och apputvecklare (som också kan delta i Audience Network). År 2019 hade den siffran nått flera miljarder .

Tidigt utförde Facebook liten kvalitetskontroll av vilka typer av publicister som gick med i programmet. Plattformens design straffade inte heller användarna tillräckligt för att ha publicerat identiskt innehåll på Facebook-sidor – i själva verket belönade det beteendet. Att publicera samma artikel på flera sidor kan så mycket som fördubbla antalet användare som klickade på den och genererade annonsintäkter.

Clickbait-gårdar runt om i världen tog denna brist som en strategi – en som de fortfarande använder idag.

En gård kommer att skapa en webbplats eller flera webbplatser...

…för att ha publicerat övervägande plagierat innehåll.

Det registrerar dem med Instant objekt och Publiknätverk ,

som infogar annonser i sina artiklar.

Sedan publicerar den dessa artiklar i ett kluster av så många som dussintals Facebook-sidor åt gången.

Clickbait-skådespelare dök upp i Myanmar över en natt. Med rätt recept för att producera engagerande och suggestivt innehåll skulle de kunna generera tusentals US-dollar i månaden i annonsintäkter, eller 10 gånger den genomsnittliga månadslönen—betald till dem direkt av Facebook.

Ett internt företagsdokument, först rapporterade av MIT Technology Review i oktober , visar att Facebook var medveten om problemet redan 2019. Författaren, tidigare Facebook-dataforskaren Jeff Allen, fann att denna exakta taktik hade gjort det möjligt för clickbait-gårdar i Makedonien och Kosovo att nå nästan en halv miljon amerikaner om året före valet 2020 . Gårdarna hade också tagit sig in i Instant Articles and Ad Breaks, ett liknande program för intäktsgenerering för att infoga annonser i Facebook-videor. Vid ett tillfälle använde så många som 60 % av domänerna som registrerats i Instant Articles den skräppost-skrivtaktik som används av clickbait-farmar, sa rapporten. Allen, bunden av ett sekretessavtal med Facebook, kommenterade inte rapporten.

Trots påtryckningar från både interna och externa forskare kämpade Facebook för att hejda övergreppen. Under tiden rullade företaget ut fler intäktsprogram för att öppna upp nya intäkter. Förutom Ad Breaks för videor fanns det IGTV Monetization för Instagram och InStream-annonser för Live-videor. Den hänsynslösa pushen för användartillväxt vi såg – nu ser vi en hänsynslös push för utgivartillväxt, säger Victoire Rio, en digital rättighetsforskare som bekämpar plattformsinducerade skador i Myanmar och andra länder i den globala södern.

MIT Technology Review har funnit att problemet nu händer på global nivå. Tusentals clickbait-verksamheter har vuxit fram, främst i länder där Facebooks utbetalningar ger en större och stabilare inkomstkälla än andra former av tillgängligt arbete. Vissa är grupper av människor medan andra är individer, med hjälp av billiga automatiserade verktyg som hjälper dem att skapa och distribuera artiklar i stor skala. De är inte längre begränsade till att publicera artiklar heller. De trycker ut livevideor och driver Instagram-konton, som de tjänar direkt på eller använder för att driva mer trafik till sina webbplatser.

Google är också skyldig. Dess AdSense-program gav bränsle till de Makedonien- och Kosovobaserade gårdarna som riktade in sig på amerikanska publiker inför presidentvalet 2016. Och det är AdSense som uppmuntrar nya clickbait-aktörer på YouTube att lägga upp skandalöst innehåll och viral desinformation.

Många clickbait-gårdar idag tjänar pengar med både Instant Articles och AdSense och tar emot utbetalningar från båda företagen. Och för att Facebooks och YouTubes algoritmer öka det som engagerar användarna , har de skapat ett informationsekosystem där innehåll som blir viralt på en plattform ofta återvinns på den andra för att maximera distribution och intäkter.

Dessa skådespelare skulle inte existera om det inte var för plattformarna, säger Rio.

Relaterad berättelse

Trollfarmar nådde 140 miljoner amerikaner i månaden på Facebook före valet 2020, visar intern rapport

Detta är inte normalt. Detta är inte hälsosamt.

Som svar på de detaljerade bevisen vi gav till varje företag om detta beteende, bestred Metas talesman Joe Osborne våra kärnresultat och sa att vi hade missförstått problemet. Oavsett vilket har vi investerat i att bygga nya expertdrivna och skalbara lösningar på dessa komplexa problem i många år och kommer att fortsätta göra det, sa han.

Google bekräftade att beteendet bröt mot dess policyer och avslutade alla YouTube-kanaler som MIT Technology Review identifierat som spridning av felaktig information. Vi arbetar hårt för att skydda tittarna från clickbait eller vilseledande innehåll på våra plattformar och har investerat mycket i system som är designade för att lyfta auktoritativ information, sa YouTubes talesperson Ivy Choi.

Clickbait-gårdar riktar sig inte bara till sina hemländer. Efter exemplet med aktörer från Makedonien och Kosovo har de nyaste operatörerna insett att de inte behöver förstå varken ett lands lokala sammanhang eller dess språk för att vända politisk upprördhet till inkomst.

MIT Technology Review samarbetade med Allen, som nu leder en ideell organisation som heter Integritetsinstitutet som bedriver forskning om plattformsmissbruk, för att identifiera möjliga clickbait-aktörer på Facebook. Vi fokuserade på sidor som tog slut från Kambodja och Vietnam – två av de länder där clickbait-verksamheten nu tjänar på situationen i Myanmar.

Vi fick data från CrowdTangle, vars utvecklingsteam bolaget bröts upp tidigare i år , och från Facebooks utgivarlistor , som registrerar vilka utgivare som är registrerade i intäktsprogram. Allen skrev en anpassad klustringsalgoritm för att hitta sidor som publicerar innehåll på ett mycket koordinerat sätt och som riktar sig till talare av språk som används främst utanför de länder där verksamheten är baserad. Vi analyserade sedan vilka kluster som hade minst en sida registrerad i ett program för intäktsgenerering eller som kraftigt marknadsförde innehåll från en sida registrerad med ett program.

Vi hittade över 2 000 sidor i båda länderna som var engagerade i detta clickbait-liknande beteende. (Det kan vara ett underantal, eftersom inte alla Facebook-sidor spåras av CrowdTangle.) Många har miljontals följare och når troligen ännu fler användare. I sin rapport från 2019 fann Allen det 75 % av användarna som exponerades för clickbait-innehåll från gårdar som drivs i Makedonien och Kosovo hade aldrig följt någon av sidorna. Facebooks innehållsrekommendationssystem hade istället tryckt in det i sina nyhetsflöden.

När MIT Technology Review skickade en lista över dessa sidor till Facebook och en detaljerad förklaring av vår metod, kallade Osborne analysen för felaktig. Även om vissa sidor här kan ha funnits på våra utgivarlistor, tjänade många av dem inte på Facebook, sa han.

Dessa siffror indikerar faktiskt inte att alla dessa sidor genererade annonsintäkter. Istället är det en uppskattning, baserad på data som Facebook har gjort allmänt tillgänglig, av antalet sidor associerade med clickbait-aktörer i Kambodja och Vietnam som Facebook har gjort berättigade att tjäna pengar på plattformen.

Osborne bekräftade också att fler av de kambodjadrivna clickbait-liknande sidorna vi hittade hade direkt registrerats med ett av Facebooks intäktsprogram än vi tidigare trott. I vår analys fann vi att 35 % av sidorna i våra kluster hade gjort det under de senaste två åren. De övriga 65% skulle ha indirekt genererade annonsintäkter genom att kraftigt marknadsföra innehåll från den registrerade sidan till en bredare publik. Osborne sa att faktiskt om halv av sidorna vi hittade, eller ungefär 150 fler sidor, hade direkt registrerats vid ett tillfälle med ett intäktsprogram, främst Instant Articles.

Kort efter att vi kontaktade Facebook började operatörer av clickbait-sidor i Myanmar klaga i onlineforum över att deras sidor hade startats upp från Instant Articles. Osborne avböjde att svara på våra frågor om de senaste tillsynsåtgärderna som företaget har vidtagit.

Facebook har kontinuerligt försökt att sålla bort dessa aktörer från sina program. Till exempel är det bara 30 av de Kambodjadrivna sidorna som fortfarande tjänar pengar, sa Osborne. Men våra data från Facebooks utgivarlistor visar att tillämpningen ofta är försenad och ofullständig – clickbait-sidor kan stanna inom intäktsprogram i hundratals dagar innan de tas bort. Samma aktörer kommer också att snurra upp nya sidor när deras gamla har demonetiserats.

Allen är nu öppen källkod vi brukade uppmuntra andra oberoende forskare att förfina och bygga vidare på vårt arbete.

För att stödja MIT Technology Reviews journalistik, överväg att bli prenumerant .

Med samma metod hittade vi också mer än 400 utländska sidor som riktade sig till främst amerikanska publik i kluster som dykt upp i Facebooks utgivarlistor under de senaste två åren. (Vi inkluderade inte sidor från länder vars primära språk är engelska.) Uppsättningen innehåller ett intäktsgenererande kluster som delvis drivs från Makedonien och riktar sig till kvinnor och HBTQ-gemenskapen. Den har åtta Facebook-sidor, inklusive två verifierade med över 1,7 miljoner respektive 1,5 miljoner följare, och publicerar innehåll från fem webbplatser, var och en registrerad hos Google AdSense och Audience Network. Den har också tre Instagram-konton, som tjänar pengar genom presentbutiker och samarbeten och genom att leda användare till samma till stor del plagierade webbplatser. Administratörer för Facebook-sidorna och Instagram-kontona svarade inte på våra förfrågningar om kommentarer.

Sidorna HBT News och Women's Rights News på Facebook publicerar identiskt innehåll från fem av sina egna anslutna webbplatser som tjänar pengar med Instant Articles och Google AdSense, såväl som från andra nyhetskanaler som det verkar ha betalat partnerskap med.

Osborne sa att Facebook nu undersöker kontona efter att vi uppmärksammat företaget på dem. Choi sa att Google har tagit bort AdSense-annonser från hundratals sidor på dessa webbplatser tidigare på grund av policyöverträdelser, men att webbplatserna själva fortfarande får tjäna pengar baserat på företagets regelbundna recensioner.

Även om det är möjligt att makedonierna som driver sidorna verkligen bryr sig om amerikansk politik och om kvinnors och hbtq-rättigheter, genererar innehållet onekligen intäkter. Det betyder att vad de marknadsför mest sannolikt styrs av vad som vinner och förlorar med Facebooks nyhetsflödesalgoritm.

Aktiviteten på en enskild sida eller ett kluster av sidor kanske inte känns betydande, säger Camille François, en forskare vid Columbia University som studerar organiserade desinformationskampanjer på sociala medier. Men när hundratals eller tusentals skådespelare gör samma sak, förstärker samma innehåll och når miljontals publikmedlemmar, kan det påverka det offentliga samtalet. Vad folk ser som det inhemska samtalet om ett ämne kan faktiskt vara något helt annat, säger François. Det är ett gäng betalda människor som låtsas inte ha någon relation med varandra, och optimerar vad de ska posta.

Osborne sa att Facebook har skapat flera nya policyer och tillämpningsprotokoll under de senaste två åren för att ta itu med det här problemet, inklusive att straffa sidor som slutar i ett land som beter sig som om de är lokala för ett annat, samt att straffa sidor som bygger en publik på grunden för ett ämne och sedan pivotera till ett annat. Men både Allen och Rio säger att företagets agerande har misslyckats med att täppa till grundläggande kryphål i plattformens policyer och design – sårbarheter som underblåser en global informationskris.

Det påverkar länder först och främst utanför USA men utgör en enorm risk för USA också på lång sikt, säger Rio. Det kommer att påverka i stort sett var som helst i världen när det finns förhöjda händelser som ett val.

Desinformation att hyra

Som svar på MIT Technology Reviews första rapportering om Allens 2019 interna rapport, som vi publiceras i sin helhet , David Agranovich, chef för global hot disruption på Facebook, twittrade , Sidorna som hänvisas till här, baserat på vår egen forskning från 2019, är ekonomiskt motiverade spammare, inte öppen påverkan. Båda dessa är allvarliga utmaningar, men de är olika. Att blanda ihop dem hjälper ingen. Osborne upprepade att vi sammanblandade de två grupperna som svar på våra fynd.

Men desinformationsexperter säger att det är missvisande att dra en hård linje mellan ekonomiskt motiverade spammare och politiska inflytandeoperationer.

Det finns en skillnad i avsikt: ekonomiskt motiverade spammare är agnostiska om innehållet de publicerar. De går vart än klicken och pengarna finns och låter Facebooks nyhetsflödesalgoritm diktera vilka ämnen de kommer att ta upp härnäst. Politiska operationer är istället inriktade på att driva en specifik agenda.

Men i praktiken det spelar ingen roll : i sin taktik och inverkan ser de ofta likadana ut. En genomsnittlig dag kan en ekonomiskt motiverad clickbait-sajt vara fylld med kändisnyheter, söta djur eller mycket känslomässiga berättelser – alla pålitliga drivkrafter för trafik. Sedan, när politisk turbulens slår till, driver de mot hyperpartiska nyheter, desinformation och upprördhetsbete eftersom det får mer engagemang.

Det makedonska sidklustret är ett utmärkt exempel. För det mesta främjar innehållet kvinnors och LGTBQ-rättigheter. Men runt tidpunkten för händelser som valet 2020, upproret den 6 januari och genomgången av Texass lagförslag om hjärtslag mot abort, förstärkte klustret ett särskilt spetsigt politiskt innehåll. Många av dess artiklar har fått stor spridning av legitima sidor med enorma följare, inklusive de som drivs av Occupy Democrats, Union of Concerned Scientists och Women's March Global.

Ett exempel på en mycket politisk artikel som till slut raderades från en av klustrets fem anslutna sajter. Clickbait-webbplatser skrubbar ofta gamla artiklar från sina sidor.

Politiska påverkansoperationer kan under tiden lägga upp kändis- och djurinnehåll för att bygga upp Facebook-sidor med stort antal följare. De vänder sig sedan till politiken under känsliga politiska händelser och drar nytta av den enorma publik som redan står till deras förfogande.

Politiska agenter kommer ibland också att betala ekonomiskt motiverade spammare för att sända propaganda på deras Facebook-sidor, eller köpa sidor för att återanvända dem för påverkanskampanjer. Rio har redan sett bevis på en svart marknad där clickbait-skådespelare kan sälja sin stora Facebook-publik.

Med andra ord, sidor ser ofarliga ut tills de inte gör det. Vi har bemyndigat oäkta skådespelare att samla på sig enorma följare för i stort sett okända syften, skrev Allen i rapporten.

Denna förändring har skett många gånger i Myanmar sedan uppkomsten av clickbait-gårdar, särskilt under rohingyakrisen och igen i upptakten till och efterdyningarna av årets militärkupp. (Det senare utlöstes av händelser ungefär som de som ledde till USA:s uppror den 6 januari, inklusive utbredda falska påståenden om ett stulet val .)

I oktober 2020 tog Facebook ner ett antal sidor och grupper som ägnade sig åt koordinerat clickbait-beteende i Myanmar. I en analys av dessa tillgångar fann Graphika, ett undersökningsföretag som studerar spridningen av information online, att sidorna huvudsakligen fokuserade på kändisnyheter och skvaller men drev ut politisk propaganda, farlig antimuslimsk retorik och covid-19 desinformation under viktiga krisögonblick. . Dussintals sidor hade mer än 1 miljon följare vardera, där den största nådde över 5 miljoner.

Samma fenomen utspelade sig i Filippinerna inför president Rodrigo Dutertes val 2016. Duterte har jämförts med Donald Trump för hans populistiska politik, bombastiska retorik och auktoritära lutningar. Under hans kampanj gick en clickbait-farm, formellt registrerad som företaget Twinmark Media, från att täcka kändisar och underhållning till att marknadsföra honom och hans ideologi.

På den tiden var det en allmän uppfattning att politiker hade anlitat Twinmark för att genomföra en påverkanskampanj. Men i intervjuer med journalister och forskare , tidigare Twinmark-anställda medgav att de helt enkelt jagade vinst. Genom experiment upptäckte de anställda att pro-Duterte-innehåll utmärkte sig under ett hett val. De betalade till och med andra kändisar och influencers för att dela sina artiklar för att få fler klick och generera mer annonsintäkter, enligt forskning från media- och kommunikationsforskarna Jonathan Ong och Jason Vincent A. Cabañes.

Under kampanjens sista månader dominerade Duterte den politiska diskursen på sociala medier. Facebook själv döpte honom till obestridd kung av Facebook-konversationer när den fann att han var föremål för 68 % av alla valrelaterade diskussioner , jämfört med 46 % för hans närmaste rival.

Tre månader efter valet, Maria Ressa, vd för medieföretaget Rappler, som vann Nobels fredspris i år för sitt arbete med att bekämpa desinformation, publicerade ett stycke beskriver hur en konsert med koordinerad clickbait och propaganda på Facebook förändrade den allmänna opinionen i nyckelfrågor.

Det är en strategi med 'död genom tusen nedskärningar' - en borttagning av fakta, med hjälp av halvsanningar som tillverkar en alternativ verklighet genom att slå samman kraften hos bots och falska konton på sociala medier för att manipulera riktiga människor, skrev hon.

2019, Facebook tog till slut ner 220 Facebook-sidor, 73 Facebook-konton och 29 Instagram-konton kopplade till Twinmark Media. Då hade Facebook och Google redan betalat gården så mycket som 8 miljoner dollar ( 400 miljoner filippinska pesos ).

Varken Facebook eller Google bekräftade detta belopp. Metas Osborne bestred karaktäriseringen av att Facebook hade påverkat valet.

Ett hot som utvecklas

Facebook gjorde en stor ansträngning för att rensa bort clickbait-gårdar från Instant Articles och Ad Breaks under första halvåret 2019, enligt Allens interna rapport. Närmare bestämt började man kontrollera publicister för innehållets originalitet och demonetisera de som publicerade till stor del original innehåll.

Men dessa automatiserade kontroller är begränsade. De fokuserar i första hand på att bedöma originaliteten i videor, och inte till exempel på om en artikel har plagierats. Även om de gjorde det, skulle sådana system bara vara lika bra som företagets artificiell intelligens på ett visst språk. Länder med språk som inte prioriteras av AI-forskningssamhället får mycket mindre uppmärksamhet, om någon alls. I Etiopiens fall finns det 100 miljoner människor och sex språk. Facebook stöder bara två av dessa språk för integritetssystem, sa Haugen under sitt vittnesmål till kongressen.

Rio säger att det också finns kryphål i tillsynen. Överträdare tas ut ur programmet men inte från plattformen, och de kan vädja om att bli återställda. Överklagandena behandlas av ett separat team än det som utför verkställandet och utför endast grundläggande aktuella kontroller innan skådespelaren återinställs. (Facebook svarade inte på frågor om vad dessa kontroller faktiskt letar efter.) Som ett resultat kan det ta bara timmar för en clickbait-operatör att gå med igen och igen efter borttagning. På något sätt pratar inte alla lag med varandra, säger hon.

Så här hamnade Rio i panik i mars i år. En månad efter att militären hade arresterat den förre demokratiske ledaren Aung San Suu Kyi och tagit kontroll över regeringen, stötte demonstranter fortfarande våldsamt mot den nya regimen. Militären skar sporadiskt åtkomsten till internet och sändningsnätverk, och Rio var livrädd för sina vänners säkerhet i landet.

Hon började leta efter dem i Facebook Live-videor. Folk tittade verkligen aktivt på de här videorna eftersom det är så man håller koll på sina nära och kära, säger hon. Hon var inte oroad över att se att videorna kom från sidor med trovärdighetsproblem; hon trodde att streamarna använde falska sidor för att skydda sin anonymitet.

Sedan hände det omöjliga: hon såg samma Live-video två gånger. Hon kom ihåg det för att det var skrämmande: hundratals barn, som såg ut så unga som 10 år, i rad med händerna på huvudet, lastade i militära lastbilar.

När hon grävde i det upptäckte hon att videorna inte alls var live. Livevideor är tänkta att indikera en sändning i realtid och inkludera viktig metadata om tid och plats för aktiviteten. Dessa videor hade laddats ner från någon annanstans och sänts igen på Facebook med hjälp av tredjepartsverktyg för att få dem att se ut som livestreams.

Relaterad berättelse

Hon riskerade allt för att avslöja Facebook. Nu berättar hon sin historia.

Sophie Zhang, en före detta dataforskare på Facebook, avslöjade att det möjliggör global politisk manipulation och har inte gjort mycket för att stoppa det.

Det var hundratals av dem, samlade upp tiotusentals engagemang och hundratusentals visningar. I början av november hittade MIT Technology Review dussintals dubbletter av falska Live-videor från denna tidsperiod fortfarande uppe. Ett dubblettpar med över 200 000 respektive 160 000 visningar utropat på burmesiska, jag är den enda som sänder live från hela landet i realtid. Facebook tog ner flera av dem efter att vi uppmärksammat dem men dussintals fler, liksom sidorna som publicerade dem, finns fortfarande kvar. Osborne sa att företaget är medvetet om problemet och har avsevärt minskat dessa falska liv och deras distribution under det senaste året.

Ironiskt nog, tror Rio, var videorna sannolikt borttagna från filmer från krisen som laddats upp på YouTube som bevis för mänskliga rättigheter. Scenerna, med andra ord, är verkligen från Myanmar – men de postades alla från Vietnam och Kambodja.

Under det senaste halvåret har Rio spårat och identifierat flera sidkluster som tagit slut från Vietnam och Kambodja. Många använde falska Live-videor för att snabbt bygga upp sina följare och få tittarna att gå med i Facebook-grupper förklädda till prodemokratiska gemenskaper. Rio oroar sig nu för att Facebooks senaste lansering av in-stream-annonser i livevideor ytterligare kommer att uppmuntra clickbait-skådespelare att fejka dem. Ett kambodjanskt kluster med 18 sidor började publicera mycket skadlig politisk desinformation och nådde totalt 16 miljoner engagemang och en publik på 1,6 miljoner på fyra månader. Facebook tog ner alla 18 sidor i mars men nya kluster fortsätter att snurra upp medan andra finns kvar.

För allt Rio vet talar dessa vietnamesiska och kambodjanska skådespelare inte burmesiska. De förstår förmodligen inte burmesisk kultur eller landets politik. Summan av kardemumman är att de inte behöver det. Inte när de stjäl deras innehåll.

Rio har sedan dess hittat flera av kambodjanernas privata Facebook- och Telegram-grupper (en med uppemot 3 000 individer), där de handlar med verktyg och tips om de bästa strategierna för att tjäna pengar. MIT Technology Review granskade dokumenten, bilderna och videorna hon samlade in och anlitade en khmeröversättare för att tolka en instruktionsvideo som leder tittarna steg för steg genom ett clickbait-arbetsflöde.

Materialet visar hur de kambodjanska operatörerna samlar in forskning om det bästa innehållet i varje land och plagierar dem för sina clickbait-webbplatser. En Google Drive-mapp som delas inom gemenskapen har två dussin kalkylblad med länkar till de mest populära Facebook-grupperna i 20 länder, inklusive USA, Storbritannien, Australien, Indien, Frankrike, Tyskland, Mexiko och Brasilien.

Handledningsvideon visar också hur de hittar de mest virala YouTube-videorna på olika språk och använder ett automatiserat verktyg för att konvertera var och en till en artikel för sin webbplats. Vi hittade 29 YouTube-kanaler som spred politisk desinformation om den nuvarande politiska situationen i Myanmar, till exempel, som konverterades till clickbait-artiklar och omdistribuerades till nya tittare på Facebook.

En av YouTube-kanalerna som sprider politisk desinformation i Myanmar. Google tog till slut ner det.

Efter att vi uppmärksammat kanalerna avslutade YouTube dem alla för att ha brutit mot dess riktlinjer för communityn, inklusive sju som de fastställde var en del av samordnade påverkansoperationer kopplade till Myanmar. Choi noterade att YouTube tidigare också hade slutat visa annonser på nästan 2 000 videor över dessa kanaler. Vi fortsätter att aktivt övervaka våra plattformar för att förhindra dåliga aktörer som vill missbruka vårt nätverk i vinstsyfte, sa hon.

Sedan finns det andra verktyg, inklusive ett som gör att förinspelade videor visas som falska Facebook Live-videor. En annan genererar slumpmässigt profildetaljer för amerikanska män , inklusive bild, namn, födelsedag, personnummer, telefonnummer och adress, så ytterligare ett verktyg kan massproducera falska Facebook-konton med hjälp av en del av den informationen.

Det är nu så lätt att göra att många kambodjanska skådespelare spelar solo. Rio kallar dem mikroföretagare. I det mest extrema scenariot har hon sett individer hantera så många som 11 000 Facebook-konton på egen hand.

Framgångsrika mikroentreprenörer utbildar också andra att utföra detta arbete i sitt samhälle. Det kommer att bli värre, säger hon. 'Val som helst Joe i världen kan påverka din informationsmiljö utan att du inser det.

Vinst framför säkerhet

Under sitt vittnesmål i senaten i oktober i år lyfte Haugen fram de grundläggande bristerna i Facebooks innehållsbaserade syn på plattformsmissbruk. Den nuvarande strategin, fokuserad på vad som kan och inte kan visas på plattformen, kan bara vara reaktiv och aldrig heltäckande, sa hon. Det kräver inte bara att Facebook räknar upp alla möjliga former av övergrepp, utan det kräver också att företaget är skickligt på att moderera på alla språk. Facebook har misslyckats på båda punkter - och de mest utsatta människorna i världen har betalat det högsta priset, sa hon.

Den främsta boven, sa Haugen, är Facebooks önskan att maximera engagemanget, vilket har förvandlat dess algoritm och plattformsdesign till en gigantisk bullhorn för hatretorik och desinformation. En MIT Technology Review utredning från tidigare i år, baserat på dussintals intervjuer med Facebook-chefer, nuvarande och tidigare anställda, branschkollegor och externa experter, bekräftar denna karaktärisering.

Hennes vittnesmål ekade också vad Allen skrev i sin rapport – och vad Rio och andra desinformationsexperter upprepade gånger har sett genom sin forskning. För clickbait-gårdar är det första steget att komma in i intäktsgenereringsprogrammen, men hur mycket de tjänar in beror på hur mycket Facebooks innehållsrekommendationssystem ökar deras artiklar. De skulle inte trivas, inte heller skulle de plagiera sådant skadligt innehåll, om deras skum taktik inte fungerade så bra på plattformen.

Som ett resultat är det inte lösningen att rensa bort själva gårdarna: högmotiverade aktörer kommer alltid att kunna skapa nya webbplatser och nya sidor för att få mer pengar. Istället är det algoritmerna och innehållsbelöningsmekanismerna som behöver åtgärdas.

I sin rapport föreslog Allen ett möjligt sätt Facebook skulle kunna göra detta: genom att använda vad som kallas ett grafbaserat auktoritetsmått för att rangordna innehåll. Detta skulle förstärka sidor av högre kvalitet som nyheter och media och minska sidor av lägre kvalitet som clickbait, vilket skulle vända den nuvarande trenden.

Haugen betonade att Facebooks misslyckande med att fixa sin plattform inte berodde på brist på lösningar, verktyg eller kapacitet. Facebook kan förändras men kommer uppenbarligen inte att göra det på egen hand, sa hon. Min rädsla är att utan handling är de splittande och extremistiska beteenden vi ser idag bara början. Det vi såg i Myanmar och nu ser i Etiopien är bara de inledande kapitlen i en berättelse så skrämmande att ingen vill läsa slutet av den.

(Osborne sa att Facebook har en fundamentalt annorlunda inställning till Myanmar idag med större expertis i landets mänskliga rättigheter och ett dedikerat team och teknik för att upptäcka kränkande innehåll, som hatpropaganda, på burmesiska.)

I oktober sa den avgående FN:s särskilda sändebud i Myanmar att landet hade förvärrats till inbördeskrig . Tusentals människor har sedan flytt till grannländer som Thailand och Indien. I mitten av november fortsatte clickbait-skådespelare att publicera falska nyheter varje timme. I ett inlägg hade den demokratiska ledaren, Moder Suu, mördats. I en annan hade hon äntligen blivit befriad.

Speciellt tack till vårt team. Design och utveckling av Rachel Stein och Andre Vitorio. Art direction och produktion av Emily Luong och Stephanie Arnett. Redigering av Niall Firth och Mat Honan. Faktakontroll av Matt Mahoney. Kopieringsredigering av Linda Lowenthal.

Korrektion: I en tidigare version av artikeln stod det felaktigt att efter att vi nått Facebook började clickbait-skådespelare i Kambodja klaga i onlineforum över att de blivit stängda från Instant Articles. Skådespelarna var faktiskt i Myanmar.