Massskjutningen i Nya Zeeland visar hur trasiga sociala medier är

Kategori: Silicon Valley Postad 15 mars

En beväpnad man liveströmmade mordet på dussintals oskyldiga i två moskéer i Christchurch, Nya Zeeland, på fredagen – och världen fick en fruktansvärd påminnelse om hur bristfälliga befintliga sociala medier-policyer och algoritmer är för att bevaka våldsamt och kränkande innehåll.

Dagarna före skottlossningen har gärningsmannen uppenbarligen skryt med sina planer och lagt ut ett onlinemanifest. Han sände sedan det fruktansvärda dådet live på Facebook. Attacken ledde till att 49 människor dödades och dussintals skadades.

Direktsändning: Under de senaste 18 månaderna, efter trakasserier och falska nyhetsskandaler, har företag inom sociala medier investerade mycket i innehållsmoderatorer . Men detta gjorde inte mycket för att stoppa videon från skottlossningen från att spridas. Inte bara var liveströmmen enligt uppgift uppe i 20 minuter, utan den resulterande videon lades sedan upp på YouTube, med några klipp kvar i över en timme.

Flera faktorer bidrog till att låta filmerna glida igenom filtren, enligt experter.

Realtidsutmaning: Det är viktigt att fånga en video snabbt, så att den inte sprids till andra plattformar. Men moderering i sociala medier är helt enkelt inte inriktad på att fånga innehåll i realtid. Det är omöjligt att automatisera processen effektivt, och att identifiera liveströmmar som måste stängas av manuellt är som att hitta en nål i höstacken av data som flödar över nätverket hela tiden, säger Charles tvål , professor vid NYU:s School of Journalism. Han tillägger att Facebook kan kräva att användarna bygger upp ett rykte innan de låter dem livestreama innehåll, för att minska riskerna.

Whack-a-mole: Moderatorer är överväldigade i bästa fall. Videon av skjutningen på YouTube spred sig troligen så snabbt att de människor som anställdes för att leta efter olämpligt innehåll inte hann fånga allt. Dessa arbetare har vanligtvis några sekunder på sig att ringa ett samtal. Processen kan delvis automatiseras, men de som publicerade om filmerna klippte tydligen det och introducerade förvrängningar för att undvika dessa algoritmer.

Algoritmiskt fel: Sociala medier-företag använder också algoritmiska tweaks för att avprioritera misstänkt innehåll. Men Mike Ananny , en docent vid University of Southern California, säger att dessa algoritmer troligen orsakades av populariteten hos de kränkande videorna.

Inte vårt problem: Dessa faktorer återspeglar det centrala systemproblemet: Facebook, YouTube och andra stora sociala plattformar ser inte sig själva som domare av innehåll i första hand. Forskning har visat att högerextrema informationskällor kan övervakas mer proaktivt för att förhindra att våldsamt eller hatiskt material sprids. De har den här inställningen att vara post hoc, säger Ananny. Det är en djup kulturell sak.