Välkommen till TikToks ändlösa cykel av censur och misstag

Ms Tech | Envato

Ziggi Tyler är en del av TikToks Creator Marketplace, en privat plattform där varumärken kan ansluta till appens främsta skapare. Och förra veckan märkte han något ganska oroande om hur skaparbios där modererades automatiskt.

När han försökte skriva in vissa fraser i sin biografi, flaggades några av dem – svarta liv är viktiga, stödja svarta människor, stödja svarta röster och stödja svarta framgångar – som olämpligt innehåll. Men vita versioner av samma fraser var acceptabla.

Om jag går in på Creator Marketplace och sätter 'supporting white supremacy' och trycker på acceptera, är det OK, sa han i en TikTok-video , när han stod framför vad han sa var en videofilm där han gjorde just det på sin egen telefon. För att bli listad på marknadsplatsen var han tvungen att radera det han skrivit.

Relaterad berättelse

TikTok ändrade formen på vissa människors ansikten utan att fråga

Användare märkte vad som verkade vara ett skönhetsfilter som de inte hade begärt – och som de inte kunde stänga av.

I en uppföljningsvideo Tyler visade fraserna Jag är nynazist och jag är en antisemitiker att bli accepterad, medan jag är en svart man flaggades. Berättelsen sprängdes, delvis driven av en publik som redan var frustrerad över det sätt på vilket svarta kreatörer behandlas på TikTok. I en kommentar till Insider , bad en talesperson för företaget om ursäkt för det betydande felet och sa att det som Tyler såg var ett resultat av ett automatiskt filter inställt för att blockera ord associerade med hatretorik. Systemet, sa det, var felaktigt inställt för att flagga fraser utan respekt för ordföljd. Företaget sa till recode att det här speciella felet kom från inkluderingen av orden Black and audience, eftersom dess hatretorik upptäcktes på tärningen i publiken och flaggade ihopparningen som olämplig.

Bli offentlig, blir viral

Det är långt ifrån den enda sådana incidenten som äger rum på plattformen. För några veckor sedan, TikTok tillämpas felaktigt vad som verkade vara ett obligatoriskt skönhetsfilter som skapade en smalare käklinje för vissa Android-användare.

I april märkte en TikTok-skapare att plattformens nya automatiska textningsfunktion blockerade frasen asiatiska kvinnor. Och i början av 2021 upptäckte intersex-skapare att #intersex-hashtaggen inte längre gick att upptäcka i appen.

Dessa är alla exempel på ett mönster som upprepas på TikTok: först upptäcker en kreatör ett bisarrt och potentiellt skadligt problem med plattformens moderering eller algoritm, en som ofta oproportionerligt påverkar marginaliserade grupper. Sedan gör de en video om vad som händer, och den videon får många visningar. Så småningom kanske en journalist blir intresserad av vad som händer, ber företaget att förklara och problemet är löst. TikTok släpper sedan ett uttalande som säger att problemet var resultatet av ett fel, och betonar det arbete de gör för att stödja skaparna och orsakerna som påverkas.

Det är inte nödvändigtvis en överraskning att dessa videor gör nyheter. Människor gör sina videor för att de fungerar. Att få åsikter har varit en av de mer effektiva strategierna för att driva en stor plattform för att fixa något i flera år. Tiktok, Twitter och Facebook har gjort det lättare för användare att rapportera missbruk och regelöverträdelser från andra användare. Men när dessa företag verkar bryta mot sin egen policy, upptäcker folk ofta att den bästa vägen framåt helt enkelt är att försöka skriva om det på själva plattformen, i hopp om att bli viral och få uppmärksamhet som leder till någon form av lösning. Tylers två videor på Marketplace bios, till exempel, har vardera mer än 1 miljon visningar.

'Innehåll flaggas för att de är någon från en marginaliserad grupp som pratar om sina erfarenheter av rasism. Hatretorik och att prata om hatretorik kan se väldigt ut som en algoritm.

Casey Fiesler, University of Colorado, Boulder

Jag blir nog taggad i något ungefär en gång i veckan, säger Casey Fiesler, biträdande professor vid University of Colorado, Boulder, som studerar tekniketik och online-communities. Hon är aktiv på TikTok, med mer än 50 000 följare, men även om inte allt hon ser känns som ett legitimt bekymmer säger hon att appens regelbundna parad av problem är verklig. TikTok har haft flera sådana fel under de senaste månaderna, som alla har oproportionerligt påverkat marginaliserade grupper på plattformen.

MIT Technology Review har frågat TikTok om vart och ett av dessa senaste exempel, och svaren är liknande: efter undersökning finner TikTok att problemet skapades av misstag, betonar att det blockerade innehållet i fråga inte bryter mot deras policyer och länkar för att stödja företaget ger sådana grupper.

Frågan är om den cykeln – något tekniskt eller policyfel, ett viralt svar och ursäkt – kan ändras.

Löser problem innan de uppstår

Det finns två typer av skador av denna förmodligen algoritmiska innehållsmoderering som folk observerar, säger Fiesler. Den ena är falska negativ. Folk är som, 'varför finns det så mycket hatretorik på den här plattformen och varför tas det inte ner?'

Den andra är en falsk positiv. Deras innehåll flaggas för att de är någon från en marginaliserad grupp som pratar om sina erfarenheter av rasism, säger hon. Hatretorik och att prata om hatretorik kan se väldigt ut som en algoritm.

Båda dessa kategorier, noterade hon, skadar samma människor: de som är oproportionerligt riktade mot övergrepp blir algoritmiskt censurerade för att de pratar om det.

TikTok mystiska rekommendationsalgoritmer är en del av dess framgång — men dess oklara och ständigt föränderliga gränser har redan en kylande effekt på vissa användare. Fiesler noterar att många TikTok-skapare självcensurerar ord på plattformen för att undvika att utlösa en recension. Och även om hon inte är säker på exakt hur mycket den här taktiken åstadkommer, har Fielser också börjat göra det själv, för säkerhets skull. Kontoförbud, algoritmiska mysterier och bisarra modereringsbeslut är en ständig del av konversationen i appen.

Relaterad berättelse

Hur Facebook blev beroende av att sprida desinformation

Företagets AI-algoritmer gav det en omättlig vana för lögner och hatretorik. Nu kan inte mannen som byggde dem fixa problemet.

Ännu värre, många av dessa fel, hävdade Fiesler, skulle vara lätta att förutse om företag helt enkelt tänkte mer på hur olika användare faktiskt skulle interagera med deras app. Hatpropagandafelet som Tyler stötte på skulle vara svårt att missa om företaget testade det på det språk som Black Creators faktiskt använder för att beskriva sig själva, till exempel.

Att få moderering rätt är komplext, säger Feisler, men det ursäktar inte denna ständiga upprepning.

Jag är ofta mer sympatisk för utmaningarna med dessa saker än de flesta människor är, säger hon. Men till och med jag är som 'på riktigt?' Vid någon tidpunkt finns det mönster, och du bör veta vad du ska leta efter.

Jag frågade Fiesler om något kunde sakta ner denna cykel, även om det är omöjligt att lösa direkt vid det här laget. En del av svaret är en av de mest långvariga berättelserna inom teknik: anställ och lyssna på människor med olika bakgrunder.

Men, säger hon, större transparens måste också vara en del av lösningen. Fiesler kan inte säga exakt varför TikToks hattalsdetektor gick så fel förra veckan eftersom appen inte har släppt så mycket information om hur den fungerar – inte till forskare som henne och inte till de användare vars innehåll har tagits bort eller undertryckts av automatiserade processer som, historien visar, lätt kan gå fel. Som journalist, när jag har bett TikTok (och vid andra tillfällen andra plattformar) om mer detaljerade förklaringar om varför något de kallar ett fel hände och vad de gör för att förhindra att det upprepas i framtiden, svaret är kort, otillfredsställande, eller så avböjer företaget att kommentera protokollet helt och hållet.

Om kreatörer hela tiden får saker olämpligt flaggade måste det finnas riktigt enkla överklagandeprocesser, säger hon.

Under tiden: cykeln kommer att fortsätta.

Dölj