Instagram använder AI för att hindra människor från att posta kränkande kommentarer

Kategori: Artificiell intelligens Postad 09 juli

Den sociala medieplattformen kommer att flagga eventuellt stötande kommentarer innan de publiceras och ber affischen att ompröva.

Sammanhanget: Onlinemissbruk har alltid varit en komplicerad fråga på grund av dess omfattning och nyans. Det som räknas som värdigt censur är en evig debatt : filtrera för mycket och det inkräktar på självuttryck; filtrera för lite och det skapar en fientlig miljö. Lägg till det komplexiteten i olika språk, kulturer och normer, så blir utmaningen riktigt svårhanterlig.

Artificiell ointelligens: Det är därför sociala medier som Facebook har vänt sig till artificiell intelligens för att hjälpa dem att sortera igenom mängden inlägg och kommentarer. Men språket har alltid varit särskilt svårt för AI att analysera – enkla saker som dubbla meningar, sarkasm eller till och med felstavningar kan få ett system att missförstå deras betydelse. För att komma runt det använder Facebook tusentals innehållsmoderatorer att ta steget upp när dess algoritmer misslyckas med att göra en slutgiltig bedömning. Undersökningar har visat att dessa jobb ofta är brutala och ansträngande.

Instagrams lösning: Instagram, som ägs av Facebook, prövar nu ett nytt tillvägagångssätt. Istället för att förlita sig enbart på dess algoritmer för att censurera stötande material, kommer det också att dra på användarnas självcensur. När en kommentar postas, om plattformens AI-modell flaggar den som skadlig, kommer affischen att se ett popup-fönster som frågar Är du säker på att du vill lägga upp detta?

I tidiga tester fann Instagram att funktionen uppmuntrade många människor att dra tillbaka sina kommentarer, enligt gårdagens blogginläggsmeddelande . Det är en smart taktik att försöka lindra en del av bördan för moderering av mänskligt innehåll utan att vara alltför restriktiv.

Träningsdata: Det här är inte första gången Instagram har använt AI för att rensa upp språket. I juni 2017, det också lanseras ett kränkande kommentarsfilter som använder maskininlärning för att dölja det mest uppenbara missbruket. Plattformen har sedan dess fortsatt att förbättra sin maskininlärningsmodell, troligen med hjälp av de miljontals datapunkter som genererats av användare när de rapporterade kommentarer tidigare. Den senaste funktionen ber också användare att meddela Instagram om den har flaggat deras kommentar som stötande av misstag, en annan feedbackloop som kan generera mer användbar träningsdata.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.