Googles algoritm för att upptäcka hatretorik är rasistiskt partisk

Kategori: Silicon Valley Postad 13 aug

AI-system avsedda att upptäcka kränkande onlineinnehåll är mycket mer benägna att märka tweets som stötande om de postades av personer som identifierar sig som afroamerikanska.

Nyheterna: Forskare byggde två AI-system och testade dem på ett par datamängder med mer än 100 000 tweets som hade kommenterats av människor med etiketter som stötande, inget eller hatpropaganda. En av algoritmerna flaggade felaktigt 46 % av oförargliga tweets från afroamerikanska författare som stötande. Tester på större datamängder, inklusive en som består av 5,4 miljoner tweets, fann att inlägg från afroamerikanska författare löpte 1,5 gånger större risk att betecknas som stötande. När forskarna sedan testade Googles Perspektiv , ett AI-verktyg som företaget låter vem som helst använda för att moderera diskussioner online, hittade de liknande rasfördomar.

En svår balans att hitta: Massskjutningar utförda av vita supremacister i USA och Nya Zeeland har lett till ökande krav från politiker på sociala medier att göra mer för att sålla bort hatretorik. Dessa studier understryker hur komplicerad en uppgift det är. Huruvida språket är stötande kan bero på vem som säger det och vem som hör det. Till exempel är en svart person som använder ordet N mycket annorlunda än en vit person som använder det. Men AI-system förstår inte, och kan för närvarande inte, den nyansen.

Risken: Genom att skynda oss att använda programvara för att automatiskt sålla bort stötande språk, riskerar vi att tysta minoritetsröster. Moderera onlineinnehåll är en traumatiserande, svårt jobb , så teknikföretag är angelägna om att förlita sig på AI-system istället för människor (de är också mycket billigare). Den här studien visar de enorma risker som ligger i detta tillvägagångssätt.

Registrera dig här för vårt dagliga nyhetsbrev The Download för att få din dos av de senaste måste-läs-nyheterna från världen av framväxande teknik.