211service.com
AI suger fortfarande på att moderera hatretorik
Ms Tech | Getty, Unsplash
Trots alla de senaste framstegen inom språklig AI-teknik kämpar den fortfarande med en av de mest grundläggande applikationerna. I en ny studie , testade forskare fyra av de bästa AI-systemen för att upptäcka hatretorik och fann att alla kämpade på olika sätt för att skilja giftiga och ofarliga meningar.
Resultaten är inte överraskande – det är svårt att skapa AI som förstår nyanserna i naturligt språk. Men sättet som forskarna diagnostiserade problemet är viktigt. De utvecklade 29 olika tester riktade mot olika aspekter av hatretorik för att mer exakt peka ut exakt var varje system misslyckas. Detta gör det lättare att förstå hur man övervinner ett systems svagheter och hjälper redan en kommersiell tjänst att förbättra sin AI.
Studieförfattarna, ledda av forskare från University of Oxford och Alan Turing Institute, intervjuade anställda från 16 ideella organisationer som arbetar med hat online. Teamet använde dessa intervjuer för att skapa en klassificering av 18 olika typer av hatretorik, med fokus enbart på engelska och textbaserade hatretorik, inklusive nedsättande tal, förtal och hotfullt språk. De identifierade också 11 icke-hatfulla scenarier som ofta slår upp AI-moderatorer, inklusive användningen av svordomar i ofarliga uttalanden, förtal som har återkrävts av det riktade samhället och hatförklaringar som citerar eller refererar till det ursprungliga hattalet (känd som counter Tal).
För var och en av de 29 olika kategorierna, handgjorda de dussintals exempel och använde mallsatser som jag hatar [IDENTITET] eller Du är bara en [SLUR] för mig för att skapa samma uppsättning exempel för sju skyddade grupper – identiteter som är lagligt skyddat från diskriminering enligt amerikansk lag. De öppen källkod den slutliga datamängden som heter HateCheck, som innehåller nästan 4 000 totalt exempel.
Forskarna testade sedan två populära kommersiella tjänster: Google Jigsaws Perspektiv API och två hattar SiftNinja . Båda tillåter kunder att flagga upp kränkande innehåll i inlägg eller kommentarer. Perspective, i synnerhet, används av plattformar som Reddit och nyhetsorganisationer som The New York Times och Wall Street Journal. Den flaggar och prioriterar inlägg och kommentarer för mänsklig granskning baserat på dess mått på toxicitet.
Medan SiftNinja var alltför överseende med hatretorik och misslyckades med att upptäcka nästan alla dess varianter, var Perspective alltför tufft. Det utmärkte sig med att upptäcka de flesta av de 18 hatiska kategorierna men flaggade också de flesta av de icke-hatiska, som återvunna förtal och mottal. Forskarna hittade samma mönster när de testade två akademiska modeller från Google som representerar några av de bästa språkliga AI-teknikerna som finns tillgängliga och som troligen fungerar som grunden för andra kommersiella system för innehållsmoderering. De akademiska modellerna visade också ojämna prestationer över skyddade grupper – felklassificerade hat riktat mot vissa grupper oftare än andra.
Relaterad berättelse
Hur Facebook blev beroende av att sprida desinformation Företagets AI-algoritmer gav det en omättlig vana för lögner och hatretorik. Nu kan inte mannen som byggde dem fixa problemet.
Resultaten pekar på en av de mest utmanande aspekterna av AI-baserad detektering av hatretorik idag: Måttlig för lite och du misslyckas med att lösa problemet; moderera för mycket och du skulle kunna censurera den typ av språk som marginaliserade grupper använder för att stärka och försvara sig själva: Helt plötsligt skulle du straffa just de samhällen som oftast riktas mot hat i första hand, säger Paul Röttger, doktorand. kandidat vid Oxford Internet Institute och medförfattare till uppsatsen.
Lucy Vasserman, Jigsaws ledande mjukvaruingenjör, säger att Perspective övervinner dessa begränsningar genom att förlita sig på mänskliga moderatorer för att fatta det slutliga beslutet. Men den här processen är inte skalbar för större plattformar. Jigsaw arbetar nu på att utveckla en funktion som skulle omprioritera inlägg och kommentarer baserat på Perspectives osäkerhet – att automatiskt ta bort innehåll som det säkert är hatiskt och flagga upp borderlineinnehåll till människor.
Det som är spännande med den nya studien, säger hon, är att den ger ett finkornigt sätt att utvärdera den senaste tekniken. Många av de saker som lyfts fram i det här dokumentet, som att återvunna ord är en utmaning för dessa modeller – det är något som har varit känt i branschen men som är väldigt svårt att kvantifiera, säger hon. Jigsaw använder nu HateCheck för att bättre förstå skillnaderna mellan sina modeller och var de behöver förbättras.
Akademiker är också entusiastiska över forskningen. Den här uppsatsen ger oss en bra, ren resurs för att utvärdera industrisystem, säger Maarten Sap, en språklig AI-forskare vid University of Washington, vilket gör det möjligt för företag och användare att be om förbättringar.
Thomas Davidson, biträdande professor i sociologi vid Rutgers University, håller med. Språkmodellernas begränsningar och språkets stökighet gör att det alltid kommer att finnas avvägningar mellan under- och överidentifierande hatretorik, säger han. HateCheck-datauppsättningen hjälper till att göra dessa avvägningar synliga, tillägger han.