211service.com
Även den bästa AI:n för att upptäcka falska nyheter är fortfarande hemsk
Illustration av förvirrad robot som håller en tidning Ms. Tech
När Facebooks vd Mark Zuckerberg lovade kongressen att AI skulle hjälpa till att lösa problemet med falska nyheter, avslöjade han lite i vägen hur . Ny forskning tar oss ett steg närmare att ta reda på det.
I en omfattande studie som kommer att presenteras vid en konferens senare denna månad, testade forskare från MIT, Qatar Computing Research Institute (QCRI) och Sofia University i Bulgarien över 900 möjliga variabler för att förutsäga ett medias tillförlitlighet – förmodligen den största uppsättning som någonsin föreslagits .
Forskarna tränade sedan en maskininlärningsmodell på olika kombinationer av variablerna för att se vilka som skulle ge de mest exakta resultaten. Den bästa modellen märkte nyhetsförmedlare med låg, medel eller hög fakta bara 65 % av gångerna.
Det här är långt ifrån en jättesuccé. Men experimenten avslöjar viktiga saker om vad som krävs för att lägga ut vår faktakontroll på en maskin. Preslav Nakov, senior forskare vid QCRI och en av forskarna i studien, säger att han är optimistisk att källor till falska nyheter automatiskt kan upptäckas på detta sätt.
Men det betyder inte att det blir lätt.
Metod till galenskap
I explosionen av forskning om upptäckt av falska nyheter sedan den amerikanska presidentkampanjen 2016, har fyra huvudsakliga tillvägagångssätt dykt upp: faktakontroll av enskilda påståenden, upptäckt av falska artiklar, jakt på troll och mätning av nyhetskällors tillförlitlighet. Nakov och resten av teamet valde att fokusera på den fjärde eftersom den kommer närmast ursprunget till desinformation. Det har också studerats minst.
Tidigare studier försökte karakterisera tillförlitligheten hos en nyhetskälla genom hur många av dess påståenden som matchade eller stod i konflikt med påståenden som redan hade kontrollerats av fakta. Med andra ord skulle en maskin jämföra historien om faktiska påståenden från ett nyhetsutbud mot slutsatserna från sajter som Snopes eller PolitiFact. Mekanismen är dock beroende av mänsklig faktakontroll och utvärderar butikens historia, inte den omedelbara nutiden. När de senaste påståendena har kontrollerats manuellt är det redan för sent, säger Nakov.
För att upptäcka en falsk nyhetskälla i nära realtid tränade Nakov och hans medarbetare sitt system med hjälp av variabler som kunde tabelleras oberoende av mänskliga faktagranskare. Dessa inkluderade analyser av innehållet, som meningsstrukturen i rubriker och ordet mångfald i artiklar; övergripande webbplatsindikatorer, som URL-strukturen och webbplatstrafik; och mått på butikens inflytande, som dess engagemang i sociala medier och Wikipedia-sida, om någon.
För att välja variablerna förlitade sig forskarna både på tidigare forskning – tidigare studier har visat att falska nyhetsartiklar tenderar att ha repetitiva ordval, till exempel – och på nya hypoteser.
Genom att testa olika kombinationer av variabler kunde forskarna identifiera de bästa prediktorerna för en nyhetskällas tillförlitlighet. Huruvida ett uttag hade en Wikipedia-sida, till exempel, hade en stor prediktiv kraft; butikens trafik hade däremot ingen. Övningen hjälpte forskarna att fastställa ytterligare variabler som de kunde utforska i framtiden.
Data svalt
Men det finns ett annat hinder: brist på träningsdata – vad Nakov kallar grundsanningen.
För de flesta maskininlärningsuppgifter är det tillräckligt enkelt att kommentera träningsdata. Om du vill bygga ett system som upptäcker artiklar om sport kan du enkelt märka artiklar som relaterade eller orelaterade till det ämnet. Du matar sedan in datamängden i en maskin så att den kan lära sig egenskaperna hos en sportartikel.
Men att märka medier med hög eller låg fakta är mycket känsligare. Det måste göras av professionella journalister som följer rigorösa metoder, och det är en tidskrävande process. Som ett resultat är det utmanande att bygga upp en solid korpus av träningsdata, vilket delvis är anledningen till att studiens modell är så låg. Det mest uppenbara sättet att öka noggrannheten är att få mer träningsdata, säger Nakov
För närvarande har Media Bias Fact Check, organisationen som valts för att tillhandahålla grundsanningen för forskningen, utvärderat 2 500 mediekällor – en brist på maskininlärning. Men Nakov säger att organisationens databas växer snabbt. Förutom att skaffa mer träningsdata, försöker forskarna också förbättra sin modells prestanda med fler variabler, av vilka några beskriver webbplatsens struktur, om den har kontaktinformation och dess mönster för publicering och borttagning av innehåll.
De är också i ett tidigt skede av att bygga en nyhetsaggregationsplattform som ger läsarna viktiga ledtrådar till pålitligheten hos varje berättelse och källa som delas.
Trots det arbete som återstår att göra, tror Nakov att sådan teknik kan hjälpa till att lösa fake-news-epidemin relativt snabbt om plattformar som Facebook och Twitter verkligen anstränger sig. Det är som att bekämpa spam, skrev han i ett Skype-meddelande. Vi kommer aldrig att stoppa falska nyheter helt, men vi kan sätta dem under kontroll.