211service.com
Hur Reuters revolutionära AI-system samlar in globala nyheter
Internets tillkomst och den efterföljande informationsexplosionen har gjort det alltmer utmanande för journalister att producera nyheter exakt och snabbt. Så börja forsknings- och utvecklingsteamet på den globala nyhetsbyrån Reuters i en tidning på arXiv den här veckan.
För Reuters har problemet gjorts mer akut av uppkomsten av falska nyheter som en viktig faktor för att förvränga uppfattningen av händelser.
Ändå har nyhetsbyråer som Associated Press gått vidare med automatiserade nyhetsskrivande tjänster. Dessa rapporterar standardmeddelanden som finansiella nyheter och vissa sportresultat genom att klistra in data i förskrivna mallar: X rapporterade en vinst på Y miljoner under Q3, i resultat som slog Wall Streets prognoser ...
Så det finns ett betydande tryck på andra nyhetsbyråer att automatisera nyhetsproduktionen. Och idag beskriver Reuters hur man nästan helt har automatiserat identifieringen av senaste nyheterna. Xiaomo Liu och vänner på Reuters Research and Development och Alibaba säger att det nya systemet fungerar bra. Det har faktiskt potential att revolutionera nyhetsbranschen. Men det väcker också oro för hur ett sådant system skulle kunna spelas av illvilliga aktörer.
Det nya systemet heter Reuters Tracer. Den använder Twitter som en slags global sensor som registrerar nyhetshändelser när de händer. Systemet använder sedan olika typer av datautvinning och maskininlärning för att välja ut de mest relevanta händelserna, bestämma deras ämne, rangordna deras prioritet och skriva en rubrik och en sammanfattning. Nyheterna distribueras sedan runt företagets globala nyhetstråd.
Det första steget i processen är att hämta Twitter-dataströmmen. Tracer undersöker cirka 12 miljoner tweets om dagen, 2 procent av det totala antalet. Hälften av dessa tas slumpmässigt; den andra hälften kommer från en lista över Twitter-konton som kurerats av Reuters mänskliga journalister. De inkluderar konton från andra nyhetsorganisationer, betydande företag, inflytelserika individer och så vidare.
Nästa steg är att avgöra när en nyhetshändelse har inträffat. Tracer gör detta genom att anta att en händelse har inträffat om flera personer börjar prata om den samtidigt. Så den använder en klustringsalgoritm för att hitta dessa konversationer.
Naturligtvis inkluderar dessa kluster spam, annonser, vanlig chatt och så vidare. Endast några av dem hänvisar till nyhetsvärde händelser.
Så nästa steg är att klassificera och prioritera händelserna. Tracer använder ett antal algoritmer för att göra detta. Den första identifierar samtalsämnet. Den jämför sedan detta med en databas med ämnen som Reuters-teamet har samlat in från tweets som producerats av 31 officiella nyhetskonton, såsom @CNN, @BBCBreaking och @nytimes samt nyhetsaggregatorer som @BreakingNews.
I detta skede bestämmer algoritmen även platsen för evenemanget med hjälp av en databas med städer och platsbaserade nyckelord.
När en konversation eller ett rykte potentiellt identifieras som nyheter, är en viktig faktor dess sanning. För att avgöra detta letar Tracer efter källan genom att identifiera den tidigaste tweeten i konversationen som nämner ämnet och alla webbplatser den pekar på. Den konsulterar sedan en databas som listar kända producenter av falska nyheter, som National Report, eller satiriska nyhetssajter som The Onion.
Slutligen skriver systemet en rubrik och sammanfattning och distribuerar nyheterna i hela Reuters-organisationen.
Under försök, säger Reuters-teamet, har systemet fungerat bra. Tracer kan uppnå konkurrenskraftig precision, återkallelse, aktualitet och sanningsenlighet vid nyhetsdetektering och leverans, säger de.
Och de har statistik för att backa upp detta. Systemet behandlar 12 miljoner tweets varje dag och avvisar nästan 80 procent av dem som brus. Resten faller in i cirka 6 000 kluster som systemet kategoriserar som olika typer av nyhetshändelser. Det hela görs av 13 servrar som kör 10 olika algoritmer.
Som jämförelse sysselsätter Reuters cirka 2 500 journalister runt om i världen som tillsammans genererar cirka 3 000 nyhetsvarningar varje dag, med hjälp av en mängd olika källor, inklusive Twitter. Av dessa är cirka 250 skrivna som nyhetsartiklar.
Reuters jämförde berättelserna som Tracer identifierar med de som visas i nyhetsflöden från organisationer som BBC och CNN. Resultaten indikerar att Tracer kan täcka cirka 70 procent av nyhetsartiklarna med 2 procent av Twitter-data, säger Lui och co.
Och systemet fungerar verkligen snabbt. Teamet lyfter fram exemplet med skjutningen i Las Vegas i oktober 2017, som gjorde att 58 personer dog. Ett vittne rapporterade händelsen klockan 01:22, som utlöste ett Tracer-kluster. Klustret uppfyllde dock inte systemets kriterier för att en händelse skulle inkluderas i nyhetsflödet förrän klockan 01:39. Reuters rapporterade händelsen klockan 01:49, säger Lui och co.
Det är intressant arbete som väcker ett antal frågor, särskilt om hur lätt systemet är att manipulera. Det är inte svårt att föreställa sig illvilliga aktörer som designar Twitter-flöden med den specifika avsikten att lura Tracer.
Men om detta system kommer att vara lättare att spela än det nuvarande, där människor regelbundet luras, är svårt att säga.
Sedan är det människans roll i nyhetsbranschen. Framtiden för nyheter är helt klart en av ökande automatisering. Hur människor passar in är ännu inte bestämt.
Ref: arxiv.org/abs/1711.04068 : Reuters Tracer: Mot automatiserad nyhetsproduktion med hjälp av data från sociala medier i stor skala