211service.com
En AI för att generera falska nyheter kan också hjälpa till att upptäcka det
Hendrik Strobelt och Sebastian Gehrmann
Förra månaden höll OpenAI ganska dramatiskt tillbaka lanseringen av sin senaste språkmodell, GPT-2, eftersom man befarade att den skulle kunna användas för att automatisera massproduktionen av desinformation. Beslutet påskyndade också AI-gemenskapens pågående diskussion om hur man upptäcker den här typen av falska nyheter. I en ny experimentera , övervägde forskare vid MIT-IBM Watson AI Lab och HarvardNLP om samma språkmodeller som kan skriva en sådan övertygande prosa också kan upptäcka andra modellgenererade passager.
Tanken bakom denna hypotes är enkel: språkmodeller producerar meningar genom att förutsäga nästa ord i en textsekvens. Så om de enkelt kan förutsäga de flesta av orden i en given passage, är det troligt att det skrevs av en av dem själva.
Forskarna testade sin idé genom att bygga en interaktiva verktyg baserat på den allmänt tillgängliga nedgraderade versionen av OpenAI:s GPT-2. När du matar verktyget med en textavsnitt markeras orden i grönt, gult eller rött för att indikera minskande förutsägbarhet; den framhäver dem i lila om den inte alls skulle ha förutspått dem. I teorin, ju högre andel av röda och lila ord, desto större chans att passagen skrevs av en människa; ju större andel gröna och gula ord, desto mer sannolikt är det att det skrevs av en språkmodell.
En läsförståelsepassage från ett amerikanskt standardiserat test, skrivet av en människa. Hendrik Strobelt och Sebastian Gehrmann
En passage skriven av OpenAI:s nedgraderade GPT-2. Hendrik Strobelt och Sebastian Gehrmann
Faktiskt fann forskarna att passager skrivna av de nedgraderade och fullständiga versionerna av GPT-2 blev nästan helt gröna och gula, medan vetenskapliga sammanfattningar skrivna av människor och text från läsförståelsepassager i standardiserade tester i USA hade massor av rött och lila.
Men inte så snabbt. Janelle Shane, en forskare som driver den populära bloggen Låter neurala nätverk vara konstiga och som var oengagerad i den inledande forskningen, satte verktyget till en mer rigoröst test . Istället för att bara mata den med text genererad av GPT-2, matade hon den med passager skrivna av andra språkmodeller också, inklusive en tränad på Amazon-recensioner och en annan tränad på Dungeons and Dragons-biografier. Hon fann att verktyget misslyckades med att förutsäga en stor del av orden i vart och ett av dessa avsnitt, och därför antog det att de var skrivna av människor. Detta identifierar en viktig insikt: en språkmodell kan vara bra på att upptäcka sin egen produktion, men inte nödvändigtvis andras utdata.
Den här historien dök ursprungligen upp i vårt AI-nyhetsbrev The Algorithm. För att få det direkt levererat till din inkorg, registrera dig här gratis.