En AI hjälper dig att sammanfatta det senaste inom AI

Ms Tech | howadesign/substantivprojekt

Nyheterna: En ny AI-modell för att sammanfatta vetenskaplig litteratur kan nu hjälpa forskare att vada igenom och identifiera de senaste banbrytande tidningarna de vill läsa. Den 16 november rullade Allen Institute for Artificial Intelligence (AI2) ut modellen på sin flaggskeppsprodukt, Semantisk lärd , en AI-driven sökmotor för vetenskapliga papper. Den ger en sammanfattning av en mening tl;dr (för lång; läste inte) under varje datavetenskaplig uppsats (för nu) när användare använder sökfunktionen eller går till en författares sida. Arbetet antogs även till konferensen Empirical Methods for Natural Language Processing denna vecka.

En skärmdump av tl;dr-funktionen i Semantic Scholar.

AI2

Sammanhanget: I en tid av överbelastning av information har användning av AI för att sammanfatta text varit ett populärt problem med bearbetning av naturligt språk (NLP). Det finns två allmänna tillvägagångssätt för denna uppgift. Den ena kallas extraktiv, som försöker hitta en mening eller uppsättning meningar från texten ordagrant som fångar dess väsen. Den andra kallas abstrakt, vilket innebär att man genererar nya meningar. Medan extraktionstekniker brukade vara mer populära på grund av NLP-systemens begränsningar, har framsteg inom generering av naturligt språk under de senaste åren gjort det abstrakta mycket bättre.

Hur de gjorde det: AI2:s abstrakta modell använder vad som kallas en transformator – en typ av neural nätverksarkitektur som först uppfanns 2017 och som sedan dess har drivit alla stora språng inom NLP, inklusive OpenAI:s GPT-3 . Forskarna tränade först transformatorn på en generisk korpus av text för att fastställa dess grundläggande förtrogenhet med det engelska språket. Denna process är känd som förträning och är en del av det som gör transformatorer så kraftfulla. De finjusterade sedan modellen – med andra ord tränade den vidare – på den specifika uppgiften att sammanfatta.

Finjusteringsdata: Forskarna skapade först en datauppsättning som heter SciTldr, som innehåller ungefär 5 400 par vetenskapliga artiklar och motsvarande sammanfattningar i en mening. För att hitta dessa högkvalitativa sammanfattningar letade de först efter dem på OpenReview, en offentlig konferensplattform för inlämning av papper där forskare ofta publicerar sin egen sammanfattning av sin uppsats med en mening. Detta gav ett par tusen par. Forskarna anlitade sedan annotatorer för att sammanfatta fler artiklar genom att läsa och ytterligare kondensera sammanfattningarna som redan hade skrivits av referentbedömare.

För att komplettera dessa 5 400 par ytterligare sammanställde forskarna en andra datauppsättning med 20 000 par vetenskapliga artiklar och deras titlar. Forskarna ansåg att eftersom titlar i sig är en form av sammanfattning, skulle de ytterligare hjälpa modellen att förbättra sina resultat. Detta bekräftades genom experiment.

tl;dr-funktionen är särskilt användbar för att skumma papper på mobilen.

AI2

Extrem sammanfattning: Medan många andra forskningsansträngningar har tagit itu med uppgiften att sammanfatta, sticker denna ut för den nivå av komprimering den kan uppnå. De vetenskapliga artiklarna som ingår i SciTldr-datauppsättningen är i genomsnitt 5 000 ord. Deras sammanfattningar i en mening är i genomsnitt 21. Det betyder att varje papper är komprimerat i genomsnitt till 238 gånger dess storlek. Den näst bästa abstrakta metoden är tränad för att komprimera vetenskapliga artiklar i genomsnitt endast 36,5 gånger. Under testningen bedömde mänskliga granskare också att modellens sammanfattningar var mer informativa och korrekta än tidigare metoder.

Nästa steg: Det finns redan ett antal sätt som AI2 nu arbetar för att förbättra sin modell på kort sikt, säger Daniel Weld, professor vid University of Washington och chef för forskningsgruppen Semantic Scholar. För det första planerar de att träna modellen för att hantera mer än bara datavetenskapsuppsatser. För en annan, kanske delvis på grund av utbildningsprocessen, har de funnit att tl;dr-sammanfattningarna ibland överlappar för mycket med papperstiteln, vilket minskar deras övergripande användbarhet. De planerar att uppdatera modellens träningsprocess för att bestraffa sådan överlappning så att den lär sig att undvika upprepningar över tid.

På lång sikt kommer teamet också att arbeta med att sammanfatta flera dokument åt gången, vilket kan vara användbart för forskare som går in på ett nytt område eller kanske till och med för beslutsfattare som snabbt vill komma igång. Vad vi verkligen är glada över att göra är att skapa personliga forskningsgenomgångar, säger Weld, där vi kan sammanfatta inte bara ett dokument, utan en uppsättning av sex senaste framsteg inom ett visst delområde.

Dölj