211service.com
En algoritm sammanfattar lång text förvånansvärt bra
herr. tech
Vem har tid att läsa varje artikel de ser delas på Twitter eller Facebook, eller alla dokument som är relevanta för deras jobb? När informationsöverbelastningen blir allt värre kan datorer bli vårt enda hopp för att hantera en växande översvämning av dokument. Och det kan bli rutin att lita på en maskin för att analysera och parafrasera artiklar, forskningsartiklar och annan text åt dig.
En algoritm utvecklad av forskare på Salesforce visar hur datorer så småningom kan ta sig an jobbet att sammanfatta dokument. Den använder flera maskininlärningsknep för att producera förvånansvärt sammanhängande och exakta textavsnitt från längre stycken. Och även om det ännu inte är lika bra som en person, antyder det hur komprimerande text så småningom kan bli automatiserad.
Algoritmen producerade till exempel följande sammanfattning av en ny New York Times artikel om Facebook som försöker bekämpa falska nyheter inför det kommande valet i Storbritannien:
- Det sociala nätverket publicerade en serie annonser i tidningar i Storbritannien på måndagen.
- Det har tagit bort tiotusentals falska konton i Storbritannien.
- Den sa också att den skulle anställa 3 000 fler moderatorer, vilket nästan fördubblar antalet människor världen över som söker efter olämpligt eller stötande innehåll.
Salesforce-algoritmen är dramatiskt bättre än något som tidigare utvecklats, enligt ett vanligt programvaruverktyg för att mäta exaktheten i textsammanfattningar.
Jag tror aldrig att jag har sett en så stor förbättring i någon uppgift för [naturligt språkbehandling], säger Richard Socher , chefsforskare på Salesforce. Socher är ett framstående namn inom maskininlärning och bearbetning av naturliga språk, och hans start, MetaMind , förvärvades av Salesforce 2016.
Mjukvaran är fortfarande långt ifrån att matcha en människas förmåga att fånga essensen av dokumenttext, och andra sammanfattningar som den producerar är slarvigare och mindre sammanhängande. Att sammanfatta text perfekt skulle faktiskt kräva genuin intelligens, inklusive sunt förnuft och språkbehärskning.
Att analysera språk är fortfarande en av de stora utmaningarna med artificiell intelligens (se AI:s språkproblem). Men det är en utmaning med enorm kommersiell potential. Även begränsad språklig intelligens – förmågan att analysera talade eller skrivna frågor och att svara på mer sofistikerade och sammanhängande sätt – skulle kunna förändra personlig datoranvändning. Inom många specialistområden – som medicin, vetenskaplig forskning och juridik – kan kondensering av information och utvinning av insikter ha enorma kommersiella fördelar.
Caiming Xiong, en forskare på Salesforce som bidrog till arbetet, säger att hans teams algoritm, även om den är ofullständig, kan sammanfatta dagliga nyhetsartiklar eller ge en sammanfattning av kundernas e-postmeddelanden. Det senare kan vara särskilt användbart för Salesforces egen plattform.
Teamets algoritm använder en kombination av metoder för att uppnå dess förbättring. Systemet lär sig av exempel på bra sammanfattningar, ett tillvägagångssätt som kallas övervakat lärande, men använder också en slags artificiell uppmärksamhet på texten som det intar och matar ut. Detta hjälper till att säkerställa att det inte producerar för många repetitiva textsträngar, ett vanligt problem med summeringsalgoritmer.
Systemet experimenterar för att generera egna sammanfattningar med hjälp av en process som kallas förstärkningsinlärning. Inspirerat av hur djur verkar lära sig, innebär detta att ge positiv feedback för handlingar som leder mot ett visst mål. Reinforcement learning har använts för att träna datorer att göra imponerande nya saker, som att spela komplexa spel eller kontrollera robotar (se 10 Breakthrough Technologies 2017: Reinforcement Learning ). De som arbetar med konversationsgränssnitt ser nu allt oftare på förstärkningsinlärning som ett sätt att förbättra sina system.
Kristian Hammond , professor vid Northwestern University, och grundaren av Berättarvetenskap , ett företag som genererar narrativa rapporter från rådata, säger att Salesforce-undersökningen är ett bra framsteg, men den visar också gränserna för att förlita sig enbart på statistisk maskininlärning. Någon gång måste vi erkänna att vi behöver lite semantik och lite syntaktisk kunskap i de här systemen för att de ska vara flytande och flytande, säger Hammond.
Hammond säger att användningen av en uppmärksamhetsmekanism härmar, på en mycket enkel nivå, hur en person uppmärksammar vad han just har sagt. När man säger något så drivs detaljerna i hur man säger det av sammanhanget i det man har sagt tidigare, säger han. Detta arbete är ett steg i den riktningen.
Att förbättra datorernas språkkunskaper kan också visa sig vara viktigt i strävan att främja artificiell intelligens. En startup som heter Maluuba , som förvärvades tidigare i år av Microsoft, producerade nyligen ett system som kan generera relevanta frågor från text. Maluuba-teamet använde också en kombination av övervakat lärande och förstärkningsinlärning.
Adam Trischler, senior forskare vid Maluuba, säger att ställa relevanta frågor är en viktig del av lärandet, så det är viktigt att skapa nyfikna maskiner också. Det slutliga målet är att använda frågor och svar i en dialog, säger Trischler. Tänk om en maskin kunde gå ut och samla information och sedan ställa sina egna frågor?