Google DeepMind lär maskiner med artificiell intelligens att läsa

En revolution inom artificiell intelligens sveper för närvarande genom datavetenskapen. Tekniken kallas djupinlärning och den påverkar allt från ansiktsbehandling och röst till mode och ekonomi.

Men ett område som ännu inte har gynnats är naturlig språkbehandling – möjligheten att läsa ett dokument och sedan svara på frågor om det. Det beror delvis på att djupinlärningsmaskiner först måste lära sig sitt yrke från stora databaser som är noggrant kommenterade för ändamålet. Men dessa finns helt enkelt inte i tillräcklig storlek för att vara användbara.

Idag förändras det tack vare Karl Moritz Hermanns arbete på Google DeepMind i London och några kompisar. Dessa killar säger att det speciella sättet som Daily Mail och CNN skriver nyhetsartiklar online gör att de kan användas på detta sätt. Och den stora mängden artiklar som finns tillgängliga online skapar för första gången en databas som datorer kan använda för att lära sig och sedan svara relaterat till. Med andra ord, DeepMind använder Daily Mail och CNN-artiklar för att lära datorer att läsa.

Den djupa inlärningsrevolutionen har till stor del kommit till på grund av två genombrott. Den första är relaterad till neurala nätverk, där datavetare har utvecklat nya tekniker för att träna nätverk med många lager, en uppgift som har varit knepig på grund av antalet parametrar som måste finjusteras. De nya teknikerna producerar i huvudsak färdiga nät som är redo att lära sig.

Men ett neuralt nätverk är till liten nytta utan en databas att lära av. En sådan databas måste vara noggrant kommenterad så att maskinen har en guldstandard att lära av. Till exempel för ansiktsigenkänning måste träningsdatabasen innehålla bilder där ansikten och deras positioner i ramen tydligt identifieras. Och för att bilderna ska täcka så många ansiktsarrangemang som möjligt måste databaserna vara enorma.

Det har nyligen blivit möjligt tack vare crowdsourcing-tjänster som Amazons Mechanical Turk. Olika team har skapat den här typen av guldstandarddatabas genom att visa människor bilder och be dem rita avgränsande rutor runt ansiktena de innehåller.

Men att skapa en liknande annoterad databas för det skrivna ordet är mycket svårare. Visst, det är möjligt att extrahera meningar som innehåller viktiga punkter. Men dessa är inte mycket hjälp eftersom alla maskinalgoritmer snabbt lär sig att leta igenom texten efter samma fras, en trivial uppgift för en dator.

Istället måste anteckningen beskriva innehållet i texten men utan att förekomma i den. För att förstå kopplingen måste en inlärningsalgoritm sedan se bortom blotta förekomsten av ord och fraser utan också på deras grammatiska kopplingar och orsakssamband.

Att skapa en sådan databas är lättare sagt än gjort. Datavetare har skapat små versioner för hand men dessa är för små för att vara till stor nytta för ett neuralt nätverk. Och det verkar liten möjlighet att skapa större för hand eftersom människor i allmänhet är dåliga på att kommentera text korrekt, om de inte är specialiserade redaktörer.

Gå in på Daily Mail-webbplatsen, MailOnline och CNN online. Dessa webbplatser visar nyhetsartiklar med huvudpunkterna i berättelsen som punktpunkter som är skrivna oberoende av texten. Av nyckelvikt är att dessa sammanfattningar är abstrakta och inte bara kopierar meningar från dokumenten, säger Hermann och co.

Det föreslår omedelbart ett sätt att skapa en kommenterad databas: ta nyhetsartiklarna som texter och punktsammanfattningarna som kommentarer.

DeepMind-teamet går dock längre. De påpekar att det fortfarande är möjligt att räkna ut svaret på många frågor med enkla ordsökningsmetoder.

De ger följande exempel på en typ av problem som kallas en Cloze-fråga, som maskininlärningsalgoritmer ofta används för att lösa. Här är målet att identifiera X i dessa modifierade rubriker från Daily Mail: a) Den högteknologiska bh:n som hjälper dig att slå bröstet X; b) Kan sackarin hjälpa till att slå X ?; c) Kan fiskoljor hjälpa till att bekämpa prostata X?

Hermann och co påpekar att en enkel typ av datautvinningsalgoritm som kallas en ngram-sökning lätt kan hitta svaret genom att leta efter ord som förekommer oftast bredvid alla dessa fraser. Svaret är förstås ordet cancer.

För att förhindra denna typ av lösningar anonymiserar Hermann och co datamängden genom att ersätta aktörerna i meningar med en generisk beskrivning. Ett exempel på originaltext från Daily Mail är detta: BBC-producenten som påstås ha slagits av Jeremy Clarkson kommer inte att väcka åtal mot Top Gear-värden, sa hans advokat i fredags. Clarkson, som var värd för ett av de mest sedda tv-programmen i världen, lades ner av BBC på onsdagen efter att en intern undersökning av den brittiska TV-sändaren fann att han hade utsatt producenten Oisin Tymon för en oprovocerad fysisk och verbal attack.

En anonymiserad version av denna text skulle vara följande:
De ent381 producent som påstås ha drabbats av ent212 kommer inte att väcka åtal mot ent153 värd, sa hans advokat i fredags. ent212 , som var värd för en av de mest sedda tv-programmen i världen, tappades av ent381 onsdag efter en intern utredning av ent180 TV-sändaren fann att han hade utsatt producenten ent193 till ett oprovocerat fysiskt och verbalt angrepp .

På detta sätt är det möjligt att konvertera följande Cloze-typ fråga för att identifiera X från Producenten X kommer inte att väcka åtal mot Jeremy Clarkson, säger hans advokat till Producenten X kommer inte att rikta anklagelser mot ent212 , säger hans advokat .

Och det obligatoriska svaret ändras från Oisin Tymon till ent212 .

På det sättet är den anonymiserade skådespelaren endast möjlig att identifiera sig med någon slags förståelse för de grammatiska kopplingarna och orsakssambanden mellan entiteterna i berättelsen.

Den resulterande databasen är enorm och består av 110 000 artiklar från CNN och 218 000 artiklar från Daily Mails webbplats.

Efter att ha skapat den här typen av databas för första gången kan Hermann och co inte motstå att använda den för att sätta flera maskininlärningstekniker igenom deras takt. De jämför konventionella naturliga språkbehandlingstekniker, som att mäta avståndet mellan kombinationer av ord, och mer moderna neurala nätverksmetoder.

Resultaten visar tydligt hur kraftfulla neurala nät har blivit. Hermann och co säger att de bästa neurala näten kan svara på 60 procent av de frågor som ställs till dem. De föreslår att dessa maskiner kan svara på alla frågor som är strukturerade på ett enkelt sätt och bara kämpar med frågor som har mer komplexa grammatiska strukturer.

Det finns några varningar såklart. Det mest uppenbara är att artiklar från Daily Mail och CNN har en mycket specifik underliggande struktur som skiljer sig från andra icke-journalistiska former av skrivande. Hur denna underliggande struktur påverkar resultaten är inte klart.

Det är inte heller klart hur dessa maskiner jämförs med mänskliga förmågor, något som skulle vara enkelt att ta reda på med tjänster som Mechanical Turk. Det skulle sätta i sammanhanget DeepMinds påstående, antydt i titeln på dess artikel, att dessa maskiner lär sig att förstå vad de läser.

Ändå är detta intressant arbete som sätter scenen för några fascinerande utvecklingar inom en snar framtid. Maskinläsning kommer; frågan är bara hur snabbt.

Ref: arxiv.org/abs/1506.03340 : Lära maskiner att läsa och förstå

Dölj