Deep Learning Machine slår människor i IQ-test

För drygt 100 år sedan introducerade den tyske psykologen William Stern intelligenskvottestet som ett sätt att utvärdera mänsklig intelligens. Sedan dess har IQ-tester blivit ett standardinslag i det moderna livet och används för att fastställa barns lämplighet för skolor och vuxnas förmåga att utföra jobb.

Dessa test innehåller vanligtvis tre kategorier av frågor: logiska frågor som mönster i bildsekvenser, matematiska frågor som att hitta mönster i talsekvenser och verbala resonemangsfrågor, som bygger på analogier, klassificeringar samt synonymer och antonymer.

Det är denna sista kategori som har intresserat Huazheng Wang och kompisar vid University of Science and Technology i Kina och Bin Gao och kompisar på Microsoft Research i Peking. Datorer har aldrig varit bra på detta. Ställ en verbal resonemangsfråga till en maskin för bearbetning av naturligt språk och dess prestanda kommer att vara dålig, mycket sämre än den genomsnittliga mänskliga förmågan.

Idag förändras det tack vare Huazheng och kompisar som har byggt en djupinlärningsmaskin som överträffar den genomsnittliga mänskliga förmågan att svara på verbala resonemangsfrågor för första gången.

Under de senaste åren har datavetare använt datautvinningstekniker för att analysera enorma kroppar av texter för att hitta länkarna mellan ord de innehåller. I synnerhet ger detta dem ett grepp om statistiken över ordmönster, till exempel hur ofta ett visst ord förekommer nära andra ord. Utifrån detta är det möjligt att räkna ut hur ord förhåller sig till varandra, om än i ett enormt parameterutrymme.

Slutresultatet är att ord kan ses som vektorer i detta högdimensionella parameterutrymme. fördelen är att de sedan kan behandlas matematiskt: jämföras, adderas, subtraheras som andra vektorer. Detta leder till vektorrelationer som denna: kung – man + kvinna = drottning.

Detta tillvägagångssätt har varit enormt framgångsrikt. Google använder det för automatisk språköversättning genom att anta att ordsekvenser på olika språk representerade av liknande vektorer har samma betydelse. Så de är översättningar av varandra.

Men detta tillvägagångssätt har en välkänd brist: det antar att varje ord har en enda betydelse representerad av en enda vektor. Inte nog med att det ofta inte är fallet, verbala test tenderar att fokusera på ord med mer än en betydelse som ett sätt att göra frågor svårare.

Huazheng och kompisar tacklar detta genom att ta varje ord och leta efter andra ord som ofta förekommer i närheten i en stor textsamling. De använder sedan en algoritm för att se hur dessa ord är klustrade. Det sista steget är att slå upp de olika betydelserna av ett ord i en ordbok och sedan matcha klustren till varje betydelse.

Detta kan göras automatiskt eftersom ordboksdefinitionen innehåller exempelmeningar där ordet används på olika sätt. Så genom att beräkna vektorrepresentationen för dessa meningar och jämföra dem med vektorrepresentationen i varje kluster är det möjligt att matcha dem.

Det övergripande resultatet är ett sätt att känna igen de många olika sinnena som vissa ord kan ha.

Huazheng och kompisar har ytterligare ett knep i rockärmen för att göra det lättare för en dator att svara på verbala resonemangsfrågor. Detta beror på att dessa frågor delas in i flera kategorier som kräver lite olika tillvägagångssätt att lösa.

Så deras idé är att börja med att identifiera kategorin för varje fråga så att datorn sedan vet vilken svarsstrategi den ska använda. Detta är enkelt eftersom frågorna i varje kategori har liknande strukturer.

Så frågor som involverar analogier är som dessa:

Isoterm är till temperatur som isobar är till? (i) atmosfär, (ii) vind, (iii) tryck, (iv) latitud, (v) ström.

och

Identifiera två ord (ett från varje uppsättning parenteser) som bildar en koppling (analogi) när de paras ihop med orden med versaler: CHAPTER (bok, vers, läst), ACT (scen, publik, pjäs).

Ordklassificeringsfrågor är så här:

vilken särskiljer sig? Vilken är annorlunda? (i) lugn, (ii) tyst, (iii) avslappnad, (iv) fridfull, (v) obruten.

Och frågor som letar efter synonymer och antonymer är som dessa:

Vilket ord ligger närmast IRRATIONELL? (i) oförsonlig, (ii) oåterkallelig, (iii) osäker, (iv) förlorad, (v) meningslös.

Och

Vilket ord är mest motsatsen till MUSIKAL? (i) disharmonisk, (ii) högljudd, (iii) lyrisk, (iv) verbal, (v) välljudande.

Att upptäcka varje typ av fråga är relativt enkelt för en maskininlärningsalgoritm, givet tillräckligt för exempel att lära av. Och det är precis så Huazheng och co gör det.

Efter att ha identifierat typen av fråga, utvecklar Huazheng och kompisar sedan en algoritm för att lösa var och en med standardvektormetoderna men också den multi-sense uppgradering de har utvecklat.

De jämför denna teknik för djupinlärning med andra algoritmiska metoder för verbala resonemangstester och även med människors förmåga att göra det. För detta ställde de frågorna till 200 människor samlade via Amazons Mechanical Turk crowdsourcing-anläggning tillsammans med grundläggande information om deras ålder och utbildningsbakgrund.

Och resultaten är imponerande. Till vår förvåning är den genomsnittliga prestandan för människor lite lägre än den för vår föreslagna metod, säger de.

Mänsklig prestation på dessa test tenderar att korrelera med utbildningsbakgrund. Så personer med gymnasieutbildning tenderar att klara sig minst bra, medan de med en kandidatexamen klarar sig bättre och de med en doktorsexamen presterar bäst. Vår modell kan nå intelligensnivån mellan personerna med kandidatexamen och de med masterexamen, säger Huazheng och co.

Det är fascinerande arbete som avslöjar potentialen hos tekniker för djupinlärning. Huazheng och co är tydligt optimistiska om den framtida utvecklingen. Med lämplig användning av teknologierna för djupinlärning kan vi vara ytterligare ett steg närmare den sanna mänskliga intelligensen.

Tekniker för djupinlärning sveper för närvarande genom datavetenskapen som en löpeld och revolutionen de skapar är fortfarande i ett tidigt skede. Det går inte att säga vart denna revolution kommer att ta oss men en sak är säker: William Stern skulle bli förvånad.

Ref: arxiv.org/abs/1505.07909 : Lösning av verbala förståelsefrågor i IQ-test genom kunskapsdriven ordinbäddning

Dölj