IQ-testresultat: Avancerad AI-maskin matchar fyraåriga barns poäng

De snabba framstegen inom informationsbehandlingstekniken de senaste åren har skapat datorenheter med enorma krafter. Dessa maskiner har länge varit bättre än människor på aritmetik, vissa spel som schack och på senare tid på avancerade mönsterigenkänningsuppgifter som ansiktsigenkänning.

Men en enastående fråga är: i vilken utsträckning motsvarar dessa förmågor motsvarigheten till mänsklig intelligens? Idag får vi olika svar tack vare Stellan Ohlssons arbete vid University of Illinois och några kompisar som har satt en av världens mest kraftfulla maskiner för artificiell intelligens i sin takt med hjälp av ett standard IQ-test som ges till människor.

Resultaten visar att även om datorer har blivit mycket kraftfullare de senaste åren, har de en del att komma ikapp för att matcha mänskliga prestationsnivåer.

Först lite bakgrund. Vetenskapen om att mäta mänskliga färdigheter och prestationer är känd som psykometri. När det kommer till mänsklig intelligens är det mest accepterade psykometriska testet Intelligence Quotient, eller IQ-testet.

Denna består av två delar. Den första är en uppsättning frågor utformade för att testa olika aspekter av mänsklig prestation. Den andra är en databas med testresultat som framtida resultat kan jämföras med. Så här värderas människor; som över eller under genomsnittet jämfört med till exempel databasen.

IQ-tester är också utformade för att testa människor i olika skeden av deras liv. Så ett test designat för vuxna ger osannolikt mycket insikt i prestanda hos 10-åringar eller 4-åringar. Så processen att designa tester och skapa testresultatdatabasen måste göras för var och en av dessa grupper.

Under åren har datavetare skapat ett antal AI-maskiner som har försökt få en rationell förståelse av världen omkring dem. En av de mest kända, kallad ConceptNet, har varit under utveckling på MIT sedan 1990-talet.

För att mäta dess intelligens använde Ohlsson och co ett verbalt IQ-test designat för barn för att testa ConceptNet 4 (ConceptNet 5 har sedan dess släppts).

Detta test, känt som Wechsler Preschool and Primary Scale of Intelligence, mäter barns prestationer i fem kategorier: information, ordförråd, ordresonemang, förståelse och likheter.

Informationskategorin innehåller frågor som: Var kan man hitta en pingvin?

Ordförrådskategorin innehåller frågor som: Vad är ___? som i Vad är ett hus?

I ordresonemang måste ett barn identifiera något från tre ledtrådar, som: Du kan se igenom det, det är fyrkantigt och du kan öppna det.

Likhetsfrågorna är av formen: Avsluta det jag säger. X och Y är båda ___ som i Avsluta det jag säger. Penna och penna är båda ___. Detta kräver att barnet förstår två begrepp och hittar överlappningen mellan dem.

Och slutligen är förståelsefrågorna av formen: Varför skakar människor hand? Detta kräver konstruktion av en förklaring och går därför längre än bara informationssökning.

Ohlsson och co administrerade detta test genom att mata in frågorna till AI-maskinen i modifierad form. Detta krävde en del programmering för att tillåta frågorna att samverka med datorns kunskapsstruktur om världen.

Och resultaten ger intressant läsning. ConceptNet klarar sig bra på ordförråd och likheter, mellan information och dåligt på ordresonemang och förståelse, säger Ohlsson och co.

Särskilt svaren som den gav var oerhört känsliga för hur den tolkade frågan. Till exempel, i kategorin förståelse, frågades maskinen Varför skakar vi hand?

För ConceptNet 4 kokar detta ner till en sökning relaterad till tre begrepp, två ettordsbegrepp om skaka och hand och ett tvåordsbegrepp skaka hand. Om den använder alla dessa begrepp för att söka efter ett svar, producerar den epileptisk anfall.

Men att tvinga maskinen att bara överväga enstaka koncept ger de mycket mer tillfredsställande svaren tack, flirta och träffa en vän.

Men det fungerar inte alltid. Till exempel i informationskategorin frågades maskinen var kan man hitta en lärare?

Maskinen delar upp detta i en begäran om tre olika begrepp: hitta och lärare och tvåordsbegreppet hitta lärare. Genom att använda alla dessa ger det svaret korrekt som Men om Ohlsson och co tvingar den att bara överväga tvåordsbegreppet hitta lärare, ger det de förbryllande svaren band eller piano.

Varför det har problem med den här typen av resonemang under vissa omständigheter är inte klart.

Dessutom är många av de felaktiga svaren helt olik dem som barn skulle ge. Till exempel, i kategorin ordet resonemang, fick ConceptNet 4 följande ledtrådar: Detta djur har en man om det är hane, det här är ett djur som lever i Afrika och det här en stor gulbrun katt.

Men de fem bästa svaren var: hund, gård, varelse, hem och katt.

Det är bisarrt. Sunt förnuft bör åtminstone begränsa svaret till djur, och bör också dra den enkla slutsatsen att, om ledtrådarna säger att det är en katt, så är katttyper de enda alternativen att överväga, säger Ohlsson och co.

Allt detta pekade Ohlsson och co till en tydlig slutsats. ConceptNet-systemet fick en WPPSI-III VIQ som är genomsnittlig för ett fyraårigt barn, men under genomsnittet för fem- till sjuåringar, säger de.

Det är ett intressant resultat. Naturligtvis finns det olika sätt att förbättra testet. En är att ge datorn naturliga språkbehandlingsmöjligheter. Det skulle minska dess beroende av den programmering som krävs för att komma in i frågorna och är något som redan blir möjligt med onlineassistenter som Siri, Cortana och Google Now.

Den kanske viktigaste punkten är att detta arbete gjordes på en version av ConceptNet 4 som går tillbaka till 2012. Artificiell intelligens har förändrats snabbt sedan dess. Den huvudsakliga förändringen har varit en övergång från kunskapsinsamling till att vara lärande. Dessa system krossar nu stora databaser med information för att få insikter om språk, bilder och andra aspekter av världen. Detta har lett till en exponentiell förbättring av prestanda i många uppgifter, som ansiktsigenkänning.

Om man tar Ohlsson och cos resultat till nominellt värde, har det tagit 60 år av AI-forskning att bygga en maskin 2012 som kan vara nära att matcha sunt förnuftsresonemang hos en fyraåring. Men karaktären av exponentiella förbättringar höjer utsikterna att de kommande sex åren kan ge liknande dramatiska förbättringar.

Så en fråga som vi borde överväga snabbt är: vilken typ av AI-maskin kan vi brottas med under 2018?

Ref: arxiv.org/abs/1509.03390 : Mätning av ett artificiellt intelligenssystems prestanda på ett verbalt IQ-test för små barn

Dölj