211service.com
Nu finns det ett IQ-test för Siri och vänner
Psykologer har aldrig kommit överens om den mänskliga intelligensens natur. Och utan den överenskommelsen är intelligens svår att mäta. Faktum är att den mest kända mätmetoden – intelligenskvoten eller IQ-testet – har genererat våldsamma kontroverser.
Maskinintelligensens natur är lika svår. Men det är ett ämne som psykologer och datavetare tvingas konfrontera när intelligenta maskiner blir vanligare och mer kraftfulla.
Detta väcker ett antal frågor. Hur intelligenta är dessa maskiner och hur jämför de med människor i detta avseende?
Idag får vi ett slags svar tack vare arbetet av Feng Liu vid den kinesiska vetenskapsakademin i Peking och ett par kompisar, som har utvecklat ett intelligenstest som både maskiner och människor kan göra. Dessa killar har använt testet för att rangordna intelligenta assistenter som Google Assistant och Siri på samma skala som används för människor.
Deras test är baserat på vad forskarna kallar standardintelligensmodellen. I denna nya modell måste systemen ha ett sätt att hämta data från omvärlden; de måste kunna omvandla data till en form som de kan bearbeta; de måste kunna använda denna kunskap på ett innovativt sätt; och slutligen måste de mata den resulterande kunskapen tillbaka till omvärlden.
Det handlar om att kunna samla in data, bemästra det, utöva kreativitet över det och sedan producera en utdata.
Om ett system har [dessa] egenskaper kan det definieras som ett standardintelligenssystem, säger Feng och co.
Forskarna utvecklade ett test som mäter en maskins (eller en människas) förmåga att göra alla dessa saker. Det är här som detaljerna blir lite luddiga. De säger inte vilken typ av test de använder.
Men de fortsätter med att säga att de har testat intelligenta assistenter sedan 2014. Dessa maskiner inkluderar de från Google, Baidu, Sogou, Apple och Microsoft. De har också testat människor på samma sätt, och detta gör att de kan rangordna dem alla på samma skala.
Rankingen 2016 – det senaste testet de publicerar – är följande.
- Människan 18 år gammal 97
- Människan 12 år gammal 84,5
- Människan 6 år gammal 55,5
- Google 47.28
- Baidu's Duer 37.2
- Baidu 32,92
- Sogou 32.25
- Bing 31,98
- Microsofts Xiaobing 24.48
- Apples Siri 23.94
Så på den här skalan överträffar även en sexårig människa den mest avancerade digitala assistenten, som i det här fallet är Googles. Apple höjer den här rankningen och har till synes överträffat alla sina huvudkonkurrenter.
En viktig punkt är att maskinintelligens förbättras snabbt. 2014 fick Googles assistent 26,4 poäng i detta test. Bara två år senare fick den 47,28, inte långt efter en sexåring. Det är en betydande ökning.
Sedan dess har Google gjort ett antal förbättringar av sin assistent, vilket ökar dess användbarhet. Det ska bli intressant att se hur dessa maskiner presterar i 2017 års ranking.
Men bara om denna metod vinner i trovärdighet. Feng och cos sekretess kan vara förståeligt i den meningen att avslöjande av testerna skulle göra det enkelt att spela dem. Å andra sidan, utan att veta hur testningen fungerar, är det svårt att tro på dess användbarhet.
Feng och co skulle göra klokt i att publicera fler detaljer – kanske till och med en uppsättning exempelfrågor. Utan det kommer den rådande synen på detta arbete att vara skeptisk.
Ref: arxiv.org/abs/1709.10242 : Intelligenskvot och intelligensgrad för artificiell intelligens