Det bästa AI-programmet gör fortfarande ett vetenskapligt test i åttonde klass

Trots alla anmärkningsvärda framsteg som görs inom artificiell intelligens, och varningar om den omvälvning detta kan medföra, skulle den smartaste datorn fortfarande kämpa för att ta sig igenom åttonde klass.

En tävling som anordnas av forskare vid Allen Institute for Artificiell Intelligens (AI2) , bjöd in programmerare att skapa ett program som är kapabelt att ta en modifierad version av ett konventionellt vetenskapstest för åttonde klass. Resultaten av tävlingen tillkännagavs i tisdags kl årligt möte av Association for the Advancement of Artificial Intelligence (AAAI).

Vinnaren, en tävlande baserad i Israel som heter Chaim Linhart, kombinerade flera etablerade maskininlärningstekniker med stora databaser med vetenskaplig information för att svara korrekt på 59 procent av frågorna. Liksom andra deltagare matade Linhart sitt datorsystem med hundratusentals frågor parade med korrekta svar så att det kunde lära sig att komma fram till rätt svar.

En poäng på nästan 60 procent kan göra de flesta föräldrar besvikna, men det är anmärkningsvärt för en dator. Testet som användes för tävlingen förenklades dock något för att göra det praktiskt för datorer att försöka. Diagram togs till exempel bort och endast frågor med flervalssvar användes.

Oren Etzioni , en AI-forskare som leder AI2, säger att testutmaningen i åttonde klass var tänkt att driva forskare att utveckla programvara som inte bara är ytligt intelligent.

Under de senaste åren har program utformade för att utföra specifika uppgifter, särskilt sådana som involverar någon form av visuell eller ljudbehandling, avancerat snabbt tack vare extremt effektiva maskininlärningsalgoritmer, särskilt de som är baserade på stora neurala nätverk. Ett imponerande nyligen exempel är ett Google-program utformat för att spela det subtila och beräkningsmässigt komplexa brädspelet Go (se Googles AI Masters the Game of Go ett decennium tidigare än väntat).

Dessa framsteg har inspirerat förhoppningar och farhågor om att verkligt intelligenta maskiner kanske inte är så långt borta. Men Etzioni tror att nya tekniker kommer att behövas för att uppnå även grundläggande kompetens vid mer komplexa uppgifter, något som de senaste resultaten verkar bekräfta. På samma sätt har det bästa sättet att mäta framsteg inom artificiell intelligens, Turing-testet, visat sig vara alltför lätt att rigga med enkla knep.

Thomas Dietterich , en professor vid Oregon State University och president för AAAI, säger att AI2-tävlingen är en användbar övning. Dietterich säger också att en kombination av olika AI-tekniker förmodligen kommer att bli nödvändig för att uppnå ett mycket högre testresultat i framtiden. Intelligens är ett ord, men det syftar på många saker, säger han. En av sakerna jag gillar med det här är att det betonar bredden på ett sätt som andra tester inte har gjort.

Gary Marcus, kognitionsforskare vid New York University och grundaren av en AI-startup som heter Geometrisk intelligens , arbetar på en AI-tävling som kommer att ha flera olika komponenter. Intelligens är en multidimensionell variabel, säger Marcus. Det kommer inte att finnas ett test som är ett gudomligt mått på intelligens.

Marcus tillägger att AI2-tävlingen faktiskt belyser storleken på utmaningen som återstår för AI-forskare. Man kan mycket bättre än att bara gissa med några ganska primitiva tekniker, men samtidigt är 60 procent långt ifrån att verkligen förstå vetenskap, tillägger han. Det bästa som kommer ut av detta är att folk kanske inser hur svåra frågorna verkligen är.

De tävling organiserades genom Kaggle, en populär plattform för att samordna tävlingar där datavetare kämpar för att skapa den mest effektiva algoritmen för en viss uppgift, som att förutsäga vilka produkter som kommer att sälja mest baserat på tidigare försäljning, eller resultatet av March Madness-turneringen. Förra året släppte AI2 en enorm datamängd med frågor och svar som gör det möjligt för deltagarna att designa algoritmer för att göra testet (se AI Software Goes Up Against Fourth Graders on Science Test ).

Under ett föredrag på AAAI-konferensen föreslog Etzioni att ett svårare test, över en längre tidsram, med ett större pris, skulle kunna inspirera fler AI-forskare att engagera sig. Jag tror att en längre tävling och 'djupare' AI kommer att krävas för att få från 60 procent till 80 procent eller mer, säger Etzioni. Det är vår hypotes att du inte kan göra det här med billiga knep - att du måste göra något smartare.

Dölj