211service.com
AI-programvara går upp mot fjärdeklassare på vetenskapstester
Under vilken årstid skulle en kanins päls vara tjockast? Ett datorprogram som heter Aristo kan berätta för dig eftersom det läser om björnar som växer tjockare skinn under vintern i en studieguide för fjärde klass, och det vet att kaniner också är däggdjur. Det studerar för New York States standardvetenskapliga prov.
Aristo utvecklas av forskare vid Allen Institute for Artificiell Intelligens i Seattle, som vill ge maskiner ett mått av sunt förnuft om världen. Institutets vd, Oren Etzioni , säger att det bästa sättet att jämföra utvecklingen av deras digitala avkomma är att använda tester utformade för skolbarn. Han försöker övertyga andra AI-forskare att anta standardiserade skoltester som ett sätt att mäta framsteg på området.
Vi kan sätta vår förståelse för framsteg inom AI och i naturligt språk på en objektiv grund, säger Etzioni. Att kunna jämföra fördelarna med olika tillvägagångssätt borde göra det lättare att identifiera lovande tillvägagångssätt och skulle kunna påskynda framstegen, säger han.
I början av oktober kommer Allen Institute att lansera en tävling som utmanar forskare att göra programvara för att ta sig an åttonde klass vetenskapsfrågor. Tävlingen hålls på datavetenskapens webbplats Kuggla , där deltagare kommer att kunna få tillgång till tusentals övningsfrågor för att träna sin programvara. Ett pris på $50 000 kommer att delas ut till skaparen av programvaran som kan få bäst resultat på frågor som den inte har sett tidigare.
Just nu är Aristo inte i närheten av att klara vetenskapstestet i fjärde klass. Det kräver en poäng på 65 procent. Aristo kan bara ta sig an flervalsfrågorna, som utgör ungefär två tredjedelar av provet. Den får cirka 75 procent på de som inte involverar diagram och 45 procent på de som gör det, säger Etzioni. Aristo får 63 procent på åttonde klass flervalsfrågor som exkluderar diagram.
Du kan se Aristo svara på utvalda frågor i fjärde klass på Allen Institutes webbplats. Programvaran använder resonemangsalgoritmer för att svara på frågor med hjälp av kunskap som hämtats från studieguider och webben.
Att hitta ett sätt att lägga till en skvätt sunt förnuft i programvara är en stor utmaning inom AI, och en som kan leda till att datorer hjälper oss på många nya sätt. Om vi vill bygga system som är robusta och mer naturliga för människor att arbeta med kommer de att behöva dessa förmågor, säger Etzioni.
Det är en uppfattning som delas av andra ledande forskare, inklusive Facebooks expanderande AI-labb, som vill möjliggöra virtuella assistenter som kan en grundläggande konversation (se Teaching Machines to Understand Us). En anledning till att befintliga virtuella assistenter som Apples Siri eller Microsofts Cortana är mycket begränsade är att de måste klara sig utan sunt förnuft. De använder det du säger för att välja från en portfölj av förprogrammerade regler.
Ernest Davis , en professor vid New York University, håller med om att ett sätt att jämföra en maskins sunda förnuft kan hjälpa fältet. Men han tycker inte att det är ett bra val att använda skolprov.
Att använda tester skapade för barn har fördelen av att säkerställa att forskare inte av misstag eller avsiktligt gör riktmärket för sitt område för lätt, säger han. Men eftersom barn är så mycket bättre på att förstå världen än maskiner, kan tester skrivna för dem inte användas för att undersöka de förmågor som är viktigast för att göra framsteg med intelligent programvara, säger han.
Det som är svårt för människor skiljer sig mycket från det som är svårt för maskiner, säger Davis, som också arbetar med att ge mjukvara sunt förnuft. Standardiserade tester för människor får inte särskilt bra täckning av de typer av problem som är svåra för datorer.
Davis säger att ett bättre alternativ skulle vara att skapa examensfrågor specifikt för maskiner. En exempelfråga som han har skapat tyder på att ett naturvetenskapligt prov gjorda för maskiner kan se väldigt grundläggande ut för en fjärdeklassare: Sallys favoritko dog igår. Kon kommer förmodligen att leva igen a) imorgon; b) inom en vecka; c) inom ett år; d) inom några år; e) kon kommer aldrig att vara vid liv igen.
Etzioni menar att även om skolprovsfrågor inte direkt testar väldigt grundläggande sunt förnuft, så kräver de det implicit, eftersom det behövs för att tolka frågorna. Bara genom att använda frågor skapade för människor kan vi verkligen säga att vi mäter maskiner mot våra egna standarder, säger han. Att ställa människor och maskiner på lika villkor är vettigt.