211service.com
AI-assistenter säger dumma saker, och vi är på väg att ta reda på varför
Brother Storbritannien | Flickr
Siri och Alexa är helt klart långt ifrån perfekta, men det finns hopp om att stadiga framsteg inom maskininlärning kommer att förvandla dem till artikulerade hjälpare inom kort. Ett nytt test kan dock hjälpa till att visa att ett fundamentalt annorlunda tillvägagångssätt krävs för att AI-system faktiskt ska behärska språket.
Utvecklad av forskare vid Allen Institute for AI (AI2), en ideell organisation baserad i Seattle, den AI2 Reasoning Challenge (ARC) kommer att ställa flervalsvetenskapliga frågor på grundskolenivå. Varje fråga kommer att kräva en viss förståelse för hur världen fungerar. Projektet beskrivs i en relaterad uppsats (pdf).
Här är en fråga: Vilken artikel nedan är inte gjord av ett material som odlas i naturen? (A) en bomullsskjorta (B) en trästol (C) en plastsked (D) en gräskorg
En sådan fråga är lätt för alla som vet att plast inte är något som växer. Svaret knyter an till en sunt förnuftsbild av världen som även små barn besitter.
Det är detta sunt förnuft som AI:n bakom röstassistenter, chatbots och översättningsprogram saknar. Och det är en anledning till att de är så lätt förvirrade.
Språksystem som bygger på maskininlärning kan ofta ge övertygande svar på frågor om de har sett många liknande exempel tidigare. Ett program som till exempel tränats på många tusen IT-supportchattar kan kanske framstå som en teknisk supporthjälpare i begränsade situationer. Men ett sådant system skulle misslyckas om man frågade något som krävde bredare kunskap.
Vi måste använda vårt sunda förnuft för att fylla i luckorna kring språket vi ser för att bilda en sammanhängande bild av vad som sägs, säger Peter Clark, ledande forskare på ARC-projektet. Maskiner har inte detta sunt förnuft, och ser alltså bara det som är uttryckligen skrivet, och missar de många implikationer och antaganden som ligger till grund för ett stycke text.
Det nya testet är en del av ett initiativ på AI2 för att ge AI-system en sådan förståelse för världen. Och det är viktigt eftersom det kan vara svårt att avgöra hur väl ett språksystem förstår vad det säger.
Till exempel i januari utvecklade forskare vid Microsoft och en annan grupp på Alibaba fråge-och-svar-program som överträffade människor i ett enkelt test som kallas Stanford Question Answering Dataset. Dessa framsteg åtföljdes av rubriker som förkunnade att AI-program nu kunde läsa bättre än människor. Men programmen kunde inte svara på mer komplexa frågor eller dra nytta av andra kunskapskällor.
Teknikföretag kommer att fortsätta att presentera AI-systemens kapacitet på detta sätt. Microsoft meddelar idag att de har utvecklat mjukvara som kan översätta engelska nyheter till kinesiska och vice versa, med resultat som oberoende volontärer anser är lika med professionella översättares arbete. Företagets forskare använde avancerade djupinlärningstekniker för att nå en ny nivå av noggrannhet. Även om detta är potentiellt mycket användbart, skulle systemet kämpa om det ombads att översätta frigående konversationer eller text från en obekant domän, till exempel medicinska anteckningar.
Gary Marcus , en professor vid NYU som har argumenterat för vikten av sunt förnuft inom AI, uppmuntras av AI2-utmaningen. Jag tror att det här är ett bra motgift mot den typ av ytliga riktmärken som har blivit så vanliga inom maskininlärning, säger han. Det borde verkligen tvinga AI-forskare att öka sitt spel.