211service.com
Nyfikenhet kan vara avgörande för riktigt smart AI
herr. tech
En datoralgoritm utrustad med en form av konstgjord nyfikenhet kan lära sig att lösa knepiga problem även när det inte omedelbart är klart vilka åtgärder som kan hjälpa den att nå detta mål.
Forskare vid University of California, Berkeley, utvecklade en inneboende nyfikenhetsmodell för att få deras inlärningsalgoritm att fungera även när det inte finns en stark återkopplingssignal. Nyfikenhetsmodellen som utvecklats av detta team ser att AI-mjukvaran som styr en virtuell agent i ett videospel försöker maximera sin förståelse för sin miljö och särskilt aspekter av den miljön som påverkar den. Det har gjorts tidigare försök att ge AI-agenter nyfikenhet, men dessa har tenderat att fungera på ett mer förenklat sätt.
Tricket kan hjälpa till att åtgärda en brist i dagens mest kraftfulla maskininlärningstekniker, och det kan peka på sätt att göra maskiner bättre på att lösa verkliga problem.
Belöningar i den verkliga världen är väldigt sparsamma, säger Pulkit Agrawal , en doktorand vid UC Berkeley som utförde forskningen tillsammans med kollegor. Bebisar gör alla dessa slumpmässiga experiment, och du kan se det som en slags nyfikenhet. De lär sig någon form av färdigheter.
Flera kraftfulla maskininlärningstekniker har gjort maskiner smartare de senaste åren. Bland dessa har en metod som kallas förstärkningsinlärning gjort det möjligt för maskiner att åstadkomma saker som skulle vara svåra att definiera i kod. Förstärkningsinlärning innebär att man använder positiva belöningar för att styra en algoritms beteende mot ett visst mål (se 10 Breakthrough Technologies 2017: Reinforcement Learning).
Förstärkningsinlärning var en grundläggande del av AlphaGo , ett program utvecklat av DeepMind , för att spela det abstrakta och komplexa brädspelet Gå med otrolig skicklighet. Tekniken utforskas nu som ett sätt att ge maskiner andra färdigheter som kan vara omöjliga att koda manuellt. Det kan till exempel ge ett sätt för en robotarm att själv komma fram till hur den ska utföra en önskad syssla.
Men förstärkningsinlärning har sina begränsningar. Agrawal noterar att det ofta krävs en enorm mängd träning för att lära sig en uppgift, och processen kan vara svår om den feedback som krävs inte är omedelbart tillgänglig. Metoden fungerar till exempel inte för datorspel där fördelarna med vissa beteenden inte är direkt uppenbara. Det är där nyfikenhet kan hjälpa.
Forskarna försökte tillvägagångssättet, i kombination med förstärkningsinlärning, inom två enkla videospel: Mario Bros., ett klassiskt plattformsspel, och VizDoom, ett grundläggande 3D-skjutspel.
I båda spelen gjorde användningen av konstgjord nyfikenhet inlärningsprocessen mer effektiv. I 3D-spelet, till exempel, i stället för att spendera alltför mycket tid på att stöta in i väggar, flyttade agenten runt i sin omgivning och lärde sig att navigera snabbare. Även utan någon annan belöning kunde agenten navigera i båda spelen förvånansvärt bra. I Mario Bros. lärde den sig att undvika att bli dödad eftersom detta minskade dess förmåga att utforska och lära sig om sin miljö.
TILL papper som beskriver forskningen kommer att publiceras på en major AI-konferens senare det här året.
Konstgjord nyfikenhet har varit ett aktivt forskningsområde under en tid. Pierre-Yves Oudeyer , en forskningschef vid Franska institutet för forskning inom datavetenskap och automation , har under de senaste åren varit banbrytande för utvecklingen av datorprogram och robotar som uppvisar enkla former av nyfikenhet.
Det som är väldigt spännande just nu är att dessa idéer, som mycket sågs som 'exotiska' av både vanliga AI- och neurovetenskapsforskare, nu håller på att bli ett stort ämne inom både AI och neurovetenskap, säger Oudeyer.
Arbetet kan ha verkliga praktiska fördelar. UC Berkeley-teamet är angelägna om att testa det på robotar som använder förstärkningsinlärning för att ta reda på hur man gör saker som att ta tag i obekväma föremål. Agrawal säger att robotar kan slösa mycket tid på att utföra slumpmässiga gester. När den är utrustad med medfödd nyfikenhet borde en sådan robot snabbare utforska sin omgivning och experimentera med närliggande föremål, säger han.
Brenden sjö , en forskare vid New York University som bygger beräkningsmodeller av mänskliga kognitiva förmågor, säger att arbetet verkar lovande. Att utveckla maskiner med liknande egenskaper är ett viktigt steg mot att bygga maskiner som lär sig och tänker som människor, sa han i ett e-postmeddelande. Det är väldigt imponerande att agenten genom att bara använda nyfikenhetsdriven inlärning kan lära sig att navigera på en nivå i Mario. Agenten tittar inte ens på matchresultatet.
Samtidigt, säger Lake, är nyfikenheten som det nya programmet visar faktiskt ganska annorlunda än, säg, ett barns. Människor tenderar att visa ett mycket djupare intresse för sin värld, säger han.
Det är en väldigt egocentrisk form av nyfikenhet, säger Lake. Agenten är bara nyfiken på egenskaper i sin omgivning som relaterar till dess egna handlingar. Människor är mer allmänt nyfikna. Människor vill lära sig om världen på sätt som är mindre direkt kopplade till deras egna handlingar.