211service.com
Elon Musks OpenAI avslöjar ett enklare sätt för maskiner att lära sig
2013 överraskade en brittisk startup med artificiell intelligens vid namn DeepMind datavetare genom att visa upp mjukvara som kunde lära sig att spela klassiska Atari-spel bättre än en expert på mänsklig spelare. DeepMind förvärvades snart av Google, och tekniken som slog Atari-spelen, förstärkningsinlärning, har blivit ett hett ämne inom AI och robotik. Google använde förstärkningsinlärning för att skapa programvara som slog en mästare i Go förra året.
Nu säger OpenAI, ett ideellt forskningsinstitut som grundats och finansierats av Elon Musk, att det har upptäckt att ett enklare att använda alternativ till förstärkningsinlärning kan få rivaliserande resultat när det spelar spel och utför andra uppgifter. Vid MIT Technology Reviews EmTech Digital-konferens i San Francisco i måndags sa OpenAI:s forskningschef, Ilya Sutskever, att det skulle kunna göra det möjligt för forskare att göra framsteg i maskininlärning snabbare.
Det är konkurrenskraftigt med dagens förstärkningsinlärningsalgoritmer på standardriktmärken, sa Sutskever. Det är förvånande att något så enkelt faktiskt fungerar.
Programvara för maskininlärning från OpenAI kom på hur man spelar klassiska Atari-spel.
Sutskever hävdar att det är viktigt att hitta nya sätt att låta programvara lära sig att göra saker som att spela datorspel eller styra robotar för att få maskininlärningsprogram att ta på sig mer komplexa uppgifter än att bara känna igen bilder eller transkribera vårt tal. Om vi har datorsystem som lär sig att ta komplicerade handlingar i världen, då tror jag att vi skulle vara bekväma med att kalla dem intelligenta, sa han.
Sutskever och kollegor testade sitt tillvägagångssätt, kallade evolutionsstrategier , genom att bygga mjukvara som lärde sig att spela mer än 50 Atari-spel, inklusive Pong och Centipede. Eftersom det är lättare att skala upp den nya metoden över flera processorer, kunde de på en timme träna konstgjorda spelare jämförbara med de som tog en dag att producera med hjälp av ett förstärkningsinlärningssystem som publicerades av Google DeepMind förra året. Det visade samma förmåga att lära sig saker som behovet av att ytan för luft i spelet Seaquest (mittramen i animationen).
OpenAI:s forskningschef, Ilya Sutskever
Evolutionsstrategier visade en liknande fördel när de användes för att ta ett standardtest från robotik där programvaran måste ta reda på hur man får en humanoid att gå i en simulerad miljö. Det tog 10 minuter att uppnå resultat som ett toppmodernt förstärkningsinlärningssystem skulle behöva cirka 10 timmar för att uppnå, säger forskarna.
Tekniken är en omstart av en decennier gammal idé om hur man får inlärningsmjukvara att prova olika åtgärder och identifiera de mest effektiva. Den är löst inspirerad av hur naturligt urval får biologiska organismer att anpassa sig till sina miljöer.
En algoritm som alla har känt till länge fungerar bättre än de flesta trodde, sa Sutskever.
Han avböjde att föreslå specifika tillämpningar av AI som kan få ett uppsving från tekniken för evolutionsstrategier, och sa att det behövs mer forskning om dess styrkor och begränsningar. Men Sutskever sa att en jämförelse av metoden med förstärkningsinlärning antydde att det skulle vara bättre att lära sig att utföra mer komplexa uppgifter som kräver fler steg för att få ett resultat.
Av den anledningen, sa Sutskever, tror han att evolutionsstrategier kommer att hjälpa OpenAI:s mål att skapa vad han kallar artificiell allmän intelligens – programvara som kan anpassa sig till många typer av komplexa scenarier.
De flesta forskare inom maskininlärning pratar inte mycket om allmän intelligens, utan strävar istället efter framsteg på specifika, ofta snävt fokuserade problem. OpenAI:s uppdragsbeskrivning inkluderar ett åtagande att skapa artificiell allmän intelligens. Sutskever sa att framstegstakten inom maskininlärning betyder att målet är värt att tänka på nu.
[Det] verkar långt borta just nu men [var] mycket mer långt borta för fem år sedan, sa han. Antalet personer och mängden ansträngning för att utveckla dessa algoritmer är extremt högt – saker och ting går framåt i en mycket hälsosam takt.