Robotar får en 'Ångra'-knapp som kan hjälpa dem att lära sig snabbare

Kategori: Okategoriserad Postad 27 nov

Djup förstärkningsinlärning fungerar ungefär som ett barn som lär sig en färdighet: övning ger färdighet. För en autonom agent som en robot måste dess miljö dock återställas till sitt ursprungliga tillstånd mellan försöken - en syssla som kan ta timmar när människor springer runt och byter ut föremål, till exempel.

Ett nytt arXiv papper av forskare med Google Brain, University of Cambridge, Max Planck Institute for Intelligent Systems och UC Berkeley beskriver en metod som kan lära en agent att återställa miljön för nästa försök, samt hindra den från att utföra åtgärder som skulle vara irreversibel.

Deras framsteg var att ge agenter en framåt- och återställningspolicy som fungerar tillsammans. Medan den framåtriktade policyn har till uppgift att lära sig en färdighet, tvingar ett tryck på reset en agent att lära sig att inte lämna några spår, vilket effektivt spola tillbaka en handling. Åtgärder som roboten tror skulle vara oåterkalleliga avbryts så snart som möjligt.

Forskarna skriver att de försökte ge sina agenter intuition att klassificera allt som är reversibelt som säkert, eftersom det är möjligt att gå tillbaka till det ursprungliga tillståndet. Genom försök och misstag upptäcker agenten att fler och fler åtgärder är reversibla, vilket gör att den kan utforska säkert.

Djup förstärkningsinlärning görs ofta i simulering, och särskilt när verkliga miljöer kommer att vara mindre förlåtande för fel, som en autonom bil som kör över en klippa. Även i säkrare situationer kan väntan på manuella återställningar bli en flaskhals för datainsamling. Av denna anledning begränsades teamets arbete till virtuella miljöer. Så småningom måste dock tester i verkligheten göras, och denna forskning kan göra det snabbare och säkrare.

Som Jack Clark påpekar i sin Importera AI nyhetsbrev , denna artikel återspeglar arbetet som beskrivs i ett annat papper (PDF) från Facebook AI Research förra månaden, där en enskild agent har två separata lägen, smeknamnet Alice och Bob, varav det ena försöker vända på uppgiften som den andra har försökt slutföra. Den här typen av arbete för att få AI att kunna planera framåt kan rädda den (och oss) från katastrofala misstag i framtiden.