Tekniken som lärde AI att spela Go kan fortfarande inte lära en bil att köra

Kategori: Artificiell intelligens Postad 15 januari

Reinforcement learning (RL), kategorin maskininlärning som förlitar sig på straff och belöningar, kan vara en kraftfull teknik för att lära maskiner att anpassa sig till nya miljöer.

Deepminds AlphaGo använde det för att besegra världens bästa Go-spelare trots att han aldrig spelat mot honom tidigare. Det har också visat sig lovande i skapandet av robotar som kan prestera under föränderliga förhållanden.

Men tekniken har sina begränsningar. Det kräver en maskin att tappa runt eftersom den långsamt förfinar sina handlingar över tiden. Det är bra i labbet, eller när du spelar ett brädspel. Det är mindre än idealiskt för tillämpningar, som självkörande bilar, där en blunder kan vara dödlig.

Som svar har forskare utvecklat olika sätt att kringgå behovet av verklig utbildning. En bil kan använda trafikdata för att lära sig att köra i en säker digital kopia av den fysiska världen, till exempel för att ta sig förbi dess blunderstadium utan att sätta någon i vägen.

Men detta är inte en perfekt lösning. En maskin kan fortfarande göra kostsamma misstag när den stöter på situationer utanför räckvidden för dess träningsdata. I ett fall upptäckte forskare vid New York University att en bil hade lärt sig att göra 90-graderssvängar till mötande trafik (tack och lov, inom en simulering) eftersom dess träningsdatauppsättning inte omfattade den typen av scenarier. Det behöver inte sägas att detta inte är lönsamt för att på ett säkert sätt träna en självkörande bil eller, säg, en robotkirurg.

Samma team på NYU och chefen för AI-forskning på Facebook, Yann Lecun, är nu föreslår en ny metod som skulle kunna lösa detta problem. Förutom att bestraffa och belöna en bil för körbeteende, straffade de den också för att ha kommit in i scenarier där den inte har tillräckligt med träningsdata.

I grund och botten tvingar detta bilen att gå mer försiktigt, förklarar Mikael Henaff, en av författarna till studien, snarare än att göra vilda svängar och andra manövrar som placerar den rakt på okänt territorium.

När de testade sitt nya tillvägagångssätt fann de att det var bättre än tidigare metoder för att få bilen att säkert navigera i tät trafik. Det var fortfarande inte lika bra som mänskliga prestationer, så mer arbete måste fortfarande göras.

Den här historien dök ursprungligen upp i vårt AI-nyhetsbrev The Algorithm. För att läsa berättelser som denna först, få The Algorithm levererad direkt till din inkorg. Prenumerera här gratis.