AlphaGo Zero visar att maskiner kan bli övermänskliga utan någon hjälp

www.alphagomovie.com

AlphaGo var inte den bästa Go-spelaren på planeten väldigt länge. En ny version av det mästerliga AI-programmet har dykt upp, och det är ett monster. I en head-to-head-matchup besegrade AlphaGo Zero det ursprungliga programmet med 100 matcher mot ingen.

Det som är riktigt coolt är hur AlphaGo Zero gjorde det. Medan den ursprungliga AlphaGo lärde sig genom att inta data från hundratusentals spel spelade av mänskliga experter, AlphaGo Zero, också utvecklat av Alphabets dotterbolag DeepMind , började med inget annat än en tom tavla och spelets regler. Den lärde sig helt enkelt genom att spela miljontals spel mot sig själv och använda vad den lärde sig i varje spel för att förbättra.

Det nya programmet representerar ett steg framåt i strävan att bygga maskiner som verkligen är intelligenta. Det beror på att maskiner kommer att behöva hitta lösningar på svåra problem även när det inte finns en stor mängd träningsdata att lära av.

Relaterad berättelse

Relaterad berättelse

Det mest slående är att vi inte behöver någon mänsklig data längre, säger Demis Hassabis, VD och medgrundare av DeepMind. Hassabis säger att teknikerna som används för att bygga AlphaGo Zero är kraftfulla nog att användas i verkliga situationer där det är nödvändigt att utforska ett stort landskap av möjligheter, inklusive läkemedelsupptäckt och materialvetenskap. Forskningen bakom AlphaGo Zero publiceras idag i tidskriften Natur.

Anmärkningsvärt nog, under denna självlärande process upptäckte AlphaGo Zero många av de knep och tekniker som mänskliga Go-spelare har utvecklat under de senaste tusen åren. Några dagar senare återupptäcker den kända bästa pjäser, och under de sista dagarna går det längre än dessa pjäser för att hitta något ännu bättre, säger Hassabis. Det är ganska häftigt att se.

DeepMind, baserat i London, förvärvades av Google 2014. Företaget är fokuserat på att göra stora framsteg inom AI med hjälp av spel, simulering och maskininlärning; det har anställt hundratals AI-forskare för att uppnå detta mål. Att utveckla AlphaGo Zero involverade cirka 15 personer och förmodligen miljontals dollar i datorresurser, säger Hassabis.

Både AlphaGo och AlphaGo Zero använder en maskininlärningsmetod som kallas förstärkningsinlärning (se 10 Breakthrough Technologies 2017: Reinforcement Learning ) samt djupa neurala nätverk. Förstärkningsinlärning är inspirerad av hur djur verkar lära sig genom experiment och feedback, och DeepMind har använt tekniken för att uppnå övermänsklig prestation i enklare Atari-spel.

Antalet möjliga konfigurationer på Go-brädet är större än antalet atomer i universum. www.alphagomovie.com

Att bemästra brädspelet Go var dock särskilt viktigt eftersom spelet är så komplext och för att de bästa spelarna gör sina drag så instinktivt. Reglerna för bra spel kan med andra ord inte enkelt förklaras eller skrivas i kod.

Förstärkningsinlärning visar också löfte om att automatisera programmeringen av maskiner i många andra sammanhang, inklusive de där det skulle vara opraktiskt att programmera dem för hand. Det testas redan som ett sätt att lära robotar att greppa obekväma föremål, till exempel, och som ett sätt att spara energi i datacenter genom att omkonfigurera hårdvara i farten. I många verkliga situationer kanske det inte finns ett stort antal exempel att lära av, vilket betyder att maskiner måste lära sig själva. Det är det som gör AlphaGo Zero intressant.

Genom att inte använda mänskliga data eller mänsklig expertis har vi faktiskt tagit bort begränsningarna för mänsklig kunskap, säger vi David Silver , ledande forskare vid DeepMind och professor vid University College London. Den kan skapa kunskap för sig själv från första principer.

För att uppnå Go överhöghet spelade AlphaGo Zero helt enkelt mot sig själv, slumpmässigt till en början. Liksom originalet använde den ett djupt neuralt nätverk och en kraftfull sökalgoritm för att välja nästa drag. Men i AlphaGo Zero tog ett enda neuralt nätverk hand om båda funktionerna.

Martin Muller , en professor vid University of Alberta i Kanada som har gjort viktigt arbete med Go-playing-mjukvara, är imponerad av designen av AlphaGo Zero och säger att det främjar förstärkningsinlärning. Arkitekturen är enklare men ändå kraftfullare än tidigare versioner, säger han.

DeepMind är redan AI-branschens älskling, och dess senaste prestation kommer säkerligen att fånga rubriker och väcka debatt om framsteg mot mycket kraftfullare former av AI.

Det finns dock skäl att ta tillkännagivandet försiktigt. Peter söndagar , en professor vid University of Washington, påpekar att programmet fortfarande behöver spela många miljoner spel för att bemästra Go—många mer än vad en expert på mänsklig spelare gör. Detta tyder på att intelligensen som programmet använder är fundamentalt annorlunda på något sätt.

Det är en bra illustration av de senaste framstegen inom djupinlärning och förstärkningsinlärning, men jag skulle inte läsa för mycket i det som ett tecken på vad datorer kan lära sig utan mänsklig kunskap, säger Domingos. Vad som skulle vara riktigt imponerande skulle vara om AlphaGo slog [legendariska sydkoreanska mästaren] Lee Sedol efter att ha spelat ungefär lika många matcher som han spelade under sin karriär innan han blev mästare. Vi är inte i närheten av det.

Faktum är att både Silver och Hassabis medger att det kommer att vara viktigt att hitta sätt för maskiner att lära av mycket mindre data i deras pågående strävan att bemästra intelligens. Detta kan innebära att utveckla nya tillvägagångssätt för att låta maskiner överföra vad de har lärt sig inom en domän till en annan, eller för att lära sig av att observera andra (både människor och andra AI).

Men trots det arbete som fortfarande återstår är Hassabis hoppfull om att AI inom 10 år kommer att spela en viktig roll för att lösa viktiga problem inom vetenskap, medicin eller andra områden. Jag hoppas att den här typen av algoritmer, och framtida versioner, rutinmässigt kommer att arbeta med oss ​​för att flytta fram gränserna för vetenskap och medicin, säger han. Kanske kommer alla möjliga saker att delvis ha designats och upptäckts av dessa typer av algoritmer, som arbetar tillsammans med mycket smarta människor.

Dölj