Den extraordinära länken mellan djupa neurala nätverk och universums natur

Under de senaste åren har tekniker för djupinlärning förändrat världen av artificiell intelligens. En efter en har de förmågor och tekniker som människor en gång föreställt sig var unika våra egna börjat falla för angrepp av allt kraftfullare maskiner. Djupa neurala nätverk är nu bättre än människor på uppgifter som ansiktsigenkänning och objektigenkänning. De har bemästrat det uråldriga spelet Go och slagit de bästa mänskliga spelarna.

Men det är ett problem. Det finns inget matematiskt skäl till varför nätverk ordnade i lager ska vara så bra på dessa utmaningar. Matematiker är flummiga. Trots den enorma framgången med djupa neurala nätverk är ingen helt säker på hur de når sin framgång.

Idag förändras det tack vare Henry Lins arbete vid Harvard University och Max Tegmark vid MIT. Dessa killar säger att anledningen till att matematiker har varit så generade är att svaret beror på universums natur. Med andra ord, svaret ligger i fysikens regim snarare än matematiken.

Låt oss först ställa upp problemet med exemplet att klassificera en megabit-gråskalebild för att avgöra om den visar en katt eller en hund.

En sådan bild består av en miljon pixlar som var och en kan ta ett av 256 gråskalevärden. Så i teorin kan det finnas 2561000000 möjliga bilder, och för var och en är det nödvändigt att beräkna om den visar en katt eller hund. Och ändå hanterar neurala nätverk, med bara tusentals eller miljontals parametrar, på något sätt denna klassificeringsuppgift med lätthet.

På matematikens språk fungerar neurala nätverk genom att approximera komplexa matematiska funktioner med enklare. När det gäller att klassificera bilder av katter och hundar måste det neurala nätverket implementera en funktion som tar en miljon gråskalepixlar som indata och matar ut sannolikhetsfördelningen för vad det kan representera.

Problemet är att det finns storleksordningar fler matematiska funktioner än möjliga nätverk för att approximera dem. Och ändå får djupa neurala nätverk på något sätt det rätta svaret.

Nu säger Lin och Tegmark att de har räknat ut varför. Svaret är att universum styrs av en liten delmängd av alla möjliga funktioner. Med andra ord, när fysikens lagar skrivs ned matematiskt kan de alla beskrivas av funktioner som har en anmärkningsvärd uppsättning enkla egenskaper.

Så djupa neurala nätverk behöver inte approximera någon möjlig matematisk funktion, bara en liten delmängd av dem.

För att sätta detta i perspektiv, överväg ordningen för en polynomfunktion, som är storleken på dess högsta exponent. Så en andragradsekvation som y=x2 har ordning 2, ekvationen y=x24 har ordning 24, och så vidare.

Uppenbarligen är antalet ordningar oändligt och ändå förekommer bara en liten delmängd av polynom i fysikens lagar. Av skäl som fortfarande inte är helt förstådda kan vårt universum beskrivas korrekt av polynomiska Hamiltonianer av låg ordning, säger Lin och Tegmark. Vanligtvis har polynomen som beskriver fysikens lagar ordningar som sträcker sig från 2 till 4.

Fysikens lagar har andra viktiga egenskaper. Till exempel är de vanligtvis symmetriska när det kommer till rotation och translation. Rotera en katt eller hund 360 grader och det ser likadant ut; översätt det med 10 meter eller 100 meter eller en kilometer så ser det likadant ut. Det förenklar också uppgiften att närma processen för katt- eller hundigenkänning.

Dessa egenskaper innebär att neurala nätverk inte behöver approximera en oändlighet av möjliga matematiska funktioner utan bara en liten delmängd av de enklaste.

Det finns en annan egenskap hos universum som neurala nätverk utnyttjar. Detta är hierarkin för dess struktur. Elementarpartiklar bildar atomer som i sin tur bildar molekyler, celler, organismer, planeter, solsystem, galaxer etc, säger Lin och Tegmark. Och komplexa strukturer bildas ofta genom en sekvens av enklare steg.

Det är därför strukturen hos neurala nätverk också är viktig: skikten i dessa nätverk kan approximera varje steg i orsakssekvensen.

Lin och Tegmark ger exemplet med den kosmiska mikrovågsbakgrundsstrålningen, ekot av Big Bang som genomsyrar universum. De senaste åren har olika rymdfarkoster kartlagt denna strålning i allt högre upplösning. Och naturligtvis har fysiker undrat varför dessa kartor har den form de gör.

Tegmark och Lin påpekar att oavsett orsaken så är det utan tvekan resultatet av en kausal hierarki. En uppsättning kosmologiska parametrar (tätheten hos mörk materia, etc.) bestämmer effektspektrumet för densitetsfluktuationer i vårt universum, vilket i sin tur bestämmer mönstret av kosmisk mikrovågsbakgrundsstrålning som når oss från vårt tidiga universum, som kombineras med förgrundsradio buller från vår galax för att producera de frekvensberoende himmelskartor som spelas in av ett satellitbaserat teleskop, säger de.

Vart och ett av dessa kausala lager innehåller successivt mer data. Det finns bara en handfull kosmologiska parametrar men kartorna och bruset de innehåller består av miljarder siffror. Fysikens mål är att analysera de stora siffrorna på ett sätt som avslöjar de mindre.

Och när fenomen har denna hierarkiska struktur, gör neurala nätverk processen att analysera det betydligt enklare.

Vi har visat att framgången med djup och billig inlärning inte bara beror på matematik utan också på fysik, vilket gynnar vissa klasser av exceptionellt enkla sannolikhetsfördelningar som djupinlärning är unikt lämpad att modellera, avslutar Lin och Tegmark.

Det är intressant och viktigt arbete med betydande implikationer. Konstgjorda neurala nätverk är kända baserade på biologiska. Så inte bara förklarar Lin och Tegmarks idéer varför djupinlärningsmaskiner fungerar så bra, de förklarar också varför mänskliga hjärnor kan förstå universum. Evolutionen har på något sätt bestämt sig för en hjärnstruktur som är idealisk för att reta isär universums komplexitet.

Detta arbete öppnar vägen för betydande framsteg inom artificiell intelligens. Nu när vi äntligen förstår varför djupa neurala nätverk fungerar så bra, kan matematiker börja arbeta med att utforska de specifika matematiska egenskaperna som gör att de kan prestera så bra. Att stärka den analytiska förståelsen av djupinlärning kan föreslå sätt att förbättra den, säger Lin och Tegmark.

Deep learning har tagit enorma kliv de senaste åren. Med denna förbättrade förståelse kommer framstegshastigheten att accelerera.

Ref: arxiv.org/abs/1608.08225 : Varför fungerar djupt och billigt lärande så bra?

Dölj