211service.com
Ett nytt sätt att bygga små neurala nätverk kan skapa kraftfull AI på din telefon
FRÖKEN. TECH Ms. Tech
Neurala nätverk är kärnan i djupinlärning. Även om de är så utbredda, förstås de verkligen dåligt. Forskare har observerat deras framväxande egenskaper utan att faktiskt förstå Varför de fungerar som de gör.
Nu a nytt papper från MIT har tagit ett stort steg mot att svara på denna fråga. Och i processen har forskarna gjort en enkel men dramatisk upptäckt: vi har använt neurala nätverk som är mycket större än vi faktiskt behöver. I vissa fall är de 10 – till och med 100 – gånger större, så att träna dem kostar oss storleksordningar mer tid och beräkningskraft än nödvändigt.
Med andra ord, inom varje neuralt nätverk finns ett mycket mindre nätverk som kan tränas för att uppnå samma prestanda som sin överdimensionerade förälder. Detta är inte bara spännande nyheter för AI-forskare. Upptäckten har potential att låsa upp nya applikationer - av vilka vi ännu inte kan förstå - som kan förbättra våra dagliga liv. Mer om det senare.
Men först, låt oss dyka in i hur neurala nätverk fungerar för att förstå varför detta är möjligt.
Ett diagram över ett neuralt nätverk som lär sig känna igen ett lejon. JEFF CLUNE/SKÄRMBILD
Hur neurala nätverk fungerar
Du kanske har sett neurala nätverk avbildade i diagram som det ovan: de är sammansatta av staplade lager av enkla beräkningsnoder som är anslutna för att beräkna mönster i data.
Det är kopplingarna som är viktiga. Innan ett neuralt nätverk tränas tilldelas dessa anslutningar slumpmässiga värden mellan 0 och 1 som representerar deras intensitet. (Detta kallas initialiseringsprocessen.) När nätverket matas med en serie av, säg, djurfoton, justerar och justerar det dessa intensiteter – ungefär som hur din hjärna stärker eller försvagar olika neuronanslutningar när du samlar på dig erfarenhet. och kunskap. Efter träningen används de slutliga anslutningsintensiteterna i evighet för att känna igen djur på nya foton.
Även om mekaniken i neurala nätverk är väl förstått, har anledningen till att de fungerar som de gör förblivit ett mysterium. Men genom många experiment har forskare observerat två egenskaper hos neurala nätverk som har visat sig användbara.
Observation #1. När ett nätverk initieras före träningsprocessen, finns det alltid en viss sannolikhet att de slumpmässigt tilldelade anslutningsstyrkorna hamnar i en oträningsbar konfiguration. Med andra ord, oavsett hur många djurfoton du matar det neurala nätverket, kommer det inte att uppnå en anständig prestanda, och du måste bara återinitiera det till en ny konfiguration. Ju större nätverk (ju fler lager och noder det har), desto mindre sannolikt är det. Medan ett litet neuralt nätverk bara kan tränas i en av fem initieringar, kan ett större nätverk vara träningsbart i fyra av var femte. Om igen, Varför detta hade varit ett mysterium, men det är därför forskare vanligtvis använder mycket stora nätverk för sina djupinlärningsuppgifter. De vill öka sina chanser att nå en framgångsrik modell.
Observation #2. Konsekvensen är att ett neuralt nätverk vanligtvis börjar större än det behöver vara. När den väl har tränats förblir vanligtvis bara en bråkdel av dess anslutningar starka, medan de andra blir ganska svaga – så svaga att du faktiskt kan ta bort eller beskära dem utan att påverka nätverkets prestanda.
I många år nu har forskare utnyttjat denna andra observation för att krympa sina nätverk efter utbildning för att sänka tiden och beräkningskostnaderna för att driva dem. Men ingen trodde att det var möjligt att krympa deras nätverk innan Träning. Det antogs att man var tvungen att börja med ett överdimensionerat nätverk och utbildningsprocessen var tvungen att gå sin gång för att skilja de relevanta anslutningarna från de irrelevanta.
Jonathan Frankle, doktoranden vid MIT som var medförfattare till uppsatsen, ifrågasatte det antagandet. Om du behöver mycket färre anslutningar än vad du började med, säger han, varför kan vi inte bara träna det mindre nätverket utan de extra anslutningarna? Det visar sig att du kan.
Michael Carbin (vänster) och Jonathan Frankle (höger), författarna till tidningen. Jason Dorfman, MIT CSAIL
Lotteriets hypotes
Upptäckten beror på verkligheten att de slumpmässiga anslutningsstyrkorna som tilldelas under initialiseringen faktiskt inte är slumpmässiga i sina konsekvenser: de predisponerar olika delar av nätverket att misslyckas eller lyckas innan träning ens inträffar. Med andra ord, den initiala konfigurationen påverkar vilken slutlig konfiguration nätverket kommer fram till.
Genom att fokusera på den här idén fann forskarna att om du beskär ett överdimensionerat nätverk efter träning kan du faktiskt återanvända det resulterande mindre nätverket för att träna på ny data och bevara hög prestanda – så länge du återställer varje anslutning inom detta förminskade nätverk till dess ursprungliga styrka.
Från detta fynd föreslår Frankle och hans medförfattare Michael Carbin, en biträdande professor vid MIT, vad de kallar lotthypotesen. När du slumpmässigt initierar ett neuralt nätverks anslutningsstyrkor är det nästan som att köpa en påse lotter. I din väska hoppas du att det finns en vinnande lott – det vill säga en initial konfiguration som kommer att vara lätt att träna och resultera i en framgångsrik modell.
Detta förklarar också varför observation #1 stämmer. Att börja med ett större nätverk är som att köpa fler lotter. Du ökar inte mängden kraft som du kastar på ditt problem med djupinlärning; du ökar helt enkelt sannolikheten att du kommer att ha en vinnande konfiguration. När du väl har hittat den vinnande konfigurationen bör du kunna återanvända den om och om igen, istället för att fortsätta spela om lotteriet.
Nästa steg
Detta väcker många frågor. Först, hur hittar du den vinnande lotten? I sin tidning tog Frankle och Carbin ett brutalt tillvägagångssätt för att träna och beskära ett överdimensionerat nätverk med en datauppsättning för att extrahera den vinnande lotten till en annan datauppsättning. I teorin borde det finnas mycket effektivare sätt att hitta – eller till och med designa – en vinnande konfiguration från början.
För det andra, vilka är träningsgränserna för en vinnande konfiguration? Förmodligen skulle olika typer av data och olika djupinlärningsuppgifter kräva olika konfigurationer.
För det tredje, vilket är det minsta möjliga neurala nätverket som du kan komma undan med samtidigt som du uppnår hög prestanda? Frankle fann att genom en iterativ tränings- och beskärningsprocess kunde han konsekvent minska startnätverket till mellan 10 % och 20 % av dess ursprungliga storlek. Men han tror att det finns en chans att det blir ännu mindre.
Redan har många forskarteam inom AI-gemenskapen börjat genomföra uppföljningsarbete. En forskare vid Princeton nyligen retade resultaten av ett kommande dokument som tar upp den andra frågan. Ett team på Uber publicerade också en nytt papper på flera experiment som undersökte karaktären av de metaforiska lottsedlarna. Mest överraskande fann de att när en vinnande konfiguration väl har hittats, uppnår den redan betydligt bättre prestanda än det ursprungliga otränade överdimensionerade nätverket innan vilken träning som helst. Med andra ord är handlingen att beskära ett nätverk för att extrahera en vinnande konfiguration i sig en viktig metod för träning.
Neuralt nätverk nirvana
Frankle föreställer sig en framtid där forskarsamhället kommer att ha en öppen källkodsdatabas med alla olika konfigurationer de har hittat, med beskrivningar för vilka uppgifter de är bra för. Han kallar skämtsamt detta neurala nätverk för nirvana. Han tror att det dramatiskt skulle accelerera och demokratisera AI-forskningen genom att sänka kostnaderna och hastigheten för utbildning, och genom att tillåta människor utan gigantiska dataservrar att utföra detta arbete direkt på små bärbara datorer eller till och med mobiltelefoner.
Det kan också förändra arten av AI-applikationer. Om du kan träna ett neuralt nätverk lokalt på en enhet istället för i molnet kan du förbättra träningsprocessens hastighet och datasäkerheten. Föreställ dig till exempel en maskininlärningsbaserad medicinsk utrustning som kan förbättra sig själv genom användning utan att behöva skicka patientdata till Googles eller Amazons servrar.
Vi stöter ständigt på kanten av vad vi kan träna, säger Jason Yosinski, en av grundarna av Uber AI Labs som var medförfattare till uppföljningspapperet Uber, vilket betyder de största nätverken du kan passa på en GPU eller det längsta vi kan tål att vänta innan vi får tillbaka ett resultat. Om forskare kunde ta reda på hur man identifierar vinnande konfigurationer från början, skulle det minska storleken på neurala nätverk med en faktor 10, till och med 100. Möjlighetstaket skulle öka dramatiskt och öppna en ny värld av potentiella användningsområden.