211service.com
Hur AI kan fortsätta accelerera efter Moores lag
Nya idéer inom chipdesign ser sannolikt ut att hålla mjukvaran smartare. 30 maj 2017
Andrea Chronopoulos
Googles vd Sundar Pichai var uppenbarligen exalterad när han pratade med utvecklare om ett storsäljande resultat från hans maskininlärningslabb tidigare denna månad. Forskare hade kommit på hur man kan automatisera en del av arbetet med att skapa maskininlärningsprogram, något som kan göra det mycket lättare att implementera tekniken i nya situationer och branscher.
Men projektet hade redan fått ett rykte bland AI-forskare av en annan anledning: hur det illustrerade de enorma datorresurser som behövs för att konkurrera i framkanten av maskininlärning.
En artikel från Googles forskare säger att de samtidigt använde så många som 800 av de kraftfulla och dyra grafikprocessorer som har varit avgörande för den senaste tidens ökning av kraften hos maskininlärning (se 10 Breakthrough Technologies 2013: Deep Learning ). De berättade MIT Technology Review att projektet hade bundit upp hundratals av markerna under två veckor, vilket gjorde tekniken för resurskrävande för att vara mer än ett forskningsprojekt även hos Google.
En kodare utan enkel tillgång till en gigantisk samling GPU:er skulle behöva djupa fickor för att replikera experimentet. Att hyra 800 GPU:er från Amazons cloud computing-tjänst för bara en vecka skulle kosta runt 120 000 USD till de angivna priserna.
Andrea Chronopoulos
Att mata in data i mjukvara för djupinlärning för att träna den för en viss uppgift är mycket mer resurskrävande än att köra systemet efteråt, men det kräver fortfarande betydande kraft. Datorkraft är en flaskhals just nu för maskininlärning, säger Reza Zadeh , en adjungerad professor vid Stanford University och grundare och VD för Matroid , en startup som hjälper företag att använda programvara för att identifiera objekt som bilar och människor i säkerhetsfilmer och annan video.
Den plötsliga törsten efter ny kraft för att driva AI kommer vid en tidpunkt då datorindustrin anpassar sig till förlusten av två saker som den har förlitat sig på i 50 år för att hålla chipsen kraftfullare. En är Moores lag, som förutspår att antalet transistorer som kan passas in i ett visst område av ett chip skulle fördubblas vartannat år. Det andra är ett fenomen som kallas Dennard-skalning, som beskriver hur mängden effekt som transistorer använder skalar ner när de krymper.
Ingetdera stämmer idag. Intel har saktat ner takten när de introducerar generationer av nya chips med mindre, tätare transistorer (se Moores lag är död. Vad nu?). Och de vanliga effektivitetsvinsterna som transistorer visade när de blev mindre avstannade i mitten av 2000-talet, vilket gjorde strömförbrukningen till en stor huvudvärk.
De goda nyheterna för de som satsar på AI är att grafikmarker hittills har lyckats trotsa gravitationen. Vid den senaste konferensen för den ledande grafikkretstillverkaren Nvidia visade VD Jensen Huang upp ett diagram som visar hur hans chips prestanda har fortsatt att accelerera exponentiellt medan tillväxten i prestanda hos processorer för allmänna ändamål, eller CPU:er, har avtagit.
Doug Burger, en framstående ingenjör vid Microsofts NExT-division som arbetar med att kommersialisera ny teknologi, säger att en liknande klyfta öppnar sig mellan konventionell och maskininlärningsprogramvara. Du börjar se en [prestanda] platå för allmän programvara – den har slutat förbättras i historisk takt – men den här AI-grejen ökar fortfarande snabbt, säger han.
Burger tror att den trenden kommer att fortsätta. Ingenjörer har hållit GPU:er kraftfullare eftersom de kan vara mer specialiserade för den speciella matematik de behöver för att utföra för grafik eller maskininlärning, säger han.
Samma idé ligger bakom ett projekt som Burger ledde på Microsoft, som lägger mer kraft bakom AI-mjukvara genom att använda omkonfigurerbara chips som kallas FPGA. Det motiverar också nystartade företag – och jättar som Google – att skapa nya chips anpassade för att driva maskininlärning (se Google avslöjar ett kraftfullt nytt AI-chip och superdator ).
På längre sikt kommer det att krävas mer radikala förändringar i hur datorchips fungerar för att AI ska bli kraftfullare. Att skapa marker som inte lägger till korrekt är ett alternativ. Prototyper har visat att de kan göra datorer mer effektiva utan att undergräva exaktheten i resultat från maskininlärningsprogramvara (se Varför ett chip som är dåligt i matematik kan hjälpa datorer att hantera svårare problem).
Chipdesigner som direkt kopierar från biologi kan också vara avgörande. IBM och andra har byggt prototypchips som beräknar med strömspikar, liknande hur våra neuroner avfyrar (se Thinking in Silicon). Även enkla djur, påpekar Burger, använder lite energi för att göra saker utöver vad dagens robotar och mjukvara kan åstadkomma – bevis på att datorer har mycket längre att gå.
Titta på beräkningen en kackerlacka gör, säger han. Det finns existensbevis som visar att många fler storleksordningar av prestanda och effektivitet finns tillgängliga. Vi kan ha årtionden av skalning kvar i AI.