211service.com
Nästa AI-explosion kommer att definieras av chipsen vi bygger för den
Jeremy Portje
Hårdvarudesign, snarare än algoritmer, kommer att hjälpa oss att uppnå nästa stora genombrott inom AI. Det säger Bill Dally, Nvidias chefsforskare, som intog scenen på tisdagen på EmTech Digital, MIT Technology Reviews AI-konferens. Vår nuvarande revolution inom djupinlärning har möjliggjorts av hårdvara, sa han.
Som bevis pekade han på områdets historia: många av de algoritmer vi använder idag har funnits sedan 1980-talet, och genombrottet för att använda stora mängder märkt data för att träna neurala nätverk kom under början av 2000-talet. Men det var inte förrän i början av 2010-talet – när grafikprocessorer eller GPU:er kom in i bilden – som revolutionen för djupinlärning verkligen tog fart.
Vi måste fortsätta att tillhandahålla mer kapabel hårdvara, annars kommer framstegen inom AI verkligen att sakta ner, sa Dally.
Nvidia utforskar nu tre huvudvägar framåt: utveckla mer specialiserade chips; minska beräkningen som krävs under djupinlärning; och experimentera med analog snarare än digital chiparkitektur.
Nvidia har funnit att högspecialiserade chip designade för en specifik beräkningsuppgift kan överträffa GPU-chips som är bra på att hantera många olika typer av beräkningar. Skillnaden, sa Dally, kan vara så mycket som 20 % ökning av effektiviteten för samma prestandanivå.
Dally refererade också till en studie som Nvidia gjorde för att testa potentialen för beskärning – idén att du kan minska antalet beräkningar som måste utföras under träningen, utan att offra en djupinlärningsmodells noggrannhet. Forskare vid företaget fann att de kunde hoppa över cirka 90 % av dessa beräkningar samtidigt som de behöll samma inlärningsnoggrannhet. Detta innebär att samma inlärningsuppgifter kan ske med mycket mindre chiparkitekturer.
Slutligen nämnde Dally att Nvidia nu experimenterar med analog beräkning. Datorer lagrar nästan all information, inklusive siffror, som en serie av 0 s eller ett s. Men analog beräkning skulle tillåta alla möjliga värden – som 0,3 eller 0,7 – att kodas direkt. Det borde låsa upp mycket effektivare beräkningar, eftersom siffror kan representeras mer kortfattat, även om Dally sa att hans team för närvarande inte är säkra på hur analog kommer att passa in i framtidens chipdesign.
Naveen Rao, koncernchef och general manager för AI Products Group på Intel, tog också scenen och liknade vikten av AI-hårdvaruutvecklingen med den roll som evolutionen spelade inom biologin. Råttor och människor, sa han, skiljer sig åt i evolutionen med en tidsskala på några hundra miljoner år. Trots avsevärt förbättrade möjligheter har människor dock samma grundläggande beräkningsenheter som sina motsvarigheter från gnagare.
Samma princip gäller när det kommer till chipdesign, sa Rao. Varje chip – vare sig det är specialiserat eller flexibelt, digitalt eller analogt, optiskt eller annat – är helt enkelt ett substrat för att koda och manipulera information. Men beroende på hur det substratet är utformat kan det vara skillnaden mellan en råttas och en människas förmåga.
Insekter, som råttor, sa han, är också byggda med samma grundläggande enheter som människor. Men insekter har fasta arkitekturer medan människor har mer flexibla. Ingendera, hävdade han, är överlägsen den andra, men de har helt klart utvecklats för att passa olika syften. Insekter kan sannolikt överleva ett kärnvapenkrig, medan människor har mycket mer sofistikerade förmågor.
Återigen kan dessa principer tillämpas på chipdesign. Eftersom vi tar med fler smarta enheter online är det inte alltid meningsfullt att skicka deras data till molnet för att kunna bearbetas genom en djupinlärningsmodell. Istället kan det vara vettigt att köra en liten, effektiv djupinlärningsmodell på själva enheten. Denna idé, känd som AI på kanten, skulle kunna dra nytta av specialiserade, fasta chiparkitekturer som är mer effektiva. Datacenter som driver AI på molnet, å andra sidan, skulle köras på helt flexibla och programmerbara chiparkitekturer för att hantera ett mycket bredare spektrum av inlärningsuppgifter.
Rao noterade att vilken chipdesign Intel och Nvidia än beslutar sig för, kommer effekten på utvecklingen av AI att vara betydande. Genom historien har enskilda civilisationer utvecklats på väldigt olika sätt på grund av de unika material som de har till deras förfogande. Likaså kommer de operationer som Intel och Nvidia gör enklare genom olika chipdesigner att i hög grad påverka de typer av inlärningsuppgifter som AI-gemenskapen kommer att utföra.
Vi är i denna snabba prekambriska explosion [för chiparkitekturer] just nu, sa Rao, och inte alla lösningar kommer att vinna.