Uppstarten gör djupinlärning möjlig utan specialiserad hårdvara

Neural magi

Upptäckten som fick Nir Shavit att starta ett företag kom till på det sätt som de flesta upptäckter gör: av en slump. MIT-professorn arbetade på ett projekt för att rekonstruera en karta över en muss hjärna och behövde lite hjälp från djupinlärning. Utan att veta hur man programmerar grafikkort, eller GPU:er, det vanligaste hårdvaruvalet för djupinlärningsmodeller, valde han istället en centralenhet, eller CPU, det mest generiska datorchipet som finns i en vanlig bärbar dator.

Se och se, minns Shavit, jag insåg att en CPU kan göra vad en GPU gör – om den är programmerad på rätt sätt.

Denna insikt är nu grunden för hans startup, Neural Magic, som lanserade sin första svit med produkter idag. Tanken är att tillåta vilket företag som helst att använda en modell för djupinlärning utan behov av specialiserad hårdvara. Det skulle inte bara sänka kostnaderna för djupinlärning utan också göra AI mer tillgängligt.

Detta skulle innebära att du skulle kunna använda neurala nätverk på många fler maskiner och många fler existerande maskiner, säger Neil Thompson, en forskare vid MIT:s datavetenskaps- och artificiell intelligenslaboratorium, som inte är involverad i neural magi. Du skulle inte behöva uppgradera till något speciellt.

GPU:er blev den hårdvara som valdes för djupinlärning till stor del av en slump. Chipsen designades från början för att snabbt återge grafik i applikationer som videospel. Till skillnad från CPU:er, som har fyra till åtta komplexa kärnor för att göra en mängd olika beräkningar, har GPU:er hundratals enkla kärnor som bara kan utföra specifika operationer - men kärnorna kan hantera sina operationer samtidigt snarare än en efter en, vilket minskar tiden det krävs för att slutföra en intensiv beräkning.

Det tog inte lång tid för AI-forskargemenskapen att inse att denna massiva parallellisering också gör GPU:er bra för djupinlärning. Liksom grafikrendering innebär djupinlärning enkla matematiska beräkningar som utförs hundratusentals gånger. 2011, i ett samarbete med chiptillverkaren Nvidia, Google hittades att en datorseende modell som den hade tränat på 2 000 processorer för att skilja katter från människor kunde uppnå samma prestanda när den tränades på endast 12 GPU:er. GPU:er blev de facto-chippet för modellträning och slutledning – den beräkningsprocess som sker när en tränad modell används för de uppgifter den tränats för.

Men GPU:er är inte heller perfekta för djupinlärning. Dels kan de inte fungera som ett fristående chip. Eftersom de är begränsade i vilken typ av operationer de kan utföra, måste de kopplas till CPU:er för att hantera allt annat. GPU:er har också en begränsad mängd cacheminne, datalagringsområdet närmast ett chips processorer. Detta innebär att huvuddelen av data lagras off-chip och måste hämtas när det är dags för bearbetning. Dataflödet fram och tillbaka blir en flaskhals för beräkningar, vilket begränsar hastigheten med vilken GPU:er kan köra algoritmer för djupinlärning.

Neural Magics kontor.

NEURAL MAGI

På senare år har dussintals företag har dykt upp för att designa AI-chips som kringgår dessa problem. Problemet är att ju mer specialiserad hårdvaran är, desto dyrare blir den.

Så Neural Magic har för avsikt att motverka denna trend. Istället för att mixtra med hårdvaran modifierade företaget mjukvaran. Den gjorde om algoritmer för djupinlärning för att köras mer effektivt på en CPU genom att använda chipsens stora tillgängliga minne och komplexa kärnor. Medan tillvägagångssättet förlorar hastigheten som uppnås genom en GPU:s parallellisering, vinner den enligt uppgift tillbaka ungefär samma tid genom att eliminera behovet av att överföra data till och från chippet. Algoritmerna kan köras på processorer med GPU-hastigheter, säger företaget - men till en bråkdel av kostnaden. Det låter som att det de har gjort är att hitta ett sätt att dra fördel av processorns minne på ett sätt som folk inte har gjort tidigare, säger Thompson.

Neural Magic tror att det kan finnas ett par anledningar till varför ingen tog detta tillvägagångssätt tidigare. För det första är det kontraintuitivt. Tanken att djupinlärning behöver specialiserad hårdvara är så förankrad att andra tillvägagångssätt lätt kan förbises. För det andra är det fortfarande relativt nytt att tillämpa AI i industrin, och företag har precis börjat leta efter enklare sätt att distribuera algoritmer för djupinlärning. Men om efterfrågan är tillräckligt djup för att Neural Magic ska ta fart är fortfarande oklart. Företaget har betatestat sin produkt med ett tiotal företag – bara en del av den bredare AI-branschen.

Vi vill förbättra inte bara neurala nätverk utan även datoranvändningen överlag.

Neil Thompson

Neural Magic erbjuder för närvarande sin teknik för att sluta uppgifter inom datorseende. Klienter måste fortfarande träna sina modeller på specialiserad hårdvara men kan sedan använda Neural Magics programvara för att konvertera den tränade modellen till ett CPU-kompatibelt format. En kund, en stor tillverkare av mikroskopiutrustning, testar nu detta tillvägagångssätt för att lägga till AI-kapacitet på enheten till sina mikroskop, säger Shavit. Eftersom mikroskopen redan kommer med en CPU, behöver de ingen extra hårdvara. Användning av en GPU-baserad modell för djupinlärning skulle däremot kräva att utrustningen är skrymmande och mer energikrävande.

En annan klient vill använda Neural Magic för att bearbeta bilder från säkerhetskameror. Det skulle göra det möjligt för den att övervaka trafiken in och ut ur en byggnad med hjälp av datorer som redan finns på plats; Annars kan det behöva skicka bilderna till molnet, vilket kan skapa sekretessproblem, eller skaffa speciell hårdvara för varje byggnad som den övervakar.

Shavit säger att slutledning är också bara början. Neural Magic planerar att utöka sina erbjudanden i framtiden för att hjälpa företag tåg deras AI-modeller på processorer också. Vi tror att processorer om 10 till 20 år kommer att vara själva tyget för att köra maskininlärningsalgoritmer, säger han.

Thompson är inte så säker. Ekonomin har verkligen förändrats kring flisproduktion, och det kommer att leda till mycket mer specialisering, säger han. Dessutom, medan Neural Magics teknik får mer prestanda ur befintlig hårdvara, kommer grundläggande hårdvaruframsteg fortfarande att vara det enda sättet att fortsätta driva datoranvändningen framåt. Det här låter som ett riktigt bra sätt att förbättra prestanda i neurala nätverk, säger han. Men vi vill förbättra inte bara neurala nätverk utan även datoranvändningen överlag.

Dölj