Datorkraften som behövs för att träna AI ökar nu sju gånger snabbare än någonsin tidigare

Go-spelaren Ke Jie spelar en match mot Google

Go-spelaren Ke Jie spelar en match mot Googles artificiella intelligens-program, AlphaGo AP





2018 fann OpenAI att mängden beräkningskraft som användes för att träna de största AI-modellerna hade fördubblats var 3,4:e månad sedan 2012.

Det San Francisco-baserade vinstdrivande AI-forskningslabbet har nu lagt till nya data till sin analys. Detta visar hur dubbleringen efter 2012 jämförs med den historiska fördubblingstiden sedan fältets början. Från 1959 till 2012 fördubblades mängden energi som användes vartannat år, vilket följde Moores lag. Det betyder att de resurser som används idag fördubblas i en takt sju gånger snabbare än tidigare.

Modern Era (2012 till idag) AI-beräkningsanvändning i linjär skala. AlexNet till AlphaGo Zero: En 300 000x ökning av beräkningen.

OpenAI



Denna dramatiska ökning av de resurser som behövs understryker hur kostsamma fältets prestationer har blivit. Tänk på att grafen ovan visar en logaritmisk skala. På en linjär skala (nedan) kan du tydligare se hur datoranvändningen har ökat med 300 000 gånger under de senaste sju åren.

Diagrammet inkluderar inte heller några av de senaste genombrotten, inklusive Googles storskaliga språkmodell BERT , OpenAI:s språkmodell GPT-2, eller DeepMinds StarCraft II-spelande modell AlphaStar.

OpenAI

OpenAI



Det senaste året har allt fler forskare slagit larm om de exploderande kostnaderna för djupinlärning. I juni visade en analys från forskare vid University of Massachusetts, Amherst, hur dessa ökande beräkningskostnader direkt översätts till koldioxidutsläpp.

I sin artikel noterade de också hur trenden förvärrar privatiseringen av AI-forskning eftersom den undergräver förmågan för akademiska laboratorier att konkurrera med mycket mer resursrika privata.

Som svar på denna växande oro har flera branschgrupper kommit med rekommendationer. Allen Institute for Artificial Intelligence, ett icke-vinstdrivande forskningsföretag i Seattle, har föreslagit att forskare alltid publicerar de ekonomiska och beräkningsmässiga kostnaderna för att träna sina modeller tillsammans med deras prestationsresultat, till exempel.



I sin egen blogg föreslog OpenAI beslutsfattare att öka finansieringen till akademiska forskare för att överbrygga resursklyftan mellan akademiska och industrilabb.

Korrektion: En tidigare version av denna artikel angav felaktigt att fördubblingstiden idag är mer än sju gånger tidigare. Resurserna som används fördubblas sju gånger snabbare, och själva dubbleringstiden är en sjundedel föregående gång.

Dölj