Att träna en enskild AI-modell kan släppa ut så mycket kol som fem bilar under sin livstid

Ett datacenter Dean Mouhtaropoulos | Getty; redigerad av MIT Technology Review

Den artificiella intelligensindustrin jämförs ofta med oljeindustrin: när den väl är utvunnen och raffinerad kan data, som olja, vara en mycket lukrativ vara. Nu verkar det som om metaforen kan sträcka sig ännu längre. Liksom sin motsvarighet till fossila bränslen har processen med djupinlärning en överdriven miljöpåverkan.

I en nytt papper , gjorde forskare vid University of Massachusetts, Amherst, en livscykelbedömning för att träna flera vanliga stora AI-modeller. De fann att processen kan släppa ut mer än 626 000 pund koldioxidekvivalenter - nästan fem gånger livstidsutsläppen från den genomsnittliga amerikanska bilen (och det inkluderar tillverkning av själva bilen).

Det är en skakande kvantifiering av något AI-forskare har misstänkt länge. Även om förmodligen många av oss har tänkt på det här på en abstrakt, vag nivå, visar siffrorna verkligen problemets omfattning, säger Carlos Gómez-Rodríguez, datavetare vid universitetet i A Coruña i Spanien, som inte var inblandad i forskning. Varken jag eller andra forskare som jag har diskuterat dem med tyckte att miljöpåverkan var så stor.

Koldioxidavtrycket från bearbetning av naturligt språk

Uppsatsen undersöker specifikt modellträningsprocessen för bearbetning av naturligt språk (NLP), delområdet för AI som fokuserar på att lära maskiner att hantera mänskligt språk. Under de senaste två åren har NLP-communityt nått flera anmärkningsvärda prestationsmilstolpar i maskinöversättning, meningsslutförande och andra vanliga benchmarkinguppgifter. OpenAI:s ökända GPT-2-modell, som ett exempel, utmärkte sig i att skriva övertygande falska nyhetsartiklar.

Men sådana framsteg har krävt utbildning av allt större modeller i vidsträckta datamängder av meningar skrapat från internet. Metoden är beräkningsmässigt dyr – och mycket energikrävande.

Forskarna tittade på fyra modeller inom området som har varit ansvariga för de största sprången i prestanda: Transformer, ELMo, BERT och GPT-2. De tränade var och en på en enda GPU i upp till en dag för att mäta dess strömförbrukning. De använde sedan antalet träningstimmar som anges i modellens originalpapper för att beräkna den totala energiförbrukningen under hela utbildningsprocessen. Den siffran omvandlades till pounds av koldioxidekvivalenter baserat på den genomsnittliga energimixen i USA, som nära matchar energimixen som används av Amazons AWS, den största molntjänstleverantören.

De fann att beräknings- och miljökostnaderna för utbildning växte proportionellt mot modellstorleken och sedan exploderade när ytterligare inställningssteg användes för att öka modellens slutliga noggrannhet. I synnerhet fann de att en inställningsprocess känd som neural arkitektursökning, som försöker optimera en modell genom att stegvis justera ett neuralt nätverks design genom uttömmande försök och fel, hade utomordentligt höga kostnader för små prestandafördelar. Utan den hade den mest kostsamma modellen, BERT, ett koldioxidavtryck på ungefär 1 400 pund koldioxidekvivalenter, nära en tur- och returresa över amerika för en person.

Dessutom noterar forskarna att siffrorna endast bör betraktas som baslinjer. Att träna en enskild modell är den minsta mängd arbete du kan göra, säger Emma Strubell, doktorand vid University of Massachusetts, Amherst, och huvudförfattaren till artikeln. I praktiken är det mycket mer troligt att AI-forskare skulle utveckla en ny modell från början eller anpassa en befintlig modell till en ny datamängd, som båda kan kräva många fler omgångar av träning och trimning.

För att få bättre koll på hur hela utvecklingspipelinen kan se ut i termer av koldioxidavtryck, använde Strubell och hennes kollegor en modell som de hade producerat i en tidigare papper som en fallstudie. De fann att processen att bygga och testa en slutlig modell som tålde papper krävde utbildning av 4 789 modeller under en sexmånadersperiod. Omräknat till CO2-ekvivalent, släppte den ut mer än 78 000 pund och är sannolikt representativ för typiskt arbete på fältet.

Betydelsen av dessa siffror är kolossal – särskilt när man överväger de nuvarande trenderna inom AI-forskning. I allmänhet försummar mycket av den senaste forskningen inom AI effektivitet, eftersom mycket stora neurala nätverk har visat sig vara användbara för en mängd olika uppgifter, och företag och institutioner som har riklig tillgång till beräkningsresurser kan utnyttja detta för att få en konkurrensfördel, säger Gómez-Rodríguez. Denna typ av analys behövde göras för att öka medvetenheten om de resurser som spenderas [...] och kommer att väcka en debatt.

Det som förmodligen många av oss inte förstod är omfattningen av det tills vi såg dessa jämförelser, upprepade Siva Reddy, en postdoc vid Stanford University som inte var involverad i forskningen.

Privatiseringen av AI-forskning

Resultaten understryker ett annat växande problem även inom AI: den stora intensiteten av resurser som nu krävs för att producera pappersvärdiga resultat har gjort det alltmer utmanande för personer som arbetar inom den akademiska världen att fortsätta bidra till forskningen.

Den här trenden mot att utbilda enorma modeller på massor av data är inte genomförbar för akademiker – speciellt studenter, eftersom vi inte har beräkningsresurserna, säger Strubell. Så det finns en fråga om rättvis tillgång mellan forskare i akademin kontra forskare inom industrin.

Strubell och hennes medförfattare hoppas att deras kollegor kommer att lyssna till tidningens resultat och hjälpa till att jämna ut spelplanen genom att investera i att utveckla effektivare hårdvara och algoritmer.

Reddy håller med. Människans hjärnor kan göra fantastiska saker med liten strömförbrukning, säger han. Den större frågan är hur vi kan bygga sådana maskiner.

Dölj