Små AI-modeller kan ladda autokorrigering och röstassistenter på din telefon

Kategori: Artificiell intelligens Postad 04 okt

Forskare har framgångsrikt krympt en gigantisk språkmodell för användning i kommersiella tillämpningar.

Vem räknar? Under det senaste året har naturliga språkmodeller blivit dramatiskt bättre på bekostnad av att de blivit dramatiskt större. I oktober förra året, t.ex. Google släppte en modell som heter BERT som klarade ett långvarigt riktmärke för läsförståelse på området. Den större versionen av modellen hade 340 miljoner dataparametrar, och träna den bara en gång genom att kosta tillräckligt med el för att driva ett amerikanskt hushåll i 50 dagar.

Fyra månader senare toppade OpenAI det snabbt med sin modell GPT-2 . Modellen visade en imponerande förmåga att konstruera övertygande prosa; den använde också 1,5 miljarder parametrar. Nu har MegatronLM, den senaste och största modellen från Nvidia 8,3 miljarder parametrar . (Ja, saker går överstyr.)

Den stora, den dåliga, den fula: AI-forskare har blivit allt mer oroliga för konsekvenserna av denna trend. I juni visade en grupp vid University of Massachusetts, Amherst, klimatavgiften för att utveckla och träna modeller i så stor skala. Träning BERT, beräknade de, släppte ut nästan lika mycket kol som en tur-och-retur-flygning mellan New York och San Francisco; GPT-2 och MegatronLM, genom extrapolering, skulle sannolikt avge mycket mer.

Trenden kan också påskynda koncentrationen av AI-forskning i händerna på ett fåtal teknikjättar. Laboratorier med låga resurser i den akademiska världen eller länder med färre resurser har helt enkelt inte möjlighet att använda eller utveckla sådana beräkningsmässigt dyra modeller.

Älskling, jag krympte AI:n: Som svar är många forskare fokuserade på krymper storleken befintliga modeller utan att förlora deras kapacitet. Nu har två nya tidningar, släppta inom en dag efter varandra, framgångsrikt gjort det till den mindre versionen av BERT, med 100 miljoner parametrar.

De första papper, från forskare på Huawei, producerar en modell som heter TinyBERT som är mindre än en sjundedel av originalets storlek och nästan 10 gånger snabbare. Den fungerar också nästan lika bra i språkförståelse som originalet. De andra, från forskare på Google, producerar en annan som är mindre med en faktor på mer än 60, men dess språkförståelse är något sämre än Huawei-versionen.

Hur de gjorde det: Båda tidningarna använder varianter av en vanlig kompressionsteknik som kallas kunskapsdestillation. Det går ut på att använda den stora AI-modellen som du vill krympa (läraren) för att träna en mycket mindre modell (eleven) i dess bild. För att göra det matar du in samma input till båda och justerar sedan eleven tills dess utdata matchar lärarens.

Utanför labbet: Förutom att förbättra tillgången till toppmodern AI, kommer små modeller att hjälpa till att ta med de senaste AI-framstegen till konsumentenheter. De undviker behovet av att skicka konsumentdata till molnet, vilket förbättrar både hastighet och integritet. Specifikt för modeller med naturliga språk kan mer kraftfull textförutsägelse och språkgenerering förbättra otaliga applikationer som autokomplettering på din telefon och röstassistenter som Alexa och Google Assistant.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.