Kapplöpet om att förstå språkets AI:s spännande, farliga värld

Ariel Davis

Den 18 maj tillkännagav Googles vd Sundar Pichai ett imponerande nytt verktyg: ett AI-system som heter LaMDA som kan chatta med användare om vilket ämne som helst.

Till att börja med planerar Google att integrera LaMDA i sin huvudsökportal, sin röstassistent och Workplace, dess samling av molnbaserad arbetsprogramvara som inkluderar Gmail, Dokument och Drive. Men det slutliga målet, sa Pichai, är att skapa ett konversationsgränssnitt som gör det möjligt för människor att hämta all slags information – text, bild, ljud – över alla Googles produkter bara genom att fråga.

LaMDA:s utbyggnad signalerar ännu ett sätt på vilket språkteknologier blir insnärjda i våra dagliga liv. Men Googles flashiga presentation motsäger den etiska debatt som nu omger sådana banbrytande system. LaMDA är vad som kallas en stor språkmodell (LLM) – en djupinlärningsalgoritm som tränas på enorma mängder textdata.

Studier har redan visat hur rasistiska, sexistiska och kränkande idéer är inbäddade i dessa modeller. De förknippar kategorier som läkare med män och sjuksköterskor med kvinnor; bra ord med vita människor och dåliga med svarta. Undersök dem med rätt uppmaningar, och de börjar också uppmuntra saker som folkmord , självskada , och sexuella övergrepp mot barn . På grund av sin storlek har de en chockerande högt koldioxidavtryck . På grund av deras flyt, de lätt förvirra människor till att tro att en människa skrev sina resultat, vilket experter varnar kan möjliggöra massproduktion av desinformation.

I december avsatte Google sin etiska AI-medledare Timnit Gebru efter hon vägrade dra tillbaka ett papper som gjorde många av dessa poänger. Några månader senare, efter omfattande fördömande av vad ett öppet brev från Google-anställda kallade företagets oöverträffade forskningscensur, sparkade det också Gebrus medförfattare och medledare Margaret Mitchell.

Det är inte bara Google som använder den här tekniken. De mest profilerade språkmodellerna hittills har varit OpenAI:s GPT-2 och GPT-3 , som spyr ut anmärkningsvärt övertygande textstycken och kan till och med användas för att avsluta musikkompositioner och datorkod. Nu exklusivt för Microsoft licenser GPT-3 att införliva i ännu oanmälda produkter. Facebook har utvecklat sina egna LLM:er för översättning och innehållsmoderering. Och startups skapar dussintals produkter och tjänster baserade på teknikjättarnas modeller. Snart nog kommer alla våra digitala interaktioner – när vi e-postar, söker eller gör inlägg på sociala medier – att filtreras genom LLM.

Tyvärr görs väldigt lite forskning för att förstå hur bristerna i denna teknik kan påverka människor i verkliga applikationer, eller för att ta reda på hur man kan designa bättre LLM som mildrar dessa utmaningar. Som Google underströk i sin behandling av Gebru och Mitchell har de få företag som är rika nog att utbilda och underhålla LLM:er ett stort ekonomiskt intresse av att avböja att undersöka dem noggrant. Med andra ord, LLM:er integreras alltmer i den språkliga infrastrukturen på internet ovanpå skakiga vetenskapliga grunder.

Mer än 500 forskare runt om i världen tävlar nu för att lära sig mer om dessa modellers möjligheter och begränsningar. Arbetar tillsammans under BigScience-projektet leds av Huggingface, en startup som använder ett öppet vetenskapligt tillvägagångssätt för att förstå bearbetning av naturligt språk (NLP), försöker de bygga en öppen källkod LLM som kommer att fungera som en delad resurs för det vetenskapliga samfundet. Målet är att generera så mycket stipendier som möjligt inom ett enda fokuserat år. Deras centrala fråga: Hur och när ska LLM:er utvecklas och användas för att skörda fördelarna utan deras skadliga konsekvenser?

Vi kan inte riktigt stoppa den här galenskapen kring stora språkmodeller, där alla vill träna dem, säger Thomas Wolf, chief science officer på Huggingface, som är med och leder initiativet. Men vad vi kan göra är att försöka knuffa detta i en riktning som i slutändan är mer fördelaktig.

Stokastiska papegojor

Samma månad som BigScience startade sin verksamhet kom en startup vid namn Cohere tyst ut ur smyg. Startat av tidigare Google-forskare, lovar det att ta LLM till alla företag som vill ha en – med en enda rad kod. Den har utvecklat en teknik för att träna och vara värd för sin egen modell med lediga rester av beräkningsresurser i ett datacenter, vilket håller nere kostnaderna för att hyra ut det nödvändiga molnutrymmet för underhåll och driftsättning.

Bland dess tidiga kunder är startupen Det finns support , en plattform för att bygga no-code kundsupport chatbots, som själv har kunder som Facebook och Zoom. Och Coheres investerarlista inkluderar några av de största namnen på området: datorvisionspionjären Fei-Fei Li, vinnaren av Turing Award Geoffrey Hinton och Apples chef för AI, Ian Goodfellow.

Cohere är en av flera startups och initiativ som nu försöker föra LLM till olika branscher. Det finns också Aleph Alpha, en startup baserad i Tyskland som försöker bygga en tysk GPT-3 ; ett namnlöst företag startat av flera före detta OpenAI-forskare; och open source-initiativet Eleuther, som nyligen lanserade GPT-Neo , en gratis (och något mindre kraftfull) reproduktion av GPT-3.

Men det är klyftan mellan vad LLM är och vad de strävar efter att vara som har berört ett växande antal forskare. LLM:er är i själva verket världens mest kraftfulla teknik för automatisk komplettering. Genom att inta miljontals meningar, stycken och till och med exempel på dialog lär de sig de statistiska mönstren som styr hur vart och ett av dessa element ska sättas ihop i en förnuftig ordning. Detta innebär att LLM:er kan förbättra vissa aktiviteter: de är till exempel bra för att skapa mer interaktiva och konversationsflytande chatbots som följer ett väletablerat manus . Men de förstår faktiskt inte vad de läser eller säger. Många av de mest avancerade funktionerna hos LLMs idag är också endast tillgängliga på engelska.

Relaterad berättelse

Vi läste tidningen som tvingade bort Timnit Gebru från Google. Så här står det.

Företagets stjärna etikforskare lyfte fram riskerna med stora språkmodeller, som är nyckeln till Googles verksamhet.

Detta är bland annat vad Gebru, Mitchell och fem andra forskare varnade för i sin tidning, som kallar LLM:s stokastiska papegojor. Språkteknologi kan vara väldigt, väldigt användbar när den är lämpligt omfång och placerad och inramad, säger Emily Bender, professor i lingvistik vid University of Washington och en av medförfattarna till artikeln. Men LLMs generella karaktär – och övertalningsförmågan i deras mimik – lockar företag att använda dem inom områden de inte nödvändigtvis är utrustade för.

I en ny keynote vid en av de största AI-konferenserna, kopplade Gebru denna förhastade utplacering av LLM till konsekvenser som hon hade upplevt i sitt eget liv. Gebru är född och uppvuxen i Etiopien, där ett eskalerande krig har härjat i den nordligaste Tigray-regionen. Etiopien är också ett land där det talas 86 språk, nästan alla som saknas i vanliga språkteknologier.

Trots att LLM:er har dessa språkliga brister förlitar Facebook sig starkt på dem för att automatisera sin innehållsmoderering globalt. När kriget i Tigray först bröt ut i november såg Gebru plattformsflundran för att få grepp om uppsjön av desinformation. Detta är symboliskt för ett ihållande mönster som forskare har observerat i innehållsmoderering. Gemenskaper som tala språk inte prioriterat av Silicon Valley lider av de mest fientliga digitala miljöerna.

Gebru noterade att det inte är där skadan slutar heller. När falska nyheter, hatretorik och till och med dödshot inte modereras bort, skrapas de sedan som träningsdata för att bygga nästa generations LLM. Och de här modellerna, som eftersträvar vad de är utbildade i, återupplivar dessa giftiga språkmönster på internet.

I många fall har forskare inte undersökt tillräckligt noggrant för att veta hur denna toxicitet kan manifestera sig i nedströmsapplikationer. Men visst stipendium finns. I hennes bok från 2018 Algoritmer för förtryck , Safiya Noble, docent i information och afroamerikanska studier vid University of California, Los Angeles, dokumenterade hur fördomar som är inbäddade i Googles sökningar vidmakthåller rasism och, i extrema fall, kanske till och med motiverar rasistiskt våld.

Konsekvenserna är ganska allvarliga och betydande, säger hon. Google är inte bara den primära kunskapsportalen för vanliga medborgare. Den tillhandahåller också informationsinfrastrukturen för institutioner, universitet och statliga och federala regeringar.

Google använder redan en LLM för att optimera några av sina sökresultat. Med sitt senaste tillkännagivande av LaMDA och ett färskt förslag det publicerades i en preprint-tidning, har företaget gjort klart att det bara kommer att öka sitt beroende av tekniken. Ädla oro för att detta skulle kunna göra de problem hon upptäckte ännu värre: Det faktum att Googles etiska AI-team fick sparken för att ha tagit upp mycket viktiga frågor om de rasistiska och sexistiska diskrimineringsmönster som är inbäddade i stora språkmodeller borde ha varit en väckarklocka.

BigScience

BigScience-projektet började som ett direkt svar på det växande behovet av vetenskaplig granskning av LLM. När han observerade teknikens snabba spridning och Googles försök till censur av Gebru och Mitchell insåg Wolf och flera kollegor att det var dags för forskarvärlden att ta saken i egna händer.

Inspirerade av öppna vetenskapliga samarbeten som CERN inom partikelfysik, kom de på en idé för en öppen källkod LLM som kunde användas för att utföra kritisk forskning oberoende av vilket företag som helst. I april i år fick gruppen ett bidrag för att bygga den med den franska regeringens superdator.

På teknikföretag byggs LLMs ofta av endast ett halvdussin personer som i första hand har teknisk expertis. BigScience ville ta in hundratals forskare från ett brett spektrum av länder och discipliner för att delta i en verkligt samarbetande modellkonstruktionsprocess. Wolf, som är fransman, vände sig först till den franska NLP-gemenskapen. Därifrån snöade initiativet till en global verksamhet som omfattar mer än 500 personer.

Samarbetet är nu löst organiserat i ett dussintal arbetsgrupper som var och en tar itu med olika aspekter av modellutveckling och utredning. En grupp kommer att mäta modellens miljöpåverkan, inklusive koldioxidavtrycket från utbildning och drift av LLM och ta hänsyn till superdatorns livscykelkostnader. En annan kommer att fokusera på att utveckla ansvarsfulla sätt att anskaffa utbildningsdata – att söka alternativ till att helt enkelt skrapa data från webben, som att transkribera historiska radioarkiv eller poddsändningar. Målet här är att undvika giftigt språkbruk och insamling av privat information utan samtycke.

Relaterad berättelse

Varför GPT-3 är det bästa och sämsta av AI just nu

Open AI:s språk AI imponerade allmänheten med sin uppenbara behärskning av engelska – men är allt en illusion?

Andra arbetsgrupper är dedikerade till att utveckla och utvärdera modellens flerspråkighet. Till att börja med har BigScience valt ut åtta språk eller språkfamiljer, inklusive engelska, kinesiska, arabiska, indisk (inklusive hindi och urdu) och bantu (inklusive swahili). Planen är att arbeta nära varje språkgemenskap för att kartlägga så många av dess regionala dialekter som möjligt och se till att dess distinkta datasekretessnormer respekteras. Vi vill att folk ska ha att säga till om hur deras data används, säger Yacine Jernite, Huggingface-forskare.

Poängen är inte att bygga en kommersiellt gångbar LLM för att konkurrera med sådana som GPT-3 eller LaMDA. Modellen blir för stor och för långsam för att vara användbar för företag, säger Karën Fort, docent vid Sorbonne. Istället utformas resursen enbart för forskning. Varje datapunkt och varje modellbeslut dokumenteras noggrant och offentligt, så det är lättare att analysera hur alla delar påverkar modellens resultat. Det handlar inte bara om att leverera den slutliga produkten, säger Angela Fan, en Facebook-forskare. Vi föreställer oss varje enskild del av den som ett leveransställe, som en artefakt.

Projektet är utan tvekan ambitiöst – mer globalt expansivt och samarbetsvilligt än något AI-communityt har sett tidigare. Logistiken med att samordna så många forskare är i sig en utmaning. (Det finns faktiskt en arbetsgrupp för det också.) Dessutom bidrar varje enskild forskare på frivillig basis. Bidraget från den franska regeringen täcker endast beräkningsresurser, inte mänskliga resurser.

Men forskare säger att det gemensamma behovet som förde samhället samman har skapat en imponerande nivå av energi och fart. Många är optimistiska att de i slutet av projektet, som kommer att pågå till maj nästa år, inte bara kommer att ha producerat djupare stipendier om begränsningarna hos LLM utan också bättre verktyg och metoder för att bygga och distribuera dem på ett ansvarsfullt sätt.

Arrangörerna hoppas att detta kommer att inspirera fler människor inom industrin att införliva dessa metoder i sin egen LLM-strategi, även om de är de första att erkänna att de är idealistiska. Om något kommer det stora antalet inblandade forskare, inklusive många från teknikjättar, hjälpa till att etablera nya normer inom NLP-gemenskapen.

På vissa sätt har normerna redan förändrats. Som svar på samtal kring avskedandet av Gebru och Mitchell hörde Cohere från flera av sina kunder att de var oroliga för teknikens säkerhet. På sin webbplats innehåller den en sida på sin webbplats med ett löfte om att kontinuerligt investera i teknisk och icke-teknisk forskning för att mildra de eventuella skadorna av sin modell. Det säger att det också kommer att sammansätta ett rådgivande råd som består av externa experter för att hjälpa det att skapa policyer för tillåten användning av dess teknik.

NLP är vid en mycket viktig vändpunkt, säger Fort. Det är därför BigScience är spännande. Det gör det möjligt för samhället att driva forskningen framåt och tillhandahålla ett hoppfullt alternativ till status quo inom industrin: Den säger: 'Låt oss ta ett nytt pass. Låt oss ta det tillsammans – att ta reda på alla sätt och alla saker vi kan göra för att hjälpa samhället.”

Jag vill att NLP ska hjälpa människor, säger hon, att inte slå ner dem.

Uppdatering: Coheres ansvarsinitiativ har förtydligats.

Dölj