Detta kan leda till nästa stora genombrott inom sunt förnuft AI

Ms Tech | Pexels

Du har antagligen hört oss säga detta otaliga gånger: GPT-3, den gigantiska AI som sprider ett kusligt mänskligt språk, är ett under. Det är också till stor del att titta . Du kan säga det med ett enkelt knep: Fråga det färgen på får , och det kommer det föreslå svart lika ofta som vitt – vilket återspeglar frasen svarta får i vårt språk.

Det är problemet med språkmodeller: eftersom de bara är tränade på text saknar de sunt förnuft. Nu har forskare från University of North Carolina, Chapel Hill, designat en ny teknik för att ändra på det. De kallar det vokenization, och det ger språkmodeller som GPT-3 möjligheten att se.

Det är inte första gången människor har försökt kombinera språkmodeller med datorseende. Detta är faktiskt ett snabbt växande område för AI-forskning. Tanken är att båda typerna av AI har olika styrkor. Språkmodeller som GPT-3 tränas genom oövervakad inlärning, vilket inte kräver någon manuell datamärkning, vilket gör dem lätta att skala. Bildmodeller som objektigenkänningssystem lär sig däremot mer direkt från verkligheten. Med andra ord, deras förståelse förlitar sig inte på den typ av abstraktion av världen som texten ger. De kan se på bilder på får att de faktiskt är vita.

Relaterad berättelse

Dessa konstiga, oroande bilder visar att AI blir smartare Modeller lär sig att skapa bilder från bildtexter, ett tecken på att de blir bättre på att förstå vår värld.

AI-modeller som kan analysera både språk och visuell input har också mycket praktiska användningsområden. Om vi ​​till exempel vill bygga robotassistenter behöver de datorseende för att navigera i världen och språket för att kommunicera om det till människor.

Men att kombinera båda typerna av AI är lättare sagt än gjort. Det är inte så enkelt som att häfta ihop en befintlig språkmodell med ett befintligt objektigenkänningssystem. Det kräver att man tränar en ny modell från grunden med en datamängd som innehåller text och bilder, även känd som en datauppsättning för visuellt språk.

Det vanligaste sättet att kurera en sådan datamängd är att sammanställa en samling bilder med beskrivande bildtexter. En bild som den nedan skulle till exempel ha texten En orange katt sitter i resväskan redo att packas. Detta skiljer sig från typiska bilddatauppsättningar, som skulle märka samma bild med bara ett substantiv, som katt. En datauppsättning på visuellt språk kan därför lära en AI-modell inte bara hur man känner igen objekt utan hur de relaterar till och agerar på varandra, med hjälp av verb och prepositioner.

Men du kan se varför denna datakurering skulle ta en evighet. Det är därför de visuella datauppsättningarna som finns är så ynkliga. En populär textdatauppsättning som engelska Wikipedia (som faktiskt inkluderar nästan alla engelskspråkiga Wikipedia-poster) kan innehålla nästan 3 miljarder ord. En datauppsättning på visuellt språk som Microsoft Common Objects in Context, eller MS COCO, innehåller endast 7 miljoner. Det är helt enkelt inte tillräckligt med data för att träna en AI-modell för något användbart.

Vokenization kommer runt detta problem genom att använda oövervakade inlärningsmetoder för att skala den lilla mängden data i MS COCO till storleken på engelska Wikipedia. Den resulterande visuella språkmodellen överträffar toppmoderna modeller i några av de svåraste testerna som används för att utvärdera AI-språkförståelse idag.

Du slår inte toppmoderna på dessa tester genom att bara försöka lite, säger Thomas Wolf, medgrundare och chief science officer för startupen Hugging Face som behandlar naturliga språk, som inte var en del av forskningen. Detta är inget leksakstest. Det är därför det här är superspännande.

Från tokens till vokens

Låt oss först reda ut lite terminologi. Vad i hela friden är en voken?

I AI-tala är orden som används för att träna språkmodeller kända som tokens. Så UNC-forskarna bestämde sig för att kalla bilden associerad med varje token i deras visuella språkmodell för en voken. Vokenizer är vad de kallar algoritmen som hittar vokens för varje token, och vokenisering är vad de kallar hela processen.

Poängen med detta är inte bara att visa hur mycket AI-forskare älskar att hitta på ord. (Det gör de verkligen.) Det hjälper också till att bryta ner grundtanken bakom vokenization. Istället för att börja med en bilddatauppsättning och manuellt skriva meningar för att fungera som bildtexter – en mycket långsam process – började UNC-forskarna med en språkdatauppsättning och använde oövervakad inlärning för att matcha varje ord med en relevant bild (mer om detta senare). Detta är en mycket skalbar process.

Den oövervakade inlärningstekniken, här, är i slutändan bidraget från uppsatsen. Hur hittar man egentligen en relevant bild för varje ord?

Vokenisering

Låt oss gå tillbaka ett ögonblick till GPT-3. GPT-3 är en del av en familj av språkmodeller som kallas transformatorer, som representerade ett stort genombrott när det gäller att tillämpa oövervakad inlärning på bearbetning av naturliga språk när den första introducerades 2017. Transformatorer lär sig mönstren av mänskligt språk genom att observera hur ord är används i sammanhang och skapar sedan en matematisk representation av varje ord, känd som en ordinbäddning, baserat på det sammanhanget. Inbäddningen av ordet katt kan till exempel visa att det ofta används kring orden mjau och apelsin men mindre ofta kring orden bark eller blå.

Detta är hur transformatorer approximerar betydelsen av ord, och hur GPT-3 kan skriva sådana människoliknande meningar. Den förlitar sig delvis på dessa inbäddningar för att berätta hur man sätter ihop ord till meningar och meningar till stycken.

Det finns en parallell teknik som också kan användas för bilder. Istället för att skanna text efter ordanvändningsmönster, skannas bilder efter visuella mönster. Den tabellerar hur ofta en katt, säg, dyker upp på en säng kontra på ett träd, och skapar en kattinbäddning med denna kontextuella information.

UNC-forskarnas insikt var att de skulle använda båda inbäddningsteknikerna på MS COCO. De omvandlade bilderna till visuella inbäddningar och bildtexterna till ordinbäddningar. Det som är riktigt snyggt med dessa inbäddningar är att de sedan kan ritas i ett tredimensionellt utrymme, och du kan bokstavligen se hur de är relaterade till varandra. Visuella inbäddningar som är nära besläktade med ordinbäddningar kommer att synas närmare i grafen. Med andra ord bör den visuella kattinbäddningen (i teorin) överlappa den textbaserade kattinbäddningen. Ganska cool.

Du kan se vart detta tar vägen. När alla inbäddningar är grafiska och jämförda och relaterade till varandra är det lätt att börja matcha bilder (vokens) med ord (tokens). Och kom ihåg att eftersom bilderna och orden matchas baserat på deras inbäddningar, matchas de också utifrån sammanhang. Detta är användbart när ett ord kan ha helt olika betydelser. Tekniken hanterar det framgångsrikt genom att hitta olika vokens för varje instans av ordet.

Till exempel:

Här är hon Kontakt.

Vissa katter älskar människor Kontakt .

Poletten är ordet kontakt i båda exemplen. Men i den första meningen antyder sammanhanget att ordet hänvisar till kontaktinformation, så voken är kontaktikonen. I den andra meningen antyder sammanhanget att ordet hänvisar till beröring, så voken visar en katt som smekas.

Forskarna använde de visuella inbäddningar och ordinbäddningar som de skapade med MS COCO för att träna sin vokenizer-algoritm. När den väl tränats kunde vokenizern sedan hitta vokens för tokens på engelska Wikipedia. Det är inte perfekt. Algoritmen hittade bara vokens för ungefär 40 % av tokens. Men det är fortfarande 40 % av en datamängd med nästan 3 miljarder ord.

Med denna nya datamängd tränade forskarna om en språkmodell känd som BERT, en transformator med öppen källkod som utvecklats av Google som går före GPT-3. De testade sedan den nya och förbättrade BERT på sex olika språkförståelsetest, inklusive SQuAD, Stanford Question Answering Dataset, som ber modeller att besvara läsförståelsefrågor om en serie artiklar, och SWAG, som försöker slå upp modeller med subtiliteter av det engelska språket för att undersöka om det bara är att härma och memorera. Den förbättrade BERT presterade bättre på dem alla, vilket Wolf säger är inget att nysa åt.

Forskarna, Hao Tan, en doktorand, och Mohit Bansal, hans rådgivare, kommer att presentera sin nya vokeniseringsteknik om två veckor vid konferensen om empiriska metoder i naturlig språkbehandling. Medan arbetet fortfarande är tidigt ser Wolf deras arbete som ett viktigt konceptuellt genombrott för att få oövervakad inlärning att fungera för visuella språkmodeller. Det var en liknande gnista som hjälpte till att dramatiskt föra fram bearbetning av naturliga språk förr i tiden.

Inom NLP fick vi det här enorma genombrottet för över två år sedan, och då var NLP plötsligt ett område där det hände mycket saker och det gick liksom före alla andra AI-områden, säger han. Men vi har det här problemet med att koppla ihop text med andra saker. Så det är som den här roboten som bara kan prata men inte kan se, inte hör.

Detta papper är ett exempel där de lyckades koppla det till en annan modalitet och det fungerar bättre , han säger. Du kan föreställa dig att kanske några av dessa tekniker kan återanvändas när du vill utnyttja denna riktigt kraftfulla språkmodell i en robot. Kanske använder du samma sak för att koppla robotens sinnen till text.

Dölj