Dessa konstiga, oroande bilder visar att AI blir smartare

Allen Institute for AI

Av alla AI-modeller i världen, OpenAI:s GPT-3 har mest fångat allmänhetens fantasi. Det kan spy ut dikter, noveller och sånger utan att man blir sugen, och har demonstrerats att lura folk att tro att dess utgångar var skrivna av en människa. Men dess vältalighet är mer ett salongstrick, inte att förväxla med verklig intelligens.

Ändå tror forskare att teknikerna som används för att skapa GPT-3 kan innehålla hemligheten bakom mer avancerad AI. GPT-3 tränade på en enorm mängd textdata. Tänk om samma metoder tränades på både text och bilder?

Nu har ny forskning från Allen Institute for Artificial Intelligence, AI2, tagit denna idé till nästa nivå. Forskarna har utvecklat en ny text-och-bild-modell, även känd som en visuell-språkmodell, som kan generera bilder med en bildtext. Bilderna ser oroande och freakish ut - inget som de hyperrealistiska deepfakes genereras av GAN – men de kan visa en lovande ny riktning för att uppnå mer generaliserbar intelligens, och kanske också smartare robotar.

Fyll i luckorna

GPT-3 är en del av en grupp modeller som kallas transformatorer, som först blev populära med framgången med Googles BERT. Innan BERT var språkmodellerna ganska dåliga. De hade tillräckligt med prediktiv kraft för att vara användbara för applikationer som autokomplettering, men inte tillräckligt för att generera en lång mening som följde grammatikregler och sunt förnuft.

BERT ändrade det genom att introducera en ny teknik som heter maskering . Det går ut på att gömma olika ord i en mening och be modellen att fylla i det tomma. Till exempel:

• Kvinnan gick till ___ för att träna.
• De köpte en ___ bröd för att göra smörgåsar.

Tanken är att om modellen tvingas göra dessa övningar, ofta miljontals gånger, börjar den upptäcka mönster i hur ord sätts ihop till meningar och meningar till stycken. Som ett resultat kan den både generera och tolka text bättre och komma närmare förståelsen av språket. (Google använder nu BERT för att visa upp mer relevanta sökresultat i sin sökmotor .) Efter att maskering visat sig vara mycket effektiv, försökte forskare tillämpa det på visuella språkmodeller genom att gömma ord i bildtexter, som så:

En ____ står på en smutsmark nära ett träd.

AI2

Denna gång kunde modellen titta på båda de omgivande orden och innehållet i bilden för att fylla i det tomma. Genom miljontals upprepningar kunde den sedan upptäcka inte bara mönstren mellan orden utan också relationerna mellan orden och elementen i varje bild.

Resultatet är modeller som kan relatera textbeskrivningar till visuella referenser – precis som bebisar kan skapa kopplingar mellan orden de lär sig och de saker de ser. Modellerna kan till exempel titta på bilden nedan och skriva en vettig bildtext som Kvinnor som spelar landhockey. Eller de kan svara på frågor om det som Vilken färg har bollen? genom att koppla ihop ordet boll med det cirkulära föremålet i bilden.

En modell på ett visuellt språk skulle på ett förnuftigt sätt kunna texta detta foto: 'Kvinnor som spelar landhockey.'

JOHN TORCASIO / UNSPLASH

En bild säger mer än tusen ord

Men AI2-forskarna ville veta om dessa modeller faktiskt hade utvecklat en konceptuell förståelse av den visuella världen. Ett barn som har lärt sig ordet för ett objekt kan inte bara trolla fram ordet för att identifiera objektet utan också rita objektet när det uppmanas med ordet, även om själva objektet inte är närvarande. Så forskarna bad modellerna att göra detsamma: att generera bilder från bildtexter. Alla spottar ur sig meningslösa pixelmönster istället.

Det är en fågel! Det är ett plan! Nej, det är bara gobbledygook som genereras av AI.

AI2

Det är vettigt: att omvandla text till bilder är mycket svårare än tvärtom. En bildtext anger inte allt som finns i en bild, säger Ani Kembhavi, som leder teamet för datorseende på AI2. Så en modell måste använda mycket sunt förnuft om världen för att fylla i detaljerna.

Om den ombeds att rita en giraff som går på en väg, till exempel, måste den också dra slutsatsen att vägen är mer sannolikt grå än varmrosa och mer sannolikt att den ligger bredvid ett gräsfält än bredvid havet— även om ingen av denna information är explicit.

Så Kembhavi och hans kollegor Jaemin Cho, Jiasen Lu och Hannaneh Hajishirzi bestämde sig för att se om de kunde lära ut en modell all denna implicita visuella kunskap genom att justera deras sätt att maskera. Istället för att träna modellen att bara förutsäga maskerade ord i bildtexterna från motsvarande bilder, tränade de den också att förutsäga maskerade pixlar i bilderna utifrån deras motsvarande bildtexter.

De slutliga bilderna som genereras av modellen är inte exakt realistiska. Men det är inte meningen. De innehåller de rätta visuella koncepten på hög nivå – AI-motsvarigheten till ett barn som ritar en pinnefigur för att representera en människa. (Du kan prova modellen själv här .)

Exempel på bilder genererade av AI2:s modell från bildtexterna under dem.

AI2

Förmågan hos visuella språkmodeller att göra den här typen av bildgenerering representerar ett viktigt steg framåt i AI-forskning. Det antyder att modellen faktiskt är kapabel till en viss abstraktionsnivå, en grundläggande färdighet för att förstå världen.

På lång sikt kan detta få konsekvenser för robottekniken. Ju bättre en robot är på att förstå sin visuella omgivning och använda språket för att kommunicera om dem, desto mer komplexa uppgifter kommer den att kunna utföra. På kort sikt kan den här typen av visualisering också hjälpa forskare att bättre förstå exakt vad black box AI-modeller lär sig, säger Hajishirzi.

Framöver planerar teamet att experimentera mer för att förbättra kvaliteten på bildgenereringen och utöka modellens visuella och språkliga ordförråd till att inkludera fler ämnen, objekt och adjektiv.

Bildgenerering har verkligen varit en saknad pusselbit, säger Lu. Genom att möjliggöra detta kan vi få modellen att lära sig bättre representationer för att representera världen.

Dölj