Denna avokadofåtölj kan vara framtiden för AI

Öppna AI

Med GPT-3 , visade OpenAI att en enda modell för djupinlärning kunde tränas för att använda språk på en mängd olika sätt helt enkelt genom att kasta den stora mängder text. Det visade det då genom att byta text mot pixlar , samma tillvägagångssätt kan användas för att träna en AI att slutföra halvfärdiga bilder. GPT-3 härmar hur människor använder ord; Bild GPT-3 förutsäger vad vi ser.

Nu har OpenAI satt ihop dessa idéer och byggt två nya modeller, kallade GE HENNE och KLÄMMA , som kombinerar språk och bilder på ett sätt som kommer att göra AI bättre på att förstå både ord och vad de refererar till.

Vi lever i en visuell värld, säger Ilya Sutskever, chefsforskare på OpenAI. I det långa loppet kommer du att ha modeller som förstår både text och bilder. AI kommer att kunna förstå språk bättre eftersom den kan se vad ord och meningar betyder.

Relaterad berättelse

OpenAI:s nya språkgenerator GPT-3 är chockerande bra – och helt sinneslös

AI är den största språkmodellen som någonsin skapats och kan generera fantastisk människoliknande text på begäran men kommer inte att föra oss närmare sann intelligens.

Trots all GPT-3:s stil kan dess produktion kännas obunden från verkligheten, som om den inte vet vad den pratar om. Det är för att det inte gör det. Genom att jorda text i bilder försöker forskare vid OpenAI och på andra håll ge språkmodeller en bättre förståelse för de vardagliga begreppen som människor använder för att förstå saker.

DALL·E och CLIP kommer på detta problem från olika håll. Vid första anblicken är CLIP (Contrastive Language-Image Pre-training) ännu ett bildigenkänningssystem. Förutom att den har lärt sig att känna igen bilder inte från märkta exempel i kurerade datamängder, som de flesta befintliga modeller gör, utan från bilder och deras bildtexter hämtade från internet. Den lär sig vad som finns i en bild från en beskrivning snarare än en ettordsetikett som katt eller banan.

CLIP tränas genom att få den att förutsäga vilken bildtext från ett slumpmässigt urval av 32 768 som är den korrekta för en given bild. För att lösa detta lär CLIP sig att länka en mängd olika objekt med deras namn och orden som beskriver dem. Detta låter den sedan identifiera objekt i bilder utanför sin träningsuppsättning. De flesta bildigenkänningssystem är tränade för att identifiera vissa typer av objekt, som ansikten i övervakningsfilmer eller byggnader i satellitbilder. Precis som GPT-3 kan CLIP generalisera över uppgifter utan ytterligare utbildning. Det är också mindre troligt än andra toppmoderna bildigenkänningsmodeller att ledas vilse av motstridiga exempel, som har ändrats på ett subtilt sätt på ett sätt som vanligtvis förvirrar algoritmer även om människor kanske inte märker någon skillnad.

Istället för att känna igen bilder, ritar DALL·E (som jag gissar är en WALL·E/Dali ordlek) dem. Den här modellen är en mindre version av GPT-3 som även har tränats på text-bildpar tagna från internet. Med en kort bildtext på naturligt språk, till exempel en målning av en kapybara som sitter på ett fält vid soluppgången eller en tvärsnittsvy av en valnöt, genererar DALL·E massor av bilder som matchar den: dussintals capybaras av alla former och storlekar framför orange och gul bakgrund; rad efter rad med valnötter (dock inte alla i tvärsnitt).

Bli surrealistisk

Resultaten är slående, men fortfarande blandade. Bildtexten ett målat glasfönster med en bild av en blå jordgubbe ger många korrekta resultat men också några som har blå fönster och röda jordgubbar. Andra innehåller ingenting som ser ut som ett fönster eller en jordgubbe. Resultaten visades upp av OpenAI-teamet i ett blogginlägg inte blivit körsbärsplockade för hand utan rankats av CLIP, som har valt ut de 32 DALL·E-bilder för varje bildtext som man tycker bäst matchar beskrivningen.

Text-till-bild är en forskningsutmaning som har funnits ett tag, säger Mark Riedl, som arbetar med NLP och beräkningskreativitet vid Georgia Institute of Technology i Atlanta. Men det här är en imponerande uppsättning exempel.

Bilder tecknade av DALL·E för bildtexten En baby daikonrädisa i en tutu som går med en hund

För att testa DALL·E:s förmåga att arbeta med nya koncept gav forskarna den bildtexter som beskrev föremål som de trodde att den inte skulle ha sett förut, som en avokadofåtölj och en illustration av en daikonrädisa i en tutu som går med en hund. I båda dessa fall genererade AI bilder som kombinerade dessa koncept på rimliga sätt.

Särskilt fåtöljer ser alla ut som stolar och avokado. Det som förvånade mig mest är att modellen kan ta två orelaterade koncept och sätta ihop dem på ett sätt som resulterar i något slags funktionellt, säger Aditya Ramesh, som arbetat på DALL·E. Det beror förmodligen på att en halverad avokado ser ut lite som en högryggad fåtölj, med gropen som kudde. För andra bildtexter, som en snigel gjord av harpa, är resultaten mindre bra, med bilder som kombinerar sniglar och harpor på udda sätt.

DALL·E är den typ av system som Riedl föreställde sig att underkasta sig Lovelace 2.0 test , ett tankeexperiment som han kom med 2014. Testet är tänkt att ersätta Turing-testet som ett riktmärke för att mäta artificiell intelligens. Det förutsätter att ett tecken på intelligens är förmågan att blanda koncept på kreativa sätt. Riedl föreslår att att be en dator att rita en bild av en man som håller i en pingvin är ett bättre test av smart än att be en chatbot att dupera en människa i konversation, eftersom det är mer öppet och mindre lätt att fuska.

Det verkliga testet är att se hur långt AI kan tryckas utanför sin komfortzon, säger Riedl.

Bilder tecknade av DALL·E för bildtexten snigel gjord av harpa

Modellens förmåga att generera syntetiska bilder ur ganska nyckfull text verkar väldigt intressant för mig, säger Ani Kembhavi vid Allen Institute for Artificial Intelligence (AI2), som också har utvecklat en system som genererar bilder från text . Resultaten verkar följa den önskade semantiken, vilket jag tycker är ganska imponerande. Jaemin Cho, en kollega till Kembhavi, är också imponerad: Befintliga text-till-bild-generatorer har inte visat denna nivå av kontrollritning av flera objekt eller de rumsliga resonemangsförmågan hos DALL·E, säger han.

Ändå visar DALL·E redan tecken på ansträngning. Att inkludera för många objekt i en bildtext förlänger dess förmåga att hålla reda på vad som ska ritas. Och att omformulera en bildtext med ord som betyder samma sak ger ibland olika resultat. Det finns också tecken på att DALL·E härmar bilder som den har stött på online snarare än att generera nya.

Jag är lite misstänksam mot daikon-exemplet, som stilistiskt antyder att det kan ha memorerat lite konst från internet, säger Riedl. Han noterar att en snabb sökning ger många tecknade bilder av antropomorfiserade daikoner. GPT-3, som DALL·E bygger på, är ökänt för att memorera, säger han.

Ändå är de flesta AI-forskare överens om att förankring av språk i visuell förståelse är ett bra sätt att göra AI:er smartare.

Framtiden kommer att bestå av sådana här system, säger Sutskever. Och båda dessa modeller är ett steg mot det systemet.

Dölj