Är detta den första beräkningsfantasien?

Föreställ dig en ek i ett vetefält, silhuettad mot en molnfri blå himmel en drömsk solig eftermiddag. Chansen är stor att de flesta som läser den här meningen lätt kan föreställa sig en bukolisk scen i deras sinnesöga. Denna förmåga att läsa en beskrivning av en scen och sedan föreställa sig att den alltid har varit unik mänsklig. Men denna värdefulla färdighet kanske inte längre är vår ensam.

Alla som tror att den här typen av föreställningar är långt bortom förmågan hos dagens datormaskiner kommer att bli överraskad av Hiroharu Kato och Tatsuya Haradas arbete vid Tokyos universitet i Japan.

Idag avslöjar dessa killar en maskin som kan översätta en beskrivning av ett objekt till en bild. Med andra ord kan deras dator frammana en bild av ett externt föremål som inte annars finns. Det är en ganska bra definition av fantasi - i det här fallet med beräkningsvariationen.

Visst är dessa datorföreställningar enkla, ibland förvirrande och ofta meningslösa. Men det faktum att de överhuvudtaget är möjliga representerar ett betydande steg framåt för beräkningskreativitet.

Datavetare har länge kämpat för att hantera bilder med den lätthet och kraft som de hanterar med ord. Det är till exempel enkelt att ange ett ord eller en sekvens av ord i en sökmotor och hitta matchningar som är mycket relevanta.

Detta beror inte på någon speciell datorförmåga att förstå ord. Det sker bara genom att behandla orden statistiskt, som att räkna dem ur påsen. Faktum är att påse med ord-tekniker som denna har blivit enormt kraftfulla. Däremot finns det ingen motsvarande förmåga för bilder.

Så för några år sedan började datavetare behandla bilder på samma sätt. De började med att tänka på en bild som en serie pixlar som de delar upp i korta sekvenser som motsvarar en specifik del av en bild. Till exempel kan en kort sekvens motsvara kanten på en kopp eller ett hudområde eller en del av himlen och så vidare.

Dessa korta sekvenser betyder lite för människor men för en dator kan de behandlas som ord. Så en dator kan analysera en bild genom att räkna antalet sekvenser och hur ofta de förekommer, precis som den kan behandla ett dokument genom att räkna hur ofta ord förekommer. En bild av himlen skulle ha massor av sekvenser som motsvarar delar av himlen. Och en bild på en tekopp skulle ha många sekvenser som motsvarar kanten på en kopp och så vidare.

Det gör att bilder omedelbart kan jämföras. En dator kan söka igenom en databas med bilder analyserade på detta sätt och leta efter liknande mönster av sekvenser i andra bilder. Tanken är att två bilder med liknande fördelning av sekvenser ska se likadana ut och forskare har verkligen haft viss framgång med denna teknik för att hitta matchningar.

I analogi med text kallar datavetare dessa sekvenser för visuella ord. Och detta nya tillvägagångssätt för bildanalys är känd som tekniken bag-of-visual-words. Den analyserar en bild genom att räkna den statistiska fördelningen av de visuella orden den innehåller.

Frågan som Kato och Harada tar upp är motsatsen till detta. Med tanke på en fördelning av visuella ord, vilken var den ursprungliga bilden? Det är ett mycket svårare problem eftersom, även om ett visuellt ord beskriver en del av en bild, förklarar det inte var i bilden det kom ifrån eller vilka andra visuella ord det var nära.

Det här problemet liknar att lösa ett pussel, säger de. De visuella orden är bitarna och problemet är att bestämma hur man ska passa ihop dem för att skapa en bild.

Kato och Harada tacklar detta problem på två olika sätt. Det första är att bedöma hur enskilda visuella ord passar ihop smidigt bredvid andra visuella ord. Till exempel kan alla visuella ord som beskriver kanten på en kopp passas ihop för att visa en kontinuerlig kant.

Detta är inte okomplicerat eftersom visuella ord inte har någon synlig form och därför inte passar ihop som sticksågsbitar. Istället mäter Kato och Harada relationen mellan visuella ord i en stor databas av bilder genom att räkna alla par som förekommer bredvid varandra. Det skapar en sannolikhet att ett par visuella ord ska vara bredvid varandra

Den andra metoden är att bedöma sannolikheten för att ett givet visuellt ord ska förekomma i en viss del av bilden. Till exempel är det mer sannolikt att ett visuellt ord som visar ett område på himlen hamnar överst i en bild.

Eftersom de visuella orden i sig inte innehåller denna information, mäter Kato och Harada den igen i en stor databas med bilder. Varje visuellt ord antas ha en preferens för den absoluta positionen att placeras vid, säger de. Denna inställning är det uppmätta värdet som tas från hela databasen.

Naturligtvis är dessa beräkningar beräkningsmässigt dyra, beroende på storleken på databasen och storleken på de visuella orden.

Ändå har Kato och Harada visat betydande framgångar med sitt tillvägagångssätt. De skapar en databas med 101 bilder som var och en visar olika slags objekt. De ändrar storlek på varje bild till 128 x 128 pixlar och antog att varje bild är uppbyggd av visuella ord 13 x 13 pixlar i storlek och att tre fjärdedelar av varje visuellt ord överlappar nästa visuella ord.

Efter att ha skapat databasen som visar den statistiska fördelningen av de visuella orden, använder de sedan denna information för att försöka rekonstruera en bild med endast de visuella orden som visas i den.

Resultaten är generellt sett imponerande. Medan några av de genererade bilderna är meningslösa, återskapar andra framgångsrikt ett brett utbud av bilder, till exempel av ett paraply, en skiftnyckel, en tunna, en fisk och till och med ett ansikte (se bilderna och deras rekonstruktioner ovan).

Det är imponerande och det leder till ett antal intressanta applikationer. Kato och Harada använder den för att omvandla en bild till en annan, till exempel. De tar påsen med visuella ord som representerar två bilder och genererar sedan mellanliggande påsar med visuella ord för att skapa mellanbilderna i morfsekvensen.

Mer intressant är deras arbete med datorseende. Datavetare har nyligen utvecklat kraftfulla automatiska objektigenkänningsalgoritmer som identifierar specifika objekt.

Dessa algoritmer är kända som klassificerare. De arbetar med hög noggrannhet men kan ibland luras av föremål som verkar enkla att identifiera för det mänskliga ögat. Så exakt vad de letar efter är inte alltid klart.

Kato och Haradas arbete förändrar detta. De har använt sin påse med visuella ord för att visualisera dessa objektklassificerare. Detta avslöjar skillnader mellan mänsklig syn och datorseende, säger de.

De gör detta genom att använda klassificerare för att studera 10 000 slumpmässigt valda bilder och helt enkelt räkna de visuella ord som utlöser varje klassificerare oftast. De sätter sedan ihop dessa visuella ord till en bild med hjälp av sin påse med visuella ord-teknik.

Och resultaten är fascinerande. Vissa av de visualiserade klassificerarna är anmärkningsvärt lika objekten själva, åtminstone vad gäller mänsklig igenkänning. Andra är konstigt skeva, som verk av modern konst. Och andra visar hur ytterligare element kan vara viktiga, till exempel hur horisonten är viktig för att identifiera träd.

Slutligen använder Kato och Harada sitt tillvägagångssätt för att skapa bilder från vanliga meningar. Det gör de genom att konvertera varje ord i meningen till en påse med visuella ord och sedan omvandla detta till en bild.

Att omvandla vanliga ord till en påse med visuella ord är en knepig uppgift. Det gör forskarna genom att söka igenom en datauppsättning av bilder med bildtexter. Varje gång ett ord förekommer i en bildtext lägger de till de visuella orden i bilden i en påse. Detta skapar en stor påse med visuella ord som det är möjligt att skapa en bild av.

Resultaten är fascinerande. Flera meningar är översatta till helt nonsensbilder, erkänner Kato och Harada. Det beror förmodligen på att metoden att omvandla ett ord till en påse med visuella ord är för enkel. Men andra meningar ger drömlika bilder som är löst kopplade till den ursprungliga idén (se bilder nedan).

Kato och Harada säger att detta är en lovande början och öppnar vägen för en ny generation av system för bildskapande.

Det är verkligen fascinerande arbete som är ett betydande steg framåt i beräkningskreativitet. Be Google definiera fantasi och den säger så här: förmågan eller handlingen att bilda nya idéer, eller bilder eller begrepp av yttre föremål som inte är närvarande för sinnena . Så det är inte lätt att säga att Kato och Harada har skapat världens första beräkningsfantasi.

Ref: http://arxiv.org/abs/1505.05190 : Bildrekonstruktion från Bag-of-Visual-Words

Dölj