Att hitta rätt stycke himmel

Förra veckan kl SIGGRAF , en internationell konferens om datorgrafik, presenterade en grupp ett innovativt system utformat för att analysera bilder av himlen. De flesta kommersiella bildsökningssystem tar reda på vad som finns i en bild genom att analysera den associerade texten, till exempel orden som omger en bild på en webbsida eller taggar som tillhandahålls av människor. Men helst skulle programvaran analysera innehållet i själva bilden. Mycket forskning har gjorts på detta område, men hittills har inget enskilt system löst problemet. Det nya systemet, kallat SkyFinder, kan ge viktig insikt i hur man gör ett intuitivt, automatiskt, skalbart sökverktyg för alla bilder.

Söker i himlen: SkyFinder delar automatiskt upp bilden i bitar och tilldelar taggar till varje, så att användare kan hitta bilder som de ovan.

Jian Sun , som arbetade på SkyFinder och är den ledande forskaren för Visual Computing Group på Microsoft Research , säger att det traditionella förhållningssättet till bildsökning ibland leder till orimliga resultat när en dator misstolkar den omgivande texten. Vanligtvis behöver motorer som analyserar innehållet i bilder istället för text en bild för att vägleda sökningen – något som användaren skickar in som liknar det avsedda resultatet. Tyvärr kanske en sådan bild inte är lätt för användaren att hitta. Sun säger att SkyFinder däremot ger bra resultat samtidigt som det låter användaren interagera intuitivt med sökmotorn.

För att söka efter en specifik typ av himmelsbild anger användaren helt enkelt en förfrågan på ett ganska naturligt språk, till exempel en himmel täckt av svarta moln, med horisonten längst ner. SkyFinder kommer att erbjuda föreslagna bilder som matchar den beskrivningen.

Varje bild bearbetas efter att den lagts till i databasen. Med hjälp av en populär metod som kallas påse med ord, förklarar Sun, är bilden uppdelad i små fläckar, som var och en analyseras och tilldelas ett kodord som beskriver den visuellt. Genom att analysera kodordens mönster klassificerar systemet bilden i kategorier som blå himmel eller solnedgång, och bestämmer solens och horisontens position. Genom att göra detta arbete offline, säger Sun, kan systemet enkelt skalas för att söka i mycket stora bilddatabaser. (SkyFinder-databasen innehåller för närvarande en halv miljon bilder.)

Det är också möjligt att finjustera söktermer med hjälp av ett visuellt gränssnitt. Systemet erbjuder till exempel en skärm där användaren kan justera ikoner för att visa önskade positioner för solen och horisonten. Dessa koordinater läggs till i sökningen.

SkyFinder arrangerar bilder logiskt på skärmen – till exempel från blå himmel till molnig himmel, eller från dagtid till solnedgång. När användaren har hittat en bild hon gillar kan hon använda den för att vägleda en mer riktad sökning för att hitta liknande bilder.

Systemet innehåller också verktyg som hjälper en användare att ersätta himlen i en bild med himlen från en annan bild.

Datorgrafik har haft enorma framgångar under de senaste decennierna, men det är fortfarande omöjligt för en vanlig datoranvändare att syntetisera en godtycklig bild eller video efter eget tycke, säger James Hays, som inte var involverad i forskningen och har en doktorsexamen i datavetenskap. från Carnegie Mellon University. Han anser att det är viktigt att utveckla mer sofistikerade verktyg för oerfarna användare. Sådana människor kan använda ett verktyg som SkyFinder för att hitta en bild de vill ha eller för att göra justeringar av en befintlig bild. Hays tror att SkyFinders huvudsakliga bidrag är dess användargränssnitt.

Ritendra Datta, en ingenjör på Google som har studerat maskininlärning och bildsökning, säger att det fortfarande är ett av de stora öppna problemen vid bildsökning att låta datorer förstå automatiskt vad som visas i en bild. SkyFinder verkar vara ett intressant nytt tillvägagångssätt som fungerar för en typ av bild. Datta tror att framsteg inom specialiserade tillämpningar så småningom skulle kunna tillämpas i en bredare skala.

Han tycker dock att det behövs noggranna användbarhetsstudier för söksystem som bygger på automatisk analys av bilder.

Sun planerar att förbättra SkyFinder genom att justera den för att analysera fler attribut på himlen och genom att utöka databasen. För nu, säger han, måste system som automatiskt analyserar bilder tränas helt olika beroende på vilken typ av bild de arbetar med. Han säger dock att hans arbete med SkyFinder kan användas för att identifiera bilder av himlen bland en allmän bildbank.

Dölj