211service.com
Bättre, mer exakt bildsökning
Forskare vid University of California, San Diego (UCSD), har utvecklat en ny bildsökningsmetod som de hävdar överträffar befintliga tillvägagångssätt med en betydande marginal när det gäller noggrannhet och effektivitet. Forskarnas tillvägagångssätt modifierar en typisk maskininlärningsmetod som används för att träna datorer att känna igen bilder, säger Nuno Vasconcelos, professor i el- och datorteknik vid UCSD. Resultatet är en sökmotor som automatiskt märker bilder med namnen på föremålen i den, som rädisa, paraply eller simmare. Och eftersom tillvägagångssättet använder ord för att märka och klassificera delar av bilder, lämpar det sig väl för typiska nyckelordssökningar som människor gör på webben, säger Vasconcelos.
Att hitta foton : En ny algoritm utvecklad vid UCSD som lägger till ordtaggar till bilder kan öka bildsökningsnoggrannheten och effektiviteten. Ovan tilldelas inslag från en bild en sannolikhet att de hör hemma i vissa kategorier, som vatten eller person.
För närvarande kan det vara lätt att söka efter bilder på Internet med nyckelord. Detta beror på att de flesta bildbaserade sökningar använder metadata – text, som ett filnamn, datum eller annan grundläggande information som är kopplad till en bild – som kan vara ofullständig, värdelös för nyckelordssökningar eller helt saknas. Datavetare har arbetat på bättre sätt att identifiera bilder och göra dem sökbara i mer än ett decennium, men att få maskiner att gå bortom metadata och avgöra vilka objekt som finns i en bild är ett svårt problem att lösa, och de flesta ansträngningar hittills har bara varit måttligt framgångsrik.
Även om UCSD-forskningen inte helt löser problemet, förbättrar den prestanda och effektivitet för ett visst tillvägagångssätt, säger Vasconcelos, och den identifierar några begränsningar i hur människor hanterade problemet.
Tillvägagångssättet som forskarna tog sig an kallas innehållsbaserat och det går ut på att beskriva objekt i en bild genom att analysera egenskaper som färg, struktur och linjer. Dessa objekt kan representeras av uppsättningar av funktioner och sedan jämföras med uppsättningar som extraherats från andra bilder. Funktionsuppsättningar beskrivs av deras statistik, och datorn söker efter statistiskt sannolika matchningar.
Multimedia
Bildsökning
Den nya forskningen bygger på detta tillvägagångssätt, men den lägger till ett mellansteg, säger Pedro Moreno, en forskningsingenjör från Google som arbetade med projektet. Moreno förklarar att det här nya steget ger en semantisk etikett, eller en ordtagg som beskriver objekt i bilder istället för att enbart förlita sig på uppsättningar av siffror.
Överväg till exempel att skicka in en bild av en hund på en gräsmatta. Objekten på bilderna analyseras och jämförs med resultat för kända kategorier av föremål, som hundar, katter eller fiskar. Sedan ger datorn en statistisk analys som ger sannolikheten att en bild matchar de kategorierna. Systemet kan poängsätta bilden med 60 procents sannolikhet att huvudobjektet är en hund och 20 procents sannolikhet att det är en katt eller en fisk. Datorn bedömer alltså att bilden med all sannolikhet innehåller en bild av en hund. Nyckelidén är att representera bilder i detta semantiska utrymme, säger Moreno. Detta verkar förbättra prestandan avsevärt.
Forskarnas system fick sin expertis genom att exponeras för tusentals bilder som inkluderade objekt som berg, blommor, människor, vatten och tigrar, såväl som de semantiska taggar som motsvarade objekten. Sedan testade forskarna hur väl systemet fungerade genom att exponera det för nya bilder som inkluderade föremål som ännu inte var märkta. Jämfört med en människas beskrivning av en scen gick systemet bra: en bild av en tiger i högt gräs fick systemet att hitta katt, tiger, växter, löv och gräs. En mänsklig bildtext inkluderade katt, tiger, skog och gräs. Och när forskarna jämförde deras systemtaggar med mer typiska innehållsbaserade tillvägagångssätt fann de att det gick bättre med cirka 40 procent. Det gav med andra ord färre ord som inte var tillämpliga på bilden.
Larry Zitnick, en bildsökningsforskare på Microsoft, säger att forskningen tänjer på gränserna för innehållsbaserad sökning för att se hur bra det kan fungera. Vad de gör är att analysera hur långt vi kan gå baserat på [att söka på en bild efter objekt], och det är riktigt bra när det gäller att trycka på kuvertet. Han misstänker också att tillvägagångssättet skulle kunna fungera bra för stora uppsättningar bilder, som de på Internet.
Zitnick tillägger att UCSD-resultaten kan vara bra för vissa typer av enkla objektsökningar i bilder. Det skulle dock inte fungera för andra sökningar, som att skilja den amerikanska huvudstadsbyggnaden från delstatsbyggnaden i Lincoln, NE. Visuella problem är väldigt svåra, och jag tror inte att någon lösning kommer att lösa allt, säger Zitnick.
Men forskarnas tillvägagångssätt kan vara användbart om det fälls in i befintlig sökmjukvara, säger Chuck Rosenberg, en mjukvaruingenjör från Google som arbetar med bildsökning. Om tillvägagångssättet inkorporeras i skrivbordssökning, kan tillvägagångssättet tillåta människor att söka efter bilder baserat på likheten i utseende. Men det skulle inte nödvändigtvis hjälpa människor att hitta bilder baserade på mer oklara begrepp som lycka. Till exempel, säger Rosenberg, kanske jag vill ha en bild på en lycklig familj som är ute på en kvällspromenad för att sätta på ett kort jag håller på att göra. För en dator att verkligen hitta den bilden enbart baserat på bildens innehåll … är bortom dagens teknik.
Vasconcelos från UCSD misstänker att det kommer att ta mer än fem år innan datorer kan identifiera svårare begrepp, som lycka, i bilder. Men det betyder inte att aktuell forskning inte kommer att vara användbar innan dess, säger han. Förväntningen måste vara att [tekniken] är mer som ett hjälpmedel, inte som ett svar.