Programvaran lär sig att tagga foton

Amerikanska forskare har släppt ett nytt onlineprogram för att automatiskt tagga bilder efter deras innehåll. I sitt första verkliga test bearbetade programmet tusentals allmänt tillgängliga bilder tillgängliga på fotodelningssidan Flickr . Minst en korrekt tagg genererades för 98 procent av alla analyserade bilder.

Den nya programvaran, som heter ALIPR (Automatic Linguistic Indexing of Pictures), använder en kombination av statistiska tekniker för att bearbeta en bild och tilldela den en sats på 15 ord, ordnade i ordning efter upplevd relevans. Dessa ord kan referera till ett specifikt föremål i bilden, till exempel en person eller bil, eller till ett mer allmänt tema, som utomhus eller konstgjorda.

För människor är det bedrägligt enkelt att dechiffrera en bild. Och ändå för datorer, som kan sortera igenom miljontals textdokument med blixtsnabb hastighet och precision, är det fortfarande en djävulskt svår uppgift att identifiera innehållet i en bild.

Att känna igen vad en bild handlar om semantiskt är ett av de svåraste problemen inom AI, säger Jia Li, en matematiker vid Pennsylvania State University, i State College, som skapade programvaran tillsammans med kollegan James Wang, en medlem av College of Information Sciences och Teknologi. Objekt i den verkliga världen är 3D, förklarar Li. När de visas i en bild kan de variera mycket i färg, form, gest, storlek och position, och en dator har vanligtvis inga förkunskaper om variationerna.

Eftersom en komplex förståelse av världen förblir bortom datorernas förmåga, behövs mer effektiva synbearbetningsalgoritmer för att hjälpa dem att efterlikna mänsklig vision och intelligens.

ALIPR analyserar en bild pixel för pixel och använder en ny statistisk metod för att beräkna sannolikheten för att ett visst ord kan beskriva dess innehåll. Detta innebär att man undersöker fördelningen av färg och textur i bilden och jämför dessa funktioner med en lagrad databas med ord och bilder. Li och Wang tränade sitt program med hjälp av en kommersiell databas som innehåller cirka 50 000 bilder som redan hade taggats.

Nyligen testade de ALIPR på 5 411 tidigare osynliga bilder tillgängliga på den populära bilddelningssajten Flickr. För 51 procent av dessa bilder dök det första ordet som genererades av ALIPR upp i användarnas taggar. Programmet producerade också minst ett korrekt ord 98 procent av tiden. Forskarna använde bilder som gjordes allmänt tillgängliga av Flickr-användare, som också var öppet tillgängliga via Flickrs eget applikationsprogrammeringsgränssnitt.

Bättre mjukvara för bildigenkänning kan ha en rad applikationer, säger Li. Det kan till exempel förbättra sökmotorer på Internet eller automatiskt tagga digitala bildsamlingar. Li tror att det också kan hjälpa forskare att sortera igenom stora mängder visuell information: Bildklassificering är ibland ett behov i vetenskapliga studier. Utan datorhjälp måste forskare klassificera bilder manuellt, och denna process kan vara långsam och hamna bakom den höga genomströmningen av nya bilder.

De underliggande algoritmerna kan kanske lämpa sig för olika andra svåra beräkningsuppgifter. Liknande tillvägagångssätt kan tillämpas på videoanalys och eventuellt andra problem, tillägger Li.

Louis von Ahn , en biträdande professor i datavetenskap vid Carnegie Mellon University i Pittsburgh, PA, säger att forskningen är ett steg i rätt riktning men att programvarans noggrannhetsgrad måste förbättras. Han noterar att bilder på sajter som Flickr ofta innehåller mycket liknande material. Sanningen är att de här bilderna i stort sett handlar om samma sak – folk tar oftast bilder på andra människor, säger han. Så bara att använda ordet 'människor' taggar redan en stor andel av bilderna korrekt.

Von Ahn tror också att människor kan spela en större roll i träningen av synigenkänningsalgoritmer. Han driver en sida som heter Peekaboom som förvandlar taggning av bilder till ett spel för två onlinespelare. När en bild långsamt avslöjas måste varje spelare tävla för att hitta rätt tagg för den. Detta hjälper till att träna von Ahns programvara att identifiera bilder genom att fokusera på viktiga delar. Hittills har cirka 100 000 enskilda bilder klassificerats med Peekaboom, säger von Ahn.

Alexander Berg , en expert på datorseende baserad vid University of California, i Berkley, håller med om att människor kan hjälpa datorer att förstå komplexa data bättre. Han menar att taggarna som visas på webbplatser som Flickr och YouTube, såväl som på många bloggar och nyhetswebbplatser, kan visa sig vara avgörande för denna strävan i framtiden. Generellt sett är bild- och videosökning ett område som kräver stora framsteg, säger Berg. Mer och mer data finns online med en viss mängd mänsklig märkning.

Det är en idé som välkomnas av Li: Ju mer tillförlitlig data vi kan komma åt och använda, desto bättre.

Dölj