Annonser som matchar en webbsidas bilder

Webbannonser hjälper till att subventionera gratis innehåll och tjänster och har gjort Google till den gigant som det är idag. Men programvaran som används för att skräddarsy dem efter en användares intressen kan bara göra detta genom att analysera orden på en webbsida.

Lärningsprocess: Ny programvara för annonsinriktning tränades för att känna igen funktionerna i bilder med hjälp av foton som laddats upp till Flickr.

Qiang Yang vid Hong Kong University of Science and Technology vill ändra på det. Han har utvecklat programvara som kan välja kontextuella annonser baserat på innehållet i bilder eller videor på en sida. Yang och kollegor från Shanghai Jiao Tong University i Kina presenterade sitt arbete på AAAI-konferens om artificiell intelligens i Atlanta förra veckan.

Många snabbt växande delar av webben, som Facebook eller Googles Picasa, är fyllda med användargenererade bilder. De kan bli en rik reklammöjlighet med rätt teknik, säger Yang. Många bilder i fotoalbum och videoscener på nätet har inga texter för att beskriva dem, säger han. Människor som bläddrar igenom sina egna eller andras fotoalbum online är en potentiell målgrupp för annonser. Idag, säger han, är det omöjligt att nå människor där det inte finns någon omgivande text.

För att matcha en annons med en bild konverterar gruppens programvara först bilden till en samling ord. Programvaran tränades för att göra detta genom att genomsöka runt 60 000 bilder på Flickr som har taggar lagt till av användare.

Varje ny bild kan sedan grovt sammanfattas med några få ord, och en andra algoritm använder dessa ord för att välja en annons att visa. I tester av tekniken matchades annonser till mer än 300 000 bilder som hittats via Microsofts MSN-sökmotor (före dess omprofilering till Bing) med hjälp av populära söktermer. Resultaten blev bra, säger Yang. Till exempel ledde ett foto av en lövgroda till att annonser valdes ut för husdjursmaterial. En av en båt och en strand döpte upp annonser för seglingssemester och båtskor.

Tillvägagångssättet är ett exempel på en maskininlärningsteknik som kallas överföringsinlärning, säger Yang. Transfer learning försöker lära sig i ett utrymme (text) och sedan applicera den inlärda modellen på ett mycket annorlunda funktionsutrymme (som bilder), säger han. Det syftar till att imitera mänskligt lärande när vi kan tillämpa vår inlärda kunskap i, säg, att spela schack, på en till synes annorlunda domän, såsom strategisk planering i näringslivet.

Bildigenkänning: Programvaran kan matcha reklam med bilder som den aldrig har sett tidigare baserat på vad de visar.

En panel av volontärer ombads att titta på bilder och annonserna som valts ut att följa med dem och utvärdera vilka annonser de ansåg vara relevanta nog att överväga att klicka på. Det testet visar att vi i genomsnitt kan producera en korrekt annons per tre föreslagna annonser, säger Yang. Han tror att detta är en tillräckligt hög framgångsfrekvens för att antyda att tillvägagångssättet skulle kunna fungera kommersiellt. När samma användare visades slumpmässigt utvalda annonser med bilder, ansågs bara en av 50 vara tillräckligt relevant för att klickas på.

Forskare vid Microsoft Research Asia har tidigare utvecklat ett system som använde bildanalys för att klassificera foton i en handfull kategorier för att förfina det textbaserade urvalet av reklam. Yangs mål, säger han, är att föra kontextuell reklam till sidor med lite eller ingen text. Detta skulle kräva programvara som kan klassificera bilder med hjälp av ett större ordförråd, som det han utvecklar.

Teamet arbetar för närvarande med att lägga till synonymordbokliknande funktioner till sitt system, så att det kan generera flera ord för att beskriva samma funktion i en bild, och därmed öka antalet relevanta annonser som kan hittas. Det är redan möjligt att få programvaran att fungera på enskilda videorutor. Gruppen arbetar också med att anpassa den för att fungera med videofilmer.

Det här tillvägagångssättet för kontextuell reklam är potentiellt mycket intressant för annonsörer, säger Debra Williamson, senioranalytiker på analysföretaget för digital marknadsföring och reklam. eMarknadsförare . På webben idag byggs reklam kring texten på en sida, även när media i centrum för människors uppmärksamhet är bilder eller video.

Om tekniken är tillräckligt tillförlitlig, skulle tillämpningen av den på video sannolikt ha större potential än för stillbilder, säger Williamson. För en lång video, säger hon, kan en kort beskrivning inte representera allt i filmen. Om du kan skanna vad som finns i videon kan du välja att annonser ska visas minut för minut baserat på vad som visas.

Dölj