Den ultimata utmaningen för rekommendationsmotorer

Frasen Människor som köpte X, köpte också Y har blivit en av internettidens berömda moniker. Denna speciella form av ord kommer från rekommendationsmotorer som analyserar de produkter du har köpt tidigare för att föreslå produkter som du kanske gillar i framtiden, vanligtvis baserat på de val som gjorts av andra människor med liknande smak.

Bra rekommendationsmotorer kan öka försäljningen med flera procent. Det är därför de har blivit en av de nödvändiga funktionerna för onlinebutiker och tjänster.

Så det är inte svårt att förstå varför det finns ett stort intresse för att förbättra prestandan hos rekommendationsmotorer. Faktum är att 2006 erbjöd onlinefilmleverantören Netflix ett pris på 1 miljon dollar till alla som kunde förbättra sin rekommendationsalgoritm med mer än 10 procent. Priset togs i vederbörlig ordning bara tre år senare.

Så var kan nästa förbättringar komma ifrån?

Idag får vi ett slags svar tack vare Amy Zhangs arbete vid Massachusetts Institute of Technology i Cambridge och ett par kompisar. Dessa killar påpekar att när det kommer till onlinetjänster som filmleverantörer så delar flera individer ofta samma konto. Det betyder att valet av filmer och betygen på detta konto är de kombinerade valen av flera olika personer.

Frågan de tänkt besvara är om det är möjligt att identifiera delade konton helt enkelt genom att studera de betyg som är kopplade till det. Och i så fall, hur bör rekommendationerna ändras som svar?

De börjar med två datauppsättningar med filmrekommendationer. Den första består av över 4 miljoner rekommendationer från 171 000 användare på över 20 000 filmer. Denna datauppsättning har också ytterligare information om hushållsarrangemang för en delmängd av 600 användare. Av dessa har 272 hushåll två brukare, 14 har tre brukare och fyra har fyra brukare. Så rekommendationerna från dessa hushåll ger en grundläggande sanning om delade konton.

Zhang och co har också Netflix-dataset med betyg från nästan 500 000 användare för över 17 000 filmer.

De börjar sin analys med en matematisk behandling av hur man bryter ner en gemensam uppsättning betyg i dess beståndsdelar. Uppgiften handlar i huvudsak om att hitta ett antal sammanhängande kluster av rekommendationer som motsvarar antalet personer i hushållet.

I praktiken innebär det att man hittar kluster av liknande filmer med liknande betyg. En teknik som visar sig vara viktig är att det går att tilldela ett fåtal filmer till olika användare med högt självförtroende. Till exempel kan filmerna Toy Story, Monsters Inc och Frozen mycket väl ha setts och betygsatts av en annan individ än ett kluster av filmer inklusive Texas Chainsaw Massacre, Alien och The Exorcist.

I matematik är detta känt som ett subrymdklusterproblem och det finns flera standardmetoder för att lösa det. Zhang och co tillämpar först dessa metoder på de datamängder där hushållen är kända för att ta reda på vilken som fungerar bäst.

De tillämpade sedan denna metod på cirka 55 000 användare i Netflix-databasen som betygsatte mer än 500 filmer. Deras algoritm märkte 37 000 av dessa som konton för enstaka personer, 15 000 som konton för två personer och 3 000 som konton som används av 3 eller fler personer.

Det finns inget sätt att veta om denna uppdelning är korrekt eftersom grundsanningsinformationen inte är tillgänglig. Det är dock möjligt att studera dessa sammansatta konton för att se om de verkar rimliga. En visuell inspektion av konton som märkts som sammansatta ger några intressanta observationer, säger Zhang och co.

Till exempel fann de i många konton att uppföljare eller säsonger av samma TV-program var grupperade. De fann också att en användare skulle föredra filmer märkta som Science Fiction och Fantasy medan en annan kanske föredrar filmer märkta som romantiska. Det verkar ge Zhang och co förtroende för att deras algoritm är på rätt väg.

Den sista frågeadressen är hur man ändrar rekommendationer när algoritmen har fastställt att mer än en användare delar samma konto. Svaret är enkelt. Visa helt enkelt de bästa rekommendationerna för varje användare.

Det är ett intressant tillvägagångssätt även om det inte är klart hur mycket bättre dessa rekommendationer presterar jämfört med konventionella motorer när det gäller om de ökar försäljningen eller inte. Det är ett självklart mål för framtida forskning.

Intressant nog påpekar Zhang och co att detta tillvägagångssätt kan tillåta en enskild person att framstå som en sammansättning genom att medvetet inkludera betyg på filmer som de normalt inte skulle gilla. Att ändra eller utöka sin betygsprofil för att framstå som en sammansatt användare, i syfte att skymma, till exempel ens kön, är ett intressant forskningsämne, menar de.

Kanske kommer vi att se resultaten av denna forskning någon gång i framtiden.

Ref: arxiv.org/abs/1408.2055 : Gissa vem som betygsatt den här filmen: Identifiera användare genom subspace-kluster

Dölj