211service.com
Vad är nästa steg för Netflix-algoritmerna?
När Netflix-priset tilldelades förra månaden, avslutade det tre år av intensiv konkurrens som syftade till att hitta en bättre algoritm för att förutsäga användarnas filmpreferenser.
Det vinnande laget, BellKors pragmatiska kaos , var den första som förutspådde Netflix-kundernas filmbetyg med 10 procent bättre noggrannhet än företagets interna system – en bedrift som många experter trodde skulle vara omöjlig när miljonpriset tillkännagavs. Netflix planerar att erbjuda en andrapris , den här gången för algoritmer som förutsäger filmpreferenser med hjälp av mer användarinformation, som kön, ålder och postnummer. Men experter säger att den verkliga utmaningen är att hitta sätt att tillämpa lärdomarna från den ursprungliga Netflix-utmaningen på andra rekommendationssystem.
I slutet av oktober träffas experter på området ACM-konferens om rekommendationssystem i New York City för att bland annat fråga vad man har lärt sig av Netflix-priset.
Deltagare i den ursprungliga Netflix-tävlingen tränade sina algoritmer med hjälp av en enorm samling data: mer än 100 miljoner betyg som täcker nästan 18 000 titlar från nästan en halv miljon prenumeranter. För att testa deras resultat testades deras algoritmer på en uppsättning data som underhålls av Netflix och hölls hemliga från tävlingarna för att förhindra fusk.
Netflix data presenterade flera formidabla hinder, förklarar Nicholas Ampazis , en biträdande professor vid avdelningen för finans- och ledningsteknik vid University of the Egean i Grekland, vars team, Ensemblen , avslutade tävlingen på andra plats. Datauppsättningen var enorm, men den var också sparsam, vilket innebär att kunderna vanligtvis betygsatte cirka 1 procent av filmerna de tittade på. Att spräcka 10-procentsbarriären innebar alltså att tänja på gränserna för befintliga modelleringstekniker i betydande grad, säger Ampazis.
Men utmaningarna från Netflix-data gjorde också tävlingen mycket värdefull, enligt Dessa Bertino , en annan medlem av The Ensemble. Forskare har vanligtvis lyxen att välja datamängder och att ha mer information om den datan. I Netflix-tävlingen tvingades de tävlande att tillämpa alla algoritmer på samma uppsättning frustrerande ojämna data från den verkliga världen. Eftersom människor var tvungna att använda en fast datamängd behövde de inte bara ta itu med fördelarna med en viss metod, utan också svagheterna med den, säger Bertino. Du kunde inte undgå det.
Gavin Potter , som fick erkännande för att han slog topp 10 av Netflix-priset 2008 under namnet Just a guy in a garage, säger att några viktiga realiseringar gjorde det möjligt för de vinnande algoritmerna att nå målet. Först strömlinjeformades en kraftfull algoritm för att söka efter mönster i dataset, en teknik som kallas kollaborativ filtrering, så att den kunde användas på den stora Netflix-datauppsättningen. För det andra lärde sig deltagarna att vara uppmärksamma på vissa nya typer av detaljer, till exempel det faktum att beställning av en film överhuvudtaget indikerar att de föredrar den, även om kunden inte betygsatt den. Information om datum och tid visade sig också vara betydande. Men den största insikten, konstaterar Potter, var att en blandning av olika tillvägagångssätt gav de bästa resultaten.
Blandningen av olika tillvägagångssätt har fått mycket uppmärksamhet i obduktioner av tävlingen, men John Riedl , professor i datavetenskap vid University of Minnesota, säger att han har blandade känslor om det. Folk som jag har letat efter idéer som skulle ge oss insikt i lösningens struktur, säger han, där vi verkligen förstår något nytt om inte bara vilken lösning som gör bra, utan varför det är så att den gör bra.
De vinnande modellerna har dock inte gett sådan insikt. Vad de föreslår, enligt Riedl, är att en kombination av många algoritmer med maskininlärningstekniker kan vara ett bra sätt att hantera stora datamängder i allmänhet. Men även det återstår att bevisa. Många av oss är oroliga för att det här tillvägagångssättet kanske inte är lika fruktbart någon annanstans, tillägger han.
Det som är tydligt är att många industrier skulle kunna dra nytta av de typer av modeller som byggts för konkurrenterna. Förutom andra rekommendationssystem online, föreslår Ampazis att sådana algoritmer kan användas i marknadshandel, bedrägeriupptäckt, spam-bekämpning och datorsäkerhet. Bertino säger att medlemmar i The Ensemble just nu funderar på hur de bäst kan använda den teknik som de genererade under tävlingen.
Potter arbetar med att tillämpa sin egen forskning för priset på onlinedejtingsajten JaNejMajB , som använder tvåvägsrekommendationsalgoritmer för att hitta användare som kanske vill träffa varandra. I synnerhet hoppas han kunna använda insikter från Netflix-priset för att göra förutsägelser baserade på användarnas implicita preferenser, till exempel vilka sidor de laddar.
Netflix-priset fokuserade mycket uppmärksamhet på rekommendationssystem och gjorde enorma framsteg på området. Den andra tävlingen verkar sannolikt göra detsamma. Men Riedl tror att andra komponenter i rekommendationssystem kan bli kvar i processen. Nu är det dags för oss som fält att fundera över vilka andra aspekter som kan ha försummats, säger han, och hur forskare kan göra framsteg på dessa aspekter på ett sätt som får konsekvenser för industrin.
Riedl ser till exempel ett behov av algoritmer som gör att rekommendationssystem kan använda allt större uppsättningar data, system som förklarar för en användare varför en viss rekommendation gjordes och bättre användargränssnitt. Han noterar också att även om Netflix-tävlingen gjorde imponerande framsteg när det gäller att tolka sparsam data, kan det i vissa fall vara vettigt att lära sig hur man designar webbplatser för att uppmuntra användare att ge mer data. Han hoppas att det kommande mötet i New York kommer att bidra till att definiera en bredare uppsättning frågor för forskare att ta itu med.