211service.com
Twitters artificiella intelligens vet vad som händer i livevideoklipp
Just nu är det någon någonstans som livestreamar något intressant. Tack vare teknik som utvecklats av ett team av artificiell intelligensforskare på Twitter, kanske du snart kan hitta den.
Livestreaming blir allt mer populärt genom smartphoneappar som t.ex Periskop från Twitter, Meerkat , och senast, Facebook Live . Men livevideoinnehåll är vanligtvis inte taggat eller kategoriserat bra, ofta för att folk inte vet vad de kommer att spela in förrän kameran börjar rulla.
Twitters AI-team, känt som Bark , har utvecklat en algoritm som omedelbart kan känna igen vad som händer i ett liveflöde. Algoritmen kan till exempel avgöra om stjärnan i ett klipp spelar gitarr, demonstrerar ett elverktyg eller faktiskt är en katt som bjuder på det för tittarna.
Innehållet förändras alltid på Periscope, och mer allmänt på livevideor, säger Clement Farabet, som är teknikledare för Cortex. Farabet demonstrerade videoigenkänningstekniken för att MIT Technology Review, visar en skärm med cirka två dussin Periscope-flöden, alla taggade i realtid.
Att identifiera innehållet i livevideo är ett ganska imponerande trick. Forskare har gjort imponerande framsteg de senaste åren med algoritmer som kan identifiera objekt i fotografier, men det är mycket svårare att göra med en livevideo av varierande kvalitet. För att göra det omedelbart krävs också avsevärd datorkraft. Twitter byggde effektivt en skräddarsydd superdator helt gjord av grafikprocessorer (GPU) för att utföra videoklassificeringen och servera resultaten. Dessa chips är särskilt effektiva för de matematiska beräkningar som krävs för djupinlärning, men normalt sett är de bara en del av ett större datorsystem.
Det är en ganska utmaning även för statiska videor, och för runtime-videor måste de ha mycket processorkraft, säger Peter Brusilovsky , en professor vid University of Pittsburgh som studerar personalisering av innehåll.
Brusilovsky säger att det behövs bättre sätt att filtrera video. Videor är i allmänhet inte skumbara, säger han. Som ett resultat är rekommendation mycket viktig. Det är typ den saknade videon.
Att rekommendera videor innebär vanligtvis att man visar en persons klipp som har setts av någon annan som verkar ha liknande smak (en metod som kallas kollaborativ filtrering). Detta är dock en grov mätare av verkligt intresse, och det fungerar inte för innehåll som sänds live.
Cortex-teamet har ambitioner att utveckla ett sofistikerat rekommendationssystem för att hjälpa till att filtrera och kurera alla typer av innehåll som delas genom tjänsten, baserat på en användares tidigare aktivitet.
Tekniken för videoigenkänning som utvecklats av Cortex-teamet har ännu inte kommit in i någon av Twitters produkter, men den testas på Periscope, en app som ägs av Twitter som låter användare överföra livevideo från sina smartphones. Teamet använder en metod som kallas djupinlärning för att känna igen aktiviteten i klipp. Deep learning innebär att man tränar ett stort simulerat neuralt nätverk för att känna igen input från ett stort antal exempel. Exemplen tillhandahålls av personal som betalas för att titta på videor och lägga till nyckelord. Denna taggningsprocess ger en ganska komplex semantisk förståelse av videoklipp. Till exempel kan en video som visar en katt kategoriseras inte bara med katt utan även djur, kattdjur, däggdjur med mera. Detta erbjuder ett mer sofistikerat sätt att utforska klipp.
Livevideo håller snabbt på att bli en viktig del av det sociala medielandskapet.
Twitter förvärvade Periscope i januari 2015, innan appen ens hade lanserats, för en summa som enligt uppgift överstiger 50 miljoner dollar. Detta följde på framgången för Meerkat, en annan app knuten till Twitter. Facebook lanserade sin egen livevideotjänst tidigare under 2015, och företaget ökade funktionens framträdande plats tidigare denna månad genom att lägga till den på hemsidan varje användare ser.
Det finns ännu inga planer på att tjäna pengar på tekniken, och Periscope har för närvarande ingen reklam. Men det är inte svårt att föreställa sig hur ett sådant verktyg kan vara användbart för reklam, genom att algoritmiskt matcha annonser till innehållet i videor när de filmas och sänds. Allt eftersom fler och fler videor flyttas online kan algoritmen faktiskt hjälpa Twitter att skräddarsy annonser till sådant innehåll mycket mer effektivt. Den här månaden vann företaget rätten att livesända vissa NFL-bilder.
Ben Edelman , en docent vid Harvards Berkman Center och expert på onlinemedia och reklam, säger att tekniken som utvecklats av Twitter kan visa sig vara viktig för att filtrera bort upphovsrättsskyddat innehåll såväl som oönskat innehåll som pornografi eller våld.
Men Farabet är lika intresserad av att hitta saker som folk vill se. Att ha en förmåga att verkligen förstå vad man är intresserad av – helt oberoende av vem som producerade det eller när det producerades – är en grundläggande förmåga som vi verkligen vill ha, säger han.