AI kan se när skådespelare kysser — och kanske när du också gör det

Kategori: Artificiell intelligens Postad 14 juni

Medan objektigenkänning i video har avancerat snabbt, har scendetektering, eller att veta vad som faktiskt händer på skärmen, släpat efter. Men att kunna analysera och känna igen åtgärder i filmer kan visa sig vara användbart för applikationer som videoredigering. Så Amir Ziai, en Stanford-student vid tidpunkten för forskningen och nu en senior dataforskare på Netflix, tog på sig att utveckla den senaste tekniken, särskilt i upptäcker Hollywood-kyssscener . Studien kan verka ganska lättsam eller fånig, men den har viktiga konsekvenser.

Ziai valde en undergrupp av 100 filmer och märkte deras olika icke-kyssande och kyssande scener mellan 10 och 20 sekunder långa. Han extraherade sedan bild- och ljudstillbilder för varje sekund av varje scen och använde dem för att träna en maskininlärningsalgoritm. Den resulterande modellen kunde identifiera vilka sekunder som avbildade kyssar och gruppera dem i scener, vilket uppnådde en hög nivå av noggrannhet.

Studien visar hur snabbt metoderna för att analysera film för specifika, till och med intima, handlingar har avancerat. Kombinera det med övervakningsfilmer, och konsekvenserna blir snabbt orwellska. Faktum är att i en ny rapport , slog ACLU larm om en framtid där kameraägare snabbt skulle kunna identifiera ovanligt beteende eller leta efter pinsamma ögonblick. Liksom deepfakes är det ytterligare ett exempel på en situation där teknologer bör tänka på konsekvenserna av sitt arbete.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.