211service.com
Nästa stora steg för AI? Förstå video
En skärmdump från en av videorna i datauppsättningen Moments in Time, som kan hjälpa AI att bättre förstå videoinnehåll. Moments in Time Dataset
För en dator är det ganska smart att känna igen en katt eller en anka på en stillbild. Men ett styvare test för artificiell intelligens kommer att vara förståelse när katten rider en Roomba och jagar ankan runt ett kök .
MIT och IBM släppte denna vecka en stor datauppsättning av videoklipp som mödosamt kommenterade med detaljer om åtgärden som utförs. De Moments in Time Dataset innehåller tre sekunders utdrag av allt från fiske till breakdans.
Många saker i världen förändras från en sekund till en annan, säger Aude Oliva , en huvudforskare vid MIT och en av personerna bakom projektet. Om du vill förstå varför något händer, ger rörelse dig mycket information som du inte kan fånga i en enda bildruta.
Den nuvarande boomen inom artificiell intelligens utlöstes delvis av framgång med att lära datorer att känna igen innehållet i statiska bilder genom att träna djupa neurala nätverk på stora märkta datamängder (se The Revolutionary Technique That Quietly Changed Machine Vision Forever ).
AI-system som tolkar video idag, inklusive systemen som finns i vissa självkörande bilar, förlitar sig ofta på att identifiera objekt i statiska ramar snarare än att tolka åtgärder. På måndagen lanserade Google ett verktyg som kan känna igen objekten i video som en del av sin Cloud Platform, en tjänst som redan inkluderar AI-verktyg för att bearbeta bild, ljud och text.
Nästa utmaning kan vara att lära maskiner att förstå inte bara vad en video innehåller, utan också vad som händer i filmen. Det kan ha några praktiska fördelar, kanske leda till kraftfulla nya sätt att söka, kommentera och bryta videofilmer. Det syftar också till att ge robotar eller självkörande bilar en bättre förståelse för hur världen runt dem utvecklas.
MIT-IBM-projektet är i själva verket bara en av flera videodatauppsättningar utformade för att stimulera framsteg i träningsmaskiner för att förstå handlingar i den fysiska världen. Förra året, till exempel, släppte Google en uppsättning av åtta miljoner taggade YouTube-videor kallas YouTube-8M. Facebook utvecklar en kommenterad datamängd med videoåtgärder som kallas uppsättningen Scener, Actions och Objects.
Olga Russakovsky, biträdande professor vid Princeton University som är specialiserad på datorseende, säger att det har visat sig svårt att utveckla användbara videodatauppsättningar eftersom de kräver mer lagring och datorkraft än stillbilder gör. Jag är exalterad över att leka med denna nya data, säger hon. Jag tycker att längden på tre sekunder är bra – den ger tidsmässigt sammanhang samtidigt som lagrings- och beräkningskraven är låga.
Andra tar ett mer kreativt tillvägagångssätt. Tjugo miljarder neuroner , en startup baserad i Toronto och Berlin, skapade en anpassad datamängd genom att betala crowdsourcede arbetare för att utföra enkla uppgifter. En av företagets grundare, Roland Memisevic , säger att den också använder ett neuralt nätverk som är utformat specifikt för att bearbeta information om tidssyn.
Nätverk som tränas på de andra datamängderna kan berätta om videon visar en fotbollsmatch eller en fest, säger han. Våra nätverk kan berätta om någon precis kommit in i rummet.
Danny Gutfreund, en forskare på IBM som samarbetade i projektet, säger att för att kunna identifiera åtgärder effektivt kommer det att krävas att maskiner lär sig om, säg, en person som vidtar en åtgärd och överför denna kunskap till ett fall där, säg, ett djur utför samma åtgärd. Framsteg inom detta område, känt som transfer learning, kommer att vara viktiga för AI:s framtid. Låt oss se hur maskiner kan göra den här överföringsinlärningen, den här analogin, som vi gör väldigt bra, säger han.
Gutfreund tillägger att tekniken kan ha praktiska tillämpningar. Man skulle kunna använda den för äldreomsorg, berätta om någon har ramlat eller om de har tagit sin medicin, säger han. Du kan tänka på enheter som hjälper blinda människor.