211service.com
Kommer artificiell intelligens att vinna bildtexttävlingen?
När användare av sociala medier laddar upp fotografier och textar dem, märker de inte bara deras innehåll. De berättar en historia som ger bilderna sammanhang och ytterligare känslomässig betydelse.
TILL tidning publicerad av Microsoft Research beskriver ett bildtextningssystem som efterliknar människors unika stil av visuellt berättande. Företag som Microsoft, Google och Facebook har ägnat flera år åt att lära datorer att märka innehållet i bilder, men denna nya forskning tar det ett steg längre genom att lära ett neuralt nätverksbaserat system att sluta sig till en berättelse från flera bilder. Någon gång skulle det kunna användas för att automatiskt generera beskrivningar för uppsättningar bilder, eller för att föra mänskligt språk till andra tillämpningar för artificiell intelligens.
Istället för att ge intetsägande eller vanilj beskrivningar av vad som händer i bilderna, sätter vi in dem i ett större narrativt sammanhang, säger Frank Ferraro, en doktorand vid Johns Hopkins University som var medförfattare till uppsatsen. Du kan börja dra troliga slutsatser om vad som kan hända.
Tänk på ett album med bilder som visar en grupp vänner som firar en födelsedag på en bar. Några av de tidiga bilderna visar människor som beställer öl och dricker den, medan en senare bild visar någon som sover på en soffa.
Ett bildtextsystem kanske bara säger 'En person som ligger på en soffa', säger Ferraro. Men ett berättande system kanske kan säga, 'Tja, med tanke på att jag tror att de här människorna var ute och festade eller ute och åt och drack, då kan den här personen vara full.'
Ett exempel som listas i tidningen inkluderar en serie med fem bilder. De visar en familj samlad runt ett bord, en tallrik med skaldjur, en hund och bilder från stranden. Det neurala nätverket beskrev dem med en berättelseläsning, Familjen samlades för en matlagning. De hade mycket utsökt mat. Hunden var glad över att vara där. De hade en fantastisk tid på stranden. De tog till och med ett dopp i vattnet.
Teamet, som leddes av Microsoft-forskaren Margaret Mitchell och inkluderade Microsoft-praktikanter som Ferraro och en forskare från Facebook AI, förvandlade det som kallas ett sekvens-till-sekvens återkommande neuralt nätverk till en historieberättare genom att träna det med bilder hämtade från Flickr. De lät hjälpare skriva bildtexter för enskilda bilder och för serier av bilder i specifika sekvenser.
Ett tillvägagångssätt liknande det som användes för att märka innehållet i enstaka foton gav berättelser som var för generiska. För att motverka detta utvecklade teamet ett sätt för nätverket att välja ord som sannolikt skulle vara visuellt framträdande. De krävde också att systemet inte upprepade ord.
Berättande är en viktig del av att vara människa, säger Stanford Vision Lab-direktör Fei-Fei Li, som inte bidrog till forskningen. Teknik som kan imitera människors tekniker för att dokumentera berättelser måste kunna korsreferera objekt och karaktärer som ses i flera bilder och härleda relationer mellan människor, objekt och platser.
Den publicerade artikeln är bara början på den här typen av teknik, säger Li. Men det är ett bra steg framåt att börja ta sig an ett så ambitiöst projekt. Jag ser fram emot mer uppföljningsarbete från dessa författare och andra.