Facebook vill att maskiner ska se världen genom våra ögon

MIT Technology Review | Envato

Vi tar det för givet att maskiner kan känna igen vad de ser i foton och videor. Den förmågan vilar på stora datamängder som ImageNet , en handkurerad samling av miljontals foton som används för att träna de flesta av de bästa bildigenkänningsmodellerna under det senaste decenniet.

Men bilderna i dessa datamängder skildrar en värld av kurerade objekt – ett bildgalleri som inte fångar vardagens röra som människor upplever det. Att få maskiner att se saker som vi gör kommer att ta ett helt nytt tillvägagångssätt. Och Facebooks AI-labb vill ta ledningen.

Det är att kickstarta ett projekt, kallat Ego4D , att bygga AI:er som kan förstå scener och aktiviteter sedda ur ett förstapersonsperspektiv – hur saker och ting ser ut för de inblandade, snarare än för en åskådare. Tänk rörelsesuddiga GoPro-filmer tagna i händelsernas centrum, istället för väl inramade scener tagna av någon vid sidan av. Facebook vill att Ego4D ska göra för förstapersonsvideo vad ImageNet gjorde för foton.

Relaterad berättelse

Varför Facebook använder Ray-Ban för att göra anspråk på våra ansikten

För att bygga metaversen behöver Facebook att vi vänjer oss vid smarta glasögon.

Under de senaste två åren har Facebook AI Research (FAIR) arbetat med 13 universitet runt om i världen för att sammanställa den största datamängden någonsin med förstapersonsvideo – specifikt för att träna djupinlärningsmodeller för bildigenkänning. AI:er utbildade på datamängden kommer att bli bättre på att kontrollera robotar som interagerar med människor, eller tolka bilder från smarta glasögon. Maskiner kommer att kunna hjälpa oss i vårt dagliga liv endast om de verkligen förstår världen genom våra ögon, säger Kristen Grauman på FAIR, som leder projektet.

Sådan teknik kan stödja människor som behöver hjälp i hemmet, eller vägleda människor i uppgifter som de lär sig att slutföra. Videon i denna datamängd är mycket närmare hur människor observerar världen, säger Michael Ryoo, en datorseendeforskare vid Google Brain och Stony Brook University i New York, som inte är involverad i Ego4D.

Men de potentiella missbruken är tydliga och oroande. Forskningen finansieras av Facebook, en social mediajätte som nyligen anklagats i den amerikanska senaten för sätta vinster framför människors välbefinnande – som bekräftats av MIT Technology Review egna utredningar .

Affärsmodellen för Facebook och andra Big Tech-företag är att ta bort så mycket data som möjligt från människors onlinebeteende och sälja den till annonsörer. Den AI som beskrivs i projektet skulle kunna utöka räckvidden till människors vardagliga offlinebeteende, avslöja vilka föremål som finns runt ditt hem, vilka aktiviteter du gillade, vem du spenderade tid med och till och med var din blick dröjde sig kvar – en oöverträffad grad av personlig information.

Det finns arbete med integritet som måste göras när du tar det här ur världen av utforskande forskning och till något som är en produkt, säger Grauman. Det arbetet skulle till och med kunna inspireras av detta projekt.

FACEBOOK

Den största tidigare datamängden av förstapersonsvideo består av 100 timmars bilder av människor i köket. Ego4D-datauppsättningen består av 3 025 timmar video inspelad av 855 personer på 73 olika platser i nio länder (USA, Storbritannien, Indien, Japan, Italien, Singapore, Saudiarabien, Colombia och Rwanda).

Deltagarna hade olika åldrar och bakgrund; några rekryterades för sina visuellt intressanta yrken, som bagare, mekaniker, snickare och landskapsarkitekter.

Tidigare datamängder bestod vanligtvis av semi-skriptade videoklipp som bara var några sekunder långa. För Ego4D bar deltagarna huvudmonterade kameror i upp till 10 timmar åt gången och fångade förstapersonsvideo av dagliga aktiviteter utan manus, inklusive att gå längs en gata, läsa, tvätta, shoppa, leka med husdjur, spela brädspel och interagerar med andra människor. En del av filmen innehåller också ljud, data om var deltagarnas blick var fokuserad och flera perspektiv på samma scen. Det är den första datamängden i sitt slag, säger Ryoo.

FAIR har också lanserat en uppsättning utmaningar som man hoppas ska fokusera andra forskares ansträngningar på att utveckla denna typ av AI. Teamet förutser algoritmer inbyggda i smarta glasögon, som Facebook tillkännagav nyligen Ray-Bans , som registrerar och loggar bärarnas dagliga liv. Det betyder att metaversappar med förstärkt eller virtuell verklighet i teorin skulle kunna svara på frågor som Var är mina bilnycklar? eller Vad åt jag och vem satt jag bredvid på mitt första flyg till Frankrike? Augmented-reality-assistenter kan förstå vad du försöker göra och erbjuda instruktioner eller användbara sociala ledtrådar.

Det är sci-fi-grejer, men närmare än man tror, ​​säger Grauman. Stora datamängder påskyndar forskningen. ImageNet drev några stora framsteg på kort tid, säger hon. Vi kan förvänta oss samma sak för Ego4D, men för förstapersonsvyer av världen istället för internetbilder.

När bilderna väl hade samlats in, tillbringade crowdsourcede arbetare i Rwanda totalt 250 000 timmar med att titta på tusentals videoklipp och skriva miljontals meningar som beskriver scenerna och aktiviteterna som filmats. Dessa kommentarer kommer att användas för att träna AI:er att förstå vad de tittar på.

Relaterad berättelse

Felfyllda datamängder förvränger vår känsla av hur bra AI verkligen är

Vår förståelse för framsteg inom maskininlärning har färgats av felaktiga testdata.

Var denna teknik hamnar och hur snabbt den utvecklas återstår att se. FAIR planerar en tävling utifrån sina utmaningar i juni 2022. Det är också viktigt att notera att FAIR, forskningslabbet, inte är samma sak som Facebook, media megalodon. Faktum är att insiders säger det Facebook har ignorerat tekniska korrigeringar som FAIR har kommit med för sina giftiga algoritmer . Men Facebook betalar för forskningen, och det är oprigtigt att låtsas som att företaget inte är särskilt intresserad av dess tillämpning.

Sam Gregory på Witness, en människorättsorganisation som specialiserar sig på videoteknik, säger att denna teknik kan vara användbar för åskådare som dokumenterar protester eller polisövergrepp. Men han tror att dessa fördelar uppvägs av oro kring kommersiella tillämpningar. Han konstaterar att det är möjligt att identifiera individer utifrån hur de håller i en videokamera. Gaze-data skulle vara ännu mer avslöjande: Det är en mycket stark indikator på intresse, säger han. Hur kommer blickdata att lagras? Vem kommer det att vara tillgängligt för? Hur kan det bearbetas och användas?

Facebooks rykte och kärnverksamhetsmodell ringer många varningsklockor, säger Rory Mir på Electronic Frontier Foundation. Vid det här laget är många medvetna om Facebooks dåliga meritlista när det gäller integritet och deras användning av övervakning för att påverka användare – både för att hålla användare fast och för att sälja inflytandet till sina betalande kunder, annonsörerna. När det kommer till förstärkt och virtuell verklighet söker Facebook en konkurrensfördel, säger Mir: Det är viktigt att utöka mängden och typerna av data som det samlar in.

På frågan om sina planer var Facebook föga förvånande fåordig: Ego4D är ren forskning för att främja framsteg i det bredare forskarsamhället, säger en talesperson. Vi har inget att dela idag om produktapplikationer eller kommersiell användning.

Dölj