211service.com
Maskinseende har lärt sig att använda radiovågor för att se genom väggar och i mörker
Actionigenkänningsutgång som visar figurer som sparkar och klappar på ryggen MED CSAIL
Maskinseende har ett imponerande rekord. Den har den övermänskliga förmågan att känna igen människor, ansikten och föremål. Den kan till och med känna igen många olika typer av handlingar, om än inte riktigt lika bra som människor ännu.
Men det finns gränser för dess prestanda. Maskiner har en särskilt svår tid när människor, ansikten eller föremål är delvis tilltäppta. Och när ljusnivåerna sjunker för långt blir de effektivt förblindade, precis som människor.
Men det finns en annan del av det elektromagnetiska spektrumet som inte är begränsad på samma sätt. Radiovågor fyller vår värld, oavsett om det är natt eller dag. De passerar lätt genom väggar och både överförs och reflekteras av människokroppar. Faktiskt har forskare utvecklat olika sätt att använda Wi-Fi-radiosignaler för att se bakom stängda dörrar.
Men dessa radiovisionssystem har vissa brister. Deras upplösning är låg; bilderna är bullriga och fyllda med distraherande reflektioner, vilket gör det svårt att förstå vad som händer.
I denna mening har radiobilder och bilder med synligt ljus kompletterande fördelar och nackdelar. Och det ökar möjligheten att använda den enes styrkor för att övervinna den andras brister.
Ange Tianhong Li och kollegor på MIT, som har hittat ett sätt att lära ett radiovisionssystem att känna igen människors handlingar genom att träna det med bilder i synligt ljus. Det nya radiovisionsystemet kan se vad individer har för sig i ett brett spektrum av situationer där avbildning av synligt ljus misslyckas. Vi introducerar en neural nätverksmodell som kan upptäcka mänskliga handlingar genom väggar och ocklusioner, och under dåliga ljusförhållanden, säger Li och co.
Lagets metod använder ett snyggt trick. Grundidén är att spela in videobilder av samma scen med hjälp av synligt ljus och radiovågor. Machine-vision-system kan redan känna igen mänskliga handlingar från bilder i synligt ljus. Så nästa steg är att korrelera dessa bilder med radiobilderna från samma scen.
Men svårigheten är att se till att inlärningsprocessen fokuserar på mänsklig rörelse snarare än andra egenskaper, som bakgrunden. Så Li och co introducerar ett mellansteg där maskinen genererar 3D-stickfigursmodeller som återger människornas handlingar på scenen.
Genom att översätta indata till en mellanliggande skelettbaserad representation kan vår modell lära av både visionsbaserade och radiofrekvensbaserade datauppsättningar, och låta de två uppgifterna hjälpa varandra. säger Li och co.
På så sätt lär sig systemet att känna igen handlingar i synligt ljus och sedan känna igen samma handlingar som sker i mörker eller bakom väggar, med hjälp av radiovågor. Vi visar att vår modell uppnår jämförbar noggrannhet med visionbaserade handlingsigenkänningssystem i synliga scenarier, men ändå fortsätter att fungera exakt när människor inte är synliga, säger forskarna.
Det är ett intressant arbete som har stor potential. De uppenbara applikationerna är i scenarier där bilder av synligt ljus misslyckas - i svagt ljus och bakom stängda dörrar.
Men det finns andra applikationer också. Ett problem med bilder i synligt ljus är att människor känns igen, vilket väcker integritetsproblem.
Men ett radiosystem har inte upplösningen för ansiktsigenkänning. Att identifiera handlingar utan att känna igen ansikten väcker inte samma integritetsrädsla. Det kan ge handlingsigenkänning till människors hem och möjliggöra integration i smarta hemsystem, säger Li och co. Det kan användas för att till exempel övervaka en äldre persons hus och varna lämpliga tjänster om ett fall. Och det skulle göra det utan större risk för integriteten.
Det är bortom kapaciteten hos dagens visionbaserade system.
Ref: arxiv.org/abs/1909.09300 : Att göra det osynliga synligt: Åtgärdsigenkänning genom väggar och ocklusioner