211service.com
Hur din enhet känner ditt liv genom bilder
Ny forskning inom neurala nätverk kan låta datorer identifiera våra dagliga handlingar mer exakt än apparna på marknaden som spårar saker som GPS-plats och puls. En ny datormodell har uppnått cirka 83 procents noggrannhet när det gäller att identifiera aktiviteterna den ser i verkliga bilder – och med bara lite träning skulle den kunna göra detta för alla användare som den stöter på.
Under ledning av Georgia Tech-studenterna Daniel Castro och Steven Hickson har forskare skapat ett artificiellt neuralt nätverk utformat för att identifiera scener i så kallade egocentriska fotografier tagna ur användarens synvinkel. Dessa kommer vanligtvis från bärbara kameror som Narrative Clip, MeCam, Google Glass och GoPro, men vanliga mobiltelefonfoton fungerar ofta också. Teamet gav nätverket sin skicklighet genom att träna det med en uppsättning av cirka 40 000 bilder tagna av en enda individ under en sexmånadersperiod. Den här dedikerade volontären kopplade manuellt varje bild till en aktivitet och bestämde sig naturligtvis för att använda 19 grundläggande aktivitetsetiketter. Dessa etiketter inkluderar bilkörning, tv-tittande, familjetid och hygien.
En separat inlärningsalgoritm kombinerar det neurala nätverkets gissningar med metadata om dagen och tiden då bilden togs. Detta gör att nätverket kan lära sig vanliga samband mellan aktiviteter och till och med göra förutsägelser om användarens kommande schema.
Det är den här ensembleliknande metoden, där vi tränade på en metod för djupinlärning, säger Hickson. Så det kan dra nytta av den djupa inlärningen och den grundläggande kontextuella informationen om dagliga aktiviteter. (Se 10 Breakthrough Technologies 2013: Deep Learning. )
Bärbara teknikutvecklare skulle kunna erbjuda mycket mer insiktsfulla tjänster med denna teknik. Forskarna föreställer sig en app som lägger märke till en användares mat- eller träningsvanor och föreslår möjliga justeringar. Och eftersom den kan lära sig ditt schema, kan den ge intelligenta förslag i farten, som att åka tidigt till jobbet på grund av en trafikrapport. Castro säger att det till och med kan låta en app omorganisera dina aktiviteter under dagen så att du kan ta dig igenom dem mer effektivt.
Microsofts forskare Gordon Bell har arbetat med så kallat e-minne, som syftar till att hjälpa mänskligt återkallande med datorer. Han säger att nyckeln är att ge maskiner möjligheten att känna igen innehållet i bilder. Vart och ett av dessa steg framåt [för maskininlärning] är otroligt värdefullt, säger Bell. Jag skulle se på [denna indexeringsförmåga] som något som kommer att förbättra ditt långtidsminne genom att kunna hitta saker i tidigare situationer. Han säger att e-minnesalgoritmer i framtiden kan söka i en mängd olika foton från mer än bara den egocentriska synvinkeln, så det har ett brett spektrum av tillämpbarhet.
Lyckligtvis behöver inte alla användare kompilera en databas med 40 000 bilder för att dra fördel av denna teknik. När teamet testade sin maskininlärningsensemble på två nya volontärer kämpade det med förändringarna i livsstil. Hickson säger att de bara gjorde en snabb studie om effekten av att finjustera modellen, och tränade den med bara en enda dags egocentriska bilder från sina två nya volontärer. Noggrannheten i resultaten ökade dramatiskt, säger han.
Som alltid med bärbara kameror finns det dock komplexa frågor om integritet och användarförtroende. Point-of-view fotografering (egografi) tillåter insikter som kan vara extremt användbara när de sätts i arbete för användare, men det kan också skapa ett mycket önskvärt mål för kriminella hackare och nyfikna reklamföretag. Praxis blir till och med politisk genom den spridda användningen av poliskameror för att automatiskt spela in interaktioner med misstänkta (se Kontrollera när kamerorna registrerar ).
Vissa av problemen kan försvinna om den hårdvara som behövs för att köra intensiva maskininlärningsalgoritmer i mobila enheter av konsumentklass blir tillgänglig. Om data inte längre behöver resa över Internet för bearbetning, säger forskarna, blir säkerheten mycket mer hanterbar. Castro säger att utmaningen är om vi kan ta reda på vad dessa integritetsproblem är nu så att vi inte stöter på problem senare, säg fem år senare, när dessa enheter är tillgängliga.
Forskarna undersöker möjligheten av en bildanalysalgoritm som skulle kunna komplettera deras genom att identifiera och ta bort privat information från bilder automatiskt - en tillfällig begäran från maskininlärningsgemenskapen som skulle ha verkat alldeles för ambitiös för bara några korta år sedan.