Använd en smartphones ögon och öron för att logga varje rörelse

Många av oss registrerar redan platserna vi besöker och saker vi gör genom att använda vår smartphone för att flitigt ta foton och videor och för att uppdatera konton på sociala medier. Ett företag ringde ARO är byggteknik som automatiskt samlar in en mer omfattande, automatisk registrering av ditt liv.

ARO ligger bakom en app som heter Saga som automatiskt registrerar varje plats som en person går. Nu testar ARO:s ingenjörer sätt att använda barometern, kamerorna och mikrofonerna i en enhet, tillsammans med dess platssensorer, för att ta reda på vad någon håller på med och var. Det tillvägagångssättet bör debutera i Saga-appen på sensommaren eller tidig höst.

Den nuvarande versionen av Saga, tillgänglig för Apple- och Android-telefoner, loggar automatiskt de platser en person besöker; den kan också samla in data om daglig aktivitet från andra tjänster, inklusive träningsspårningsapparna FitBit och RunKeeper, och kan hämta uppdateringar från sociala medier-konton som Facebook, Instagram och Twitter. När appen har körts på en telefon ett tag, producerar den infografik om användarens liv; till exempel kartlägga variationen i tider när han eller hon åker till jobbet på morgonen.

Programvara som körs på ARO:s servrar skapar och underhåller en modell av varje användares typiska rörelser. Dessa modeller driver Sagas livssammanfattande funktioner och hjälper appen att spåra en person hela dagen utan att det krävs att sensorer alltid är på, vilket skulle förbruka för mycket batteritid.

Om jag vet att du kommer att sitta på jobbet i nio timmar kan vi stänga av vår insamlingspolicy för att dra så lite ström som möjligt, säger Andy Hickl, VD för ARO. Saga kommer att vakna och kontrollera en persons plats om till exempel en telefons accelerometer visar att han eller hon är på resande fot; och det kan finnas bekräftelse från andra ledtrådar, som blandningen av Wi-Fi-nätverk inom telefonens räckvidd. Hickl säger att Saga vanligtvis förbrukar cirka 1 procent av en enhets batteri, betydligt mindre än många populära appar för e-post, kartläggning eller sociala nätverk.

Den förbrukningen är tillräckligt låg, säger Hickl, att Saga har råd att öka informationen som den samlar in genom att komma åt ytterligare telefonsensorer. Han säger att genom att ibland sampla data från en telefons barometer, kameror och mikrofoner kommer Saga att kunna logga detaljer som när en person gick in i ett konferensrum för ett möte eller besökte Starbucks, antingen ensam eller med sällskap.

Android-versionen av Saga började nyligen använda barometern som finns i många smartphones för att särskilja platser nära varandra. Tryckförändringar kan användas för att bättre särskilja liknande platser, säger Ian Clifton, som leder utvecklingen av Android-versionen av ARO. Det kan vara första våningen mot tredje våningen i samma byggnad, men också inuti ett fordon kontra utanför det, även i samma fysiska utrymme.

ARO testar internt versioner av Saga som samplar ljus och ljud från en persons miljö. Clifton säger att att använda en telefons mikrofon för att samla in korta akustiska fingeravtryck från olika platser kan vara en värdefull ytterligare signal om plats och tillåta slutsatser om vad en person gör. Ibland är vi inte säkra på om du är i Starbucks eller baren bredvid, säger Clifton. Med akustiska fingeravtryck, även om [plats]-sensoravläsningarna är liknande, kan vi urskilja det.

Att då och då prova ljuset runt en telefon med hjälp av dess kamera ger en annan typ av extra signal om en persons aktivitet. Om du går från omgivande ljus till naturligt ljus, skulle det säga att ditt sammanhang har förändrats, säger Hickl. Med hjälp av denna information borde det vara möjligt för Saga att lära sig skillnaden mellan t.ex. de olika områdena på ett kontor.

I slutändan kommer sampling av ljus-, ljud- och tryckdata att göra det möjligt för Sagas maskininlärningsmodeller att fylla i fler detaljer om en användares liv, säger Hickl. [När] jag går hem idag och tillbringar 12 timmar där, till Saga som ser ut som en vägg av ingenting, säger han och noterar att Saga kunde använda ljud- eller ljussignaler för att sluta sig till när han under den tiden hemma, till exempel tittade på TV. leka med sina barn eller äta middag.

Andrew Campbell , som leder forskning om smarttelefonavkänning vid Dartmouth College, säger att det är avgörande att lägga till mer detaljerade, automatiska livsloggningsfunktioner för att Saga eller någon liknande app ska ha en utbredd inverkan. Automatisk avkänning avlastar användaren från bördan med att mata in massor av data, säger han. Automatiska och kontinuerliga avkänningsappar som minimerar användarinteraktion kommer sannolikt att vinna.

Campbell säger att automatisk loggning, tillsammans med maskininlärning, borde göra det möjligt för appar att lära sig mer om användarnas hälsa och välfärd också. Han började nyligen analysera data från ett försök där 60 elever använde en app för livsloggning som han utvecklat, kallad Biorytm . Den använder olika datainsamlingsknep, inklusive att lyssna efter röster i närheten för att avgöra när en elev är i en konversation. Vi kan se många intressanta mönster relaterade till klassprestationer, personlighet, stress, sällskaplighet och hälsa, säger Campbell. Detta kan översättas till alla arbetsplatsers prestationssituationer, till exempel en startup, sjukhus, stort företag eller hemmet.

Campbells projekt kan forma hur han driver sina kurser, men det behöver inte tjäna pengar. ARO , finansierat av Microsofts grundare Paul Allen, måste i slutändan få livsavverkning att löna sig. Hickl säger att han redan har börjat hyra ut en del av ARO:s teknologi till andra företag som vill kunna identifiera sina användares plats eller aktiviteter. Samlad data från Saga-användare borde också vara värdefull, säger han.

Nu får vi en kritisk massa av användare inom vissa områden och vi kan göra en del trendspaning, säger han. USA:s fotbollslandslag var i Seattle och vi kunde se var aktiviteten värmdes upp runt staden. Hickl säger att uppgifterna från det evenemanget kan hjälpa stadens myndigheter eller företag att planera för framtida fotbollsevenemang i Seattle eller någon annanstans. Han tillägger att Saga skulle kunna ge liknande insikter i många andra annars osynliga mönster i det dagliga livet.

Dölj