211service.com
Mobiltelefoner som lyssnar och lär
Forskare använder allt oftare mobiltelefoner för att bättre förstå användarnas beteende och sociala interaktioner. Data som samlas in från en telefons GPS-chip eller accelerometer, till exempel, kan avslöja trender som är relevanta för att modellera spridningen av sjukdomar, fastställa personliga hälsovårdsbehov, förbättra tidshantering och till och med uppdatera sociala nätverk. Tillvägagångssättet, känt som reality mining, har också föreslagits som ett sätt att förbättra riktad reklam eller göra mobiltelefoner smartare: en enhet som vet att dess ägare är i ett möte kan till exempel automatiskt stänga av sin ringsignal.
Nu har en grupp vid Dartmouth College i Hanover, NH, skapat programvara som använder mikrofonen på en mobiltelefon för att spåra och tolka en användares aktivitet. Programvaran, som heter SoundSense , fångar upp ljud och försöker klassificera dem i vissa kategorier. Till skillnad från liknande mjukvara som utvecklats tidigare kan SoundSense känna igen helt okända ljud, och den körs också helt på enheten. SoundSense klassificerar automatiskt ljud som röst, musik eller omgivande brus. Om ett ljud upprepas tillräckligt ofta eller tillräckligt länge ger SoundSense det en hög ljudrankning och ber användaren att bekräfta att det är signifikant och erbjuder möjligheten att märka ljudet.
Dartmouth-teamet fokuserade på att övervaka ljud eftersom varje telefon har en mikrofon och eftersom accelerometrar endast ger begränsad information. När vi tänker på ljud tror vi vanligtvis inte att de också kan representera en plats som har en unik signatur, säger Andrew Campbell , professor i datavetenskap vid Dartmouth och en ledande forskare i projektet. Forskarna såg till att programmet är litet, så att det inte använder för mycket ström. För att hantera integritetsproblem designade de SoundSense så att information inte tas bort från enheten för bearbetning. Dessutom lagrar inte själva programmet råa ljudklipp. En användare kan också säga åt programvaran att ignorera alla ljud som anses vara förbjudna.
Vid testning kunde SoundSense-mjukvaran korrekt avgöra när användaren var på ett visst kafé, gick utanför, borstade tänderna, cyklade och körde i bilen. Den tog också upp ljudet från en bankomat och en fläkt i ett visst rum. Resultaten av experimenten kommer att presenteras denna vecka på MobiSys 2009 konferens i Krakow, Polen.
SoundSense-systemet är vårt första steg i att bygga ett system som kan lära sig [användarbeteende] på språng, säger Tanzeem Choudhury , en biträdande professor vid Dartmouth som också var ledare för projektet och en TR35-vinnare. Choudhury säger att det kommer att vara avgörande för praktiska tillämpningar att låta programvaran lära sig känna igen nya ljud. Ett system som kan känna igen ljud i en persons liv kan användas för att söka efter andra som har samma preferenser, säger hon. Att använda ljud för att klassificera händelser kan ge användarna feedback om deras dagliga aktiviteter för hälso- eller tidshanteringsapplikationer, tillägger hon.
Telefonerna har öron: SoundSense lyssnar på en användares miljö genom en telefons mikrofon och lär sig att koppla vissa ljud till aktiviteter.
Kurt Partridge , en forskare vid Palo Alto Research Center, som också har skapat mobiltelefonprogramvara som spårar beteende, tror att SoundSense-projektet utnyttjar en underutnyttjad resurs. Jag tror inte att fältet riktigt har insett hur lite kraft ljudbaserad aktivitetsavkänning tar och hur informativ den kan vara, säger Partridge. Ljud kan särskilja så många fler aktiviteter [och] lägger till en social aspekt till kontextavkänning som inte är möjligt annars.
Dan Ellis , en docent vid Columbia University, som har forskat på användningen av kontinuerliga ljudinspelningar, säger att denna typ av livsloggning en dag skulle kunna användas lika rutinmässigt som utkorgen i ett e-postprogram. Kanske tittar du inte i din utkorg så ofta, men med de rätta verktygen för att snabbt hitta det du letar efter är det väldigt bekvämt att hålla ett register över alla e-postmeddelanden du någonsin skickat, säger han. En nästan kontinuerlig, ljudbaserad inspelning som samlats in av en personlig enhet kan vara önskvärd på liknande sätt.