211service.com
Startup får datorer att läsa ansikten, söker syfte bortom annonser
Förra året satte sig mer än 1 000 personer i fyra länder och tittade på 115 tv-reklam, till exempel en med antropomorfiserade M&M-godisar som boogyade i en bar. Hela tiden pekade webbkameror på deras ansikten och strömmade bilder av deras uttryck till en server i Waltham, Massachusetts.
Ansiktskod : Med hjälp av bilder tagna från enkla webbkameror spårar Affectivas programvara rörelsen av muskler i läpparna, ögonbrynen och andra delar av ansiktet för att fastställa en persons känslomässiga tillstånd.
I Waltham utförde en algoritm som utvecklats av ett startup-företag som heter Affectiva vad som kallas ansiktskodning: den spårade paneldeltagarnas höjda ögonbryn, rynkade bryn, leenden, halvleenden, rynkor och leenden. (Se en video av tekniken i aktion nedanför denna berättelse eller här .) När dessa ansiktsdata senare slogs samman med verkliga försäljningsdata, visade det sig att ansiktsmätningarna kunde användas för att med 75 procents noggrannhet förutsäga om försäljningen av annonserade produkter skulle öka, minska eller förbli desamma efter att reklamfilmerna sänts. Som jämförelse kan undersökningar av paneldeltagares känslor om annonserna förutsäga produkternas försäljning med 70 procents exakthet.
Även om detta var en inkrementell förbättring statistiskt sett, återspeglade det en milstolpe inom området affektiv datoranvändning. Medan människor notoriskt har svårt att formulera hur de känner, är det nu klart att maskiner inte bara kan läsa några av deras känslor utan också gå ett steg längre och förutsäga den statistiska sannolikheten för senare beteende.
Med tanke på att marknaden för TV-annonser enbart i USA överstiger 70 miljarder dollar, är insikter från ansiktskodning en stor sak för affärsmän, säger Rosalind Picard, som leder den affektiva datorgruppen på MIT:s Media Lab och var med och grundade företaget; hon lämnade företaget tidigare i år men är fortfarande investerare.
Ändå har ansiktskodning ännu inte levererat de bredare, mer altruistiska visionerna från dess skapare. Att hjälpa till att sälja mer choklad är bra, men när kommer ansiktskodning att hjälpa personer med autism att läsa sociala signaler, öka lärarnas förmåga att se vilka elever som kämpar eller göra datorer empatiska?
Svar kan börja komma nästa månad, när Affectiva lanserar ett mjukvaruutvecklingskit som låter dess plattform användas för godkända appar. Förhoppningen, säger Rana el Kaliouby, företagets chief science officer och den andra medgrundaren (se Innovators Under 35: Rana el Kaliouby), är att sprida tekniken bortom marknadsföring. Även om hon inte ville nämna de faktiska eller potentiella partnerna, sa hon att företag kan använda vår teknik för allt från spel och underhållning till utbildnings- och lärmiljöer.
Tillämpningar som pedagogisk hjälp – att informera lärare när elever är förvirrade eller att hjälpa autistiska barn att läsa känslor i andras ansikten – var starkt i företagets uppfattning. Affectiva, som lanserades för fyra år sedan och nu har 35 anställda och 20 miljoner dollar i riskfinansiering, växte ur Picard-labbets manifest deklarerar att datorer skulle göra samhället en tjänst om de kunde känna igen och reagera på mänskliga känslor.
Under åren har labbet hånat prototypteknologier. Dessa inkluderade en tryckavkännande mus som kunde kännas när din hand knöt ihop i agitation; en robot som heter Kismet som kunde le och höja ögonbrynen; Galvactivator, en hudkonduktivitetssensor för att mäta hjärtslag och svettning; och ansiktskodningssystemet, utvecklat och förfinat av el Kaliouby.
Affectiva satsar på två initiala produkter: en handledsburen pryl som kallas Q-sensorn som kan mäta hudens konduktans, temperatur och aktivitetsnivåer (vilket kan vara indikatorer på stress, ångest, sömnproblem, kramper och vissa andra medicinska tillstånd); och Affdex, mjukvaran för ansiktskodning. Men medan Q-sensorn verkade visa ett tidigt löfte (se handledssensorn berättar hur stressad du är och sensorn upptäcker känslor genom huden), avbröt företaget i april produkten, och såg liten potentiell marknad utöver forskare som arbetar med applikationer som att mäta fysiologiska tecken som förebådar anfall. Det lämnar företaget med Affdex, som främst används av marknadsundersökningsföretag, inklusive Insight Express och Millward Brown, och konsumentproduktföretag som Unilever och Mars.
Nu, när företaget förbereder sitt utvecklingspaket, kan marknadsundersökningsarbetet ge en indirekt lön. Efter att ha tillbringat tre år med att sammankalla webbkamerabaserade paneler runt om i världen, har Affectiva samlat på sig en databas med mer än en miljard ansiktsreaktioner. Systemets noggrannhet kan bana väg för applikationer som läser känslorna i människors ansikten med hjälp av vanliga hemdatorer och bärbara enheter. Affectiva tar itu med ett enormt svårt problem, ansiktsuttrycksanalys i svåra och obegränsade miljöer, som en stor del av det akademiska samhället har undvikit, säger Tadas Baltrusaitis, doktorand vid University of Cambridge, som har skrivit flera uppsatser om ansiktskodning. .
Dessutom har Affectiva, genom att använda paneldeltagare från 52 länder, retat lektioner som är specifika för kön, kultur och ämne. Ansiktskodning har särskilt värde när människor är ovilliga att självrapportera sina känslor. Till exempel, säger el Kaliouby, när indiska kvinnor visades en annons för hudlotion, log var och en av dem när en man rörde vid sin frus mellanrum – men ingen av kvinnorna skulle senare erkänna eller nämna den scenen, än mindre erkänna att de hade njutit Det.
Utbildning kan vara mogen för tekniken. En mängd studier har visat potentialen; en av forskare vid University of California, San Diego – som har grundat en konkurrerande startup som heter emotionell — visade att ansiktsuttryck förutspådde den upplevda svårigheten för en videoföreläsning och elevens föredragna visningshastighet. En annan visade att ansiktskodning kunde mäta elevernas engagemang under en iPad-baserad handledningssession, och att dessa mått på engagemang i sin tur förutspådde hur eleverna senare skulle prestera på tester.
Sådan teknik kan vara särskilt användbar för studenter med inlärningssvårigheter, säger Winslow Burleson, biträdande professor vid Arizona State University, författare till en papper beskriver dessa potentiella användningar av ansiktskodning och andra tekniker. På samma sätt kan tekniken hjälpa läkare att avgöra om en patient förstår instruktionerna. Eller det kan förbättra datorspel genom att upptäcka spelarens känslor och använda den feedbacken för att förändra spelet eller förbättra en virtuell karaktär.
Sammantaget tyder insikterna från många sådana studier på en roll för Affdex i onlineklassrum, säger Picard. I ett riktigt klassrum har man en känsla av om eleverna är aktivt uppmärksamma, säger hon. När du går till onlineinlärning vet du inte ens om de finns där. Nu kan du mäta inte bara om de är närvarande och uppmärksamma, utan om du pratar – om du drar ett skämt, ler de eller ler de?
Ändå säger Baltrusaitis att många frågor kvarstår om vilka emotionella tillstånd hos elever som är relevanta och vad som bör göras när dessa tillstånd upptäcks. Jag tror att området kommer att behöva utvecklas lite ytterligare innan vi ser detta rullas ut i klassrum eller onlinekurser, säger han.
Det kommande året bör avslöja en hel del om huruvida ansiktskodning kan ha fördelar utöver TV-reklam. Affdex möter konkurrens från andra appar och nystartade företag, och även vissa marknadsförare förbli skeptisk att ansiktskodning är bättre än traditionella metoder för att testa annonser. Alla reaktioner uttrycks inte i ansiktet, och många andra mätverktyg hävdar att de läser människors känslor, säger Ilya Vedrashko, som leder en forskningsgrupp för konsumentintelligens vid Hill Holliday, en reklambyrå i Boston.
Men för varje nytt ansikte blir tekniken starkare. Det är därför el Kaliouby tror att det är redo att ta sig an större problem. Vi vill göra ansiktskodningstekniken allmänt förekommande, säger hon.