AI läser mänskliga känslor. Borde det?

AI kan läsa ditt känslomässiga svar på reklam och dina ansiktsuttryck i en anställningsintervju. Men om den redan kan göra allt detta, vad händer sedan? I del två av en serie om emotion AI utforskar Jennifer Strong och teamet på MIT Technology Review konsekvenserna av hur det används och vart det är på väg i framtiden.

Vi träffas:

• Shruti Sharma, VSCO
• Gabi Zijderveld, Affectiva
• Tim Van Goethem, Harman
• Rohit Prasad, Amazon
• Meredith Whittaker, NYU:s AI Now Institute

Krediter:

Det här avsnittet rapporterades och producerades av Jennifer Strong, Karen Hao, Tate Ryan-Mosley och Emma Cillekens. Vi fick hjälp av Benji Rosen. Vi är redigerade av Michael Reilly och Gideon Lichfield.

Hela avsnittet transkription:

Jennifer Strong : I den här eran av Covd-19 är så många av de relationer och upplevelser vi en gång upplevde personligen nu förmedlade av teknik. Oavsett om du arbetar hemifrån, hjälper till att utbilda barn från dina egna väggar, eller som så många av oss, gör både och, en ny konstant som förmodligen inte försvinner är videosamtalet. Oavsett om du är i ett Zoom-rum, Google Meet eller något annat är verkligheten sannolikt här för att stanna även efter att det här ögonblicket har passerat. Och det är något med den här upplevelsen som känns distanserad och frånkopplad. Som om du kommunicerar genom ett filter. Enkla konversationer avbrutna av internetfel eller förlorade i översättning. Tänk om den här tekniken kunde användas för att förbättra interaktioner, snarare än att tysta dem? Tänk om det kunde svara på ditt kroppsspråk, dina röstintonationer, för att hjälpa dig att förmedla mer än bara ord? Det är något Affectiva-grundaren Rana el Kaliouby antydde när vi pratade för vårt senaste avsnitt.

Rana el Kaliouby : Där jag presenterar för att säga hundra avlägsna personer, om det vore en riktig live-event, skulle jag riffa bort energin från människorna i rummet och jag kan inte göra det online. Och det är, det är verkligen smärtsamt och jag hatar det. [skrattar] Så jag fortsätter att föreställa mig som en realtidsgraf över engagemangsnivå, nivå av skratt, kanske liknande en emoji-ström eller något som bara ger människor en känsla av denna delade upplevelse.

Jennifer Strong : Hennes företag och många andra skyndar sig att arbeta med den här typen av möjligheter, men mycket av tekniken som skulle driva sådana saker används redan ofta på oväntade sätt. Som att mäta ansiktsuttryck hos personer som har drabbats av en stroke.

Gabi Zijderveld : Det är mycket socialt stigma kopplat till det eftersom folk tror att de här människorna ser arga ut eller att de kisar, men de fick en stroke och kan inte le. Vanligtvis mäter kirurger huruvida deras återuppbyggnad av leenden är framgångsrik eller inte genom att kittla sina patienter och sedan börjar de skratta och de använder en linjal och mäter millimeterrörelser.

Jennifer Strong : Och en kirurg tyckte att den metoden var löjlig.

Gabi Zijderveld : Så, med hjälp av vår känslomässiga AI byggde han ett mjukvarusystem för att jämföra och mäta hur framgångsrik han är och återuppbygga patienternas leenden.

Jennifer Strong: Jag heter Jennifer Strong och i del två av vår serie som utforskar emotion AI tittar vi på hur det redan tillämpas och vart det kan leda oss i framtiden.

[VISA ID]

Shruti Sharma : Ok, så jag ska dela min skärm här. Låt mig veta om du kan se den.

Jennifer Strong : Shruti Sharma är senior ingenjörschef för maskininlärning på fotoappen som heter VSCO.

Shruti Sharma : Och så du ser precis dessa orange persienner i ett mörkt svart utseende rum. Och bilderna som är relaterade som dyker upp är en slags mystisk känsla av spel av ljus och mörker och ljus och skuggor, i huvudsak.

Jennifer Strong : Dessa foton valdes av Ava som är en AI som bedömer bilder och kategoriserar dem efter humör och känslor. En typ av sortering som förr gjordes av människor. Och vi pratar inte om strandlandskap som faller i samma hög, eller en hel massa kattbilder grupperade. Detta är mycket mer nyanserat. Jag förväntade mig inte detta. Det är inte bara samma nyans av färg, det framkallar verkligen samma typ av känsla från foto till foto.

Shruti Sharma : Så för oss är målet att känna igen stämningen och känslan eller känslan i ett foto i huvudsak att fånga den där essensen som bara en människa annars skulle kunna se. Vår maskininlärningsteknik, Ava, ser inte bara på bildens innehåll, utan också attribut som är mycket specifika för fotografi som bidrar till dessa känslor och känslor som ett foto producerar hos människor... saker som komposition, tagningsstil , estetisk.

Jennifer Strong : Denna app är en kreativ plattform för fotografer.

Shruti Sharma : Det faktum att alla dessa bilder har en känsla av att det händer mer här än vad vi ser på bilden. Det är svårt att säga vad som pågår fullt ut, och det finns liksom känslan av mystik här som framkallas. Det är en väldigt personlig känsla som fotografier väcker och att en maskin ska kunna sortera ihop bilder utifrån det ger nästan glädje i mitt hjärta. [skratt]

Jennifer Strong : Till skillnad från andra tillämpningar av denna teknik, om AI missar en kategori eller en klassificering är insatserna här ganska låga.

Shruti Sharma : Vilket jag tycker också är det fina med det. Höger? Är maskinen som att faktiskt göra ett fel eller ger den dig bara ett annat perspektiv? Och jag tror att det är lite av båda ibland.

Jennifer Strong : Men att sortera bilder är bara toppen av isberget.

Gabi Zijderveld : Så, om du kunde klicka på det...

Karen Hao : Okej.

Gabi Zijderveld : Och det är bäst om du kör, för då kan du prova demot.

Jennifer Strong : Gabi Zijderveld är marknadschef på Affectiva. Hon går min kollega, Tech Reviews senior AI-reporter Karen Hao, genom en demonstration av en av deras produkter som kan läsa känslor.

Gabi Zijderveld : Så det här är i grunden en förenklad version av hur vår teknik skulle användas i medieanalys och specifikt i annonstester. Det ger dig bara mer eller mindre en smak av hur vi gör detta och vad vi kan mäta. Så, som du kan se, har vi några olika annonser eller videor, förinstallerade, och sedan kan du bara välja en som hoppar ut för dig.

Karen Hao : Tryck på play...

Gabi Zijderveld : Så när du tittar på den här annonsen, som du kan se, mäter vi dina reaktioner på den.

Karen Hao : [Hörbart skratt]

Jennifer Strong : Hon tittar på ett roligt YouTube-klipp där två barn och uppgifterna att vara en arbetande mamma bland annat avbryter ett nyhetsprogram. Det är en parodi på den virala BBC-intervjun - du vet den - där en bedårande liten flicka valsar in på sin pappas hemmakontor.

Gabi Zijderveld : Så i princip i den här demon bad vi dig om tillåtelse att slå på din webbkamera. Och när du började spela upp videon, i princip bildruta för bildruta, mätte vår AI dina reaktioner och dina svar på det du såg i den här annonsen. På vänster sida av demon ser du alla dessa olika mätvärden, såsom uttrycksfullhet, uppmärksamhet, avsky, leende... det visar dig eller det framhäver för dig var du hade fall av ögonbrynsfåra, vilket kan vara människor som ifrågasätter eller höjer, höjer på ögonbrynen om du vill, bokstavligen. Om du klickar på en leendekurva kan det vara intressant... ett leende betyder inte nödvändigtvis att du alltid njuter av något, men här vet vi sammanhanget, vi vet att det här är en humoristisk annons, och vi kan se från din kurva att du log mycket. Så uppenbarligen hade den här videon sin avsedda effekt hos dig. Och sedan om du klickar på visningssammanfattningen är det lite coolt också. Detta jämför din data med alla andra som har sett den här videon.

Karen Hao : Wow. Jag antar att jag var mycket mer uttrycksfull än den genomsnittliga personen.

Gabi Zijderveld : Ja, ja, precis. Och ditt leende var mycket högre. Det är klart att du gillade den här videon mycket bättre än genomsnittet.

Jennifer Strong : Det de visar här läser känslor och bryter ner det i data för annonsörer och reklambyråer.

Gabi Zijderveld : Denna information är återigen mycket viktig insikt eftersom den i grunden hjälper dem att avgöra hur effektiva deras annonser är och var de ska lägga sina mediautgifter.

Jennifer Strong : Hon säger att de behöver ett hundratal tester för att få tillräckligt med data för en effektiv jämförelse. Affectiva har distribuerat denna emotion AI-teknik över hela världen med kunder som Disney, Coca Cola, Kelloggs, Samsung och Google.

Gabi Zijderveld : Cirka 28 % av de globala 500-företagen använder vår teknologi. Ad age har en lista över världens största annonsörer och 70 % av dem använder vår teknik. Vi har testat under åren, mer än 52 000 annonser i 90 länder. Så det görs mycket forskning. Låt oss säga att någon testar en ölannons i Storbritannien och de skulle vilja jämföra resultatet av sin ölannons med andra ölannonser i Storbritannien, eller kanske en ölreklam i USA de kan göra det eftersom vi har så mycket data den typen av ger dessa normer.

Jennifer Strong : Och efter 10 år av förfining av känslomässig AI i medieanalys... Affectiva går nu in i underhållningsbranschen.

Gabi Zijderveld : Vi har till exempel redan gjort ett antal studier där det verkligen handlar om att förstå hur publiken engagerar sig och nästan binder sig, om man så vill, med vissa karaktärer i TV-program. De introducerar nya karaktärer. Ibland fastnar dessa karaktärer och publiken älskar dem. Ibland gör de inte det. Så de forskar mycket om det. Och naturligtvis försöker de förutsäga vad som kommer att vara den framgångsrika formeln och att göra det tidigt kan spara dem mycket pengar, att göra fel är dyrt i de fallen. Vi har också testat filmtrailer som i sig är en typ av reklaminnehåll.

Jennifer Strong : Men det är bilindustrin som Affectiva och många andra företag är särskilt fokuserade på.

Gabi Zijderveld : Så förutom säkerhetsapplikationen genom att förstå förarens funktionsnedsättning som i grunden är ett förarövervakningssystem, finns det andra tillämpligheter också, för i det ögonblick du kan förstå vad som händer med passagerarna i baksätet, finns det massor av andra intressanta saker du kan göra. Du kan i princip anpassa miljön till personens tillstånd för stunden. Så någon kanske är på väg till ett arbetsmöte i framtiden. Ditt fordon kanske förstår det eftersom alla olika system är sammankopplade. Kanske kan titta in i din kalender om du ger tillstånd till det. Och om du är på väg till ett möte kanske du inte vill ha musik. Du kanske inte vill se video på baksidan. Kanske vill du ha rätt belysning i din region av bilen. Kanske behöver du din stol placerad på ett visst sätt. Det kan också handla om att i princip förbättra upplevelsen, eller hur? Gör det roligare och roligare eller mer återställande.

Jennifer Strong : Det finns inte på marknaden än men hon säger att de har testat delar av känslomässig AI i bilar, inklusive detta:

Gabi Zijderveld : Det fanns till och med för ett antal år sedan, ett forskningsprojekt som vi gjorde med Porsche, där vi i princip lät vår teknik bedöma hur människor reagerade på musik som spelades i fordonet. Och om de gillade musiken skulle den i princip justera rekommendationer baserat på folks reaktioner och, och personifiera den på det sättet.

Jennifer Strong : Hon uppskattar att det kommer att ta 2 till 4 år innan den här typen av teknik är på väg.

En annan grupp som arbetar med denna typ av känslomässig AI för fordon är Harman, ett företag som ägs av Samsung.

Tim VanGoethem : Vi bygger dessa algoritmer som kan använda en kamerabild från en instrumentbräda-monterad kamera och vi bygger programvaran som kan titta på dina ögon eller andra ansiktsdrag och kunna sluta sig till förarens tillstånd.

Jennifer Strong : Det är Tim VanGoethem, företagets chef för avancerad mobilitet.

Tim VanGoethem : Så vi kan göra saker som att förstå din puls, bara genom att titta på hur pigmenteringen av din hud förändras varje gång ditt hjärta slår. Vi kan titta på egenskaper för hur dina ögon rör sig och, och baserat på det, kan vi relatera det till om du är distraherad eller om du är dåsig eller om du är stressad eller om ditt sinne inte verkar vara fokuserat... Och så, förståelse hur man gör det meningsfullt. Om du är trött kan vi göra enkla justeringar i kupéns temperatur? Kan vi ändra sätespositionen subtilt? Välj en blandning av musik som kanske är lite mer uptempo i motsats till vad du lyssnar på just nu. Så det kan vara kombinationen av några mycket enkla justeringar av några mycket stora steg, beroende på vad vi kan dra slutsatsen att ditt tillstånd är

Jennifer Strong : Så hur mycket längre skulle företag som detta kunna ta tekniken?

Tim VanGoethem : Där det kan gå i framtiden är gränssnittet till wearables som du tar in i bilen. Många människor älskar sina smartklockor och ganska ofta har dessa smarta klockor också en fitness- eller wellness-förmåga. Så bilen i framtiden skulle kunna ta in information från dessa bärbara enheter. Så istället för att försöka använda en kamera för att sluta sig till eller härleda din puls, kan vi faktiskt använda sensorn från själva smartklockan. Och sedan kan smartklockan med användarens tillåtelse dela den informationen med bilen. Och då är det uppenbarligen, det, det kan vara en mer exakt signal. Steget bortom det är att vi också skulle kunna utnyttja ännu större ekosystem. Så som ett exempel, om bilen och algoritmerna i bilen visste att du hade haft en dålig natts sömn innan du satte dig i bilen skulle vi kunna fatta några tidigare beslut och veta att du redan kommer in i bilen, potentiellt trött.

Jennifer Strong : Under de kommande 2 till 5 åren kommer han att försöka svara på den här frågan.

Tim VanGoethem : Hur löser bilen inte bara problem för människor när de sitter i bilen, utan hur kan de kopplas in i dessa större ekosystem? Och, och jag tror att det kommer att utvecklas med tiden när människor förstår förhållandet mellan hur mitt liv utanför bilen och mitt liv inuti bilen naturligt smälter samman.

Jennifer Strong : När det gäller hur bekväma förare kommer att låta sin bil läsa sina känslor och svara och till och med ansluta till sitt liv utanför fordonet? Tja, vi låter redan maskiner göra detta i våra mest intima utrymmen ... inne i vårt hem.

Rohit Prasad : Precis som vi gör som människor - vi vårdar interaktioner med människor som är ödmjuka, hjälpsamma och relaterbara och pålitliga. Och visst vill man ha något slags kul också i personligheten så att man kan vara väldigt engagerande.

Jennifer Strong : Rohit Prasad är chefsforskaren bakom Amazons Alexa. När röstassistenten släpptes för sex år sedan representerade den början på en ny sorts relation med personlig teknik. För att det skulle fungera visste han att de måste skapa en personlighet som skulle fungera för olika människor i olika utrymmen.

Rohit Prasad : Vi tror att förtroende inte vinner bara genom hur du låter, utan vad du säger och vad du gör. Vi ville att människor som vi skulle vara bekväma med att prata med en AI i sina hem... Och våra hem är en gemensam miljö. Det är inte bara en personlig enhet som din smartphone. Och i den miljön kommer Alexa att interagera med mig, min fru, mina barn. Höger? Så nu måste du få rösten att fungera för alla dessa miljöer.

Jennifer Strong : De visste att odla förtroende hos användare också skulle förlita sig på Alexas förmåga att känna igen och svara på människors känslor.

Rohit Prasad : När kunder är glada eller upphetsade bör Alexa härma det beteendet. Och när kunden är besviken borde Alexa ha en mer empatisk ton.

Jennifer Strong : Nuförtiden kan Alexa göra en del av grunderna.

Rohit Prasad : Så några av de känslomässiga svaren du kan se är när du frågar om ditt favoritidrottslag och om de vann kommer Alexa att vara mer jovialisk i svaret.

Jennifer Strong : Dessutom fortsätter Amazon att arbeta med sina lyssningsförmåga.

Rohit Prasad : Så kan Alexa känna din röst frustration och ändra hennes svar till dig? Så att Alexa tar upp din röstfrustration och anpassar sina svar på rätt sätt för att ge dig det du behöver som kund istället för att bara frustrera dig mer genom att ge samma respons.

Jennifer Strong : Och Alexa kan redan göra en version av att spegla sin användare:

Alexa inspelning : Låt mig berätta en hemlighet. Jag kan viska.

Rohit Prasad : Det här är vad vi kallar ett viskningsläge. Detta hände när en av mina tidigare chefer på Alexa kom hem. Han viskade till Alexa och Alexa svarade och väckte sin fru.

Jennifer Strong : Han säger att det inspirerade dem att lära Alexa att viska för om du viskar till en människa, viskar den personen vanligtvis tillbaka. De lär det också att svara som expert, och när man ska veta att det inte är det. Han säger att det beror på typen av frågor.

Rohit Prasad : I vissa inställningar när det är mycket känsliga ämnen som du kanske delar med en kamrat, men Alexa kanske inte är experten på det, till exempel mental hälsa. Eller andra hälsoproblem. Där tror jag att vår vägledande grundsats alltid är att få experthjälp i dessa inställningar och jag tror att även om du delar det som en följeslagare så finns det ett stort ansvar för AI vid den tidpunkten.

Jennifer Strong : När Alexa lär känna sina användare kan det spela en allt större roll i deras liv.

Rohit Prasad : Jag tror att relationen fortsätter att växa från mer av en assistent till rådgivare och till och med följeslagare för människor. Och det ser vi hända i dagens tid. Och jag tror att relationen utvecklas när du växer med Alexa.

Jennifer Strong : Men han varnar:

Rohit Prasad : Det här är fortfarande tidiga dagar och vi kommer att fortsätta att göra forskningen för att ta reda på vad som är det bästa känslomässiga svaret eller stilistiska svaret baserat på kundens input. Men jag vill bara se till att vi är på samma sida att det är ett ganska svårt problem eftersom du inte vill att några misstag ska förstärka och få kunderna att tappa förtroendet för Alexa. Faktum är att du vill ha mer pålitlig handling, vilket betyder att det förmodligen är okej att ha mer neutrala svar i vissa inställningar. Och det är det vi jobbar med just nu också.

Jennifer Strong : Emotion AI kan förbättra vår interaktion med teknik men beroende på hur den används kan den också orsaka verklig skada. Vi kommer att gräva i några exempel på det direkt efter pausen.

[midroll-annons]

Jennifer Strong : Pandemin har sett en ökning i användningen av digitala program som övervakar skolprov. Dessa produkter använder beteendespårning och igenkänning för att titta på elever genom sina bärbara datorer och leta efter tecken på fusk. New York Times pratade med en college-junior som lider av en ansikts-tic-handikapp, och en nyligen utexaminerad afro-latina-jurist som kämpade i fyra timmar bara för att få programvaran att registrera hennes ansikte. Dessa problem har också dykt upp i intervjuprogram som använder liknande ansikts- och beteendespårning för att avgöra om du är värd att bli anställd.

Meredith Whittaker : Tanken att människors tillgång till jobb och möjligheter formas av vad som kan anses vara slags stereotyper och antaganden om hur de ser ut, hur de agerar, om de talar på ett sätt som står i proportion till någon eller annan modell för framgång är otroligt oroande.

Jennifer Strong Meredith Whittaker är medgrundare av AI Now Institute vid NYU.

Meredith Whittaker : Och vi studerar de sociala konsekvenserna av artificiell intelligens.

Jennifer Strong : Förutom att bara märka känslor säger hon att det här verkligen handlar om att tolka värdet av dessa känslor och att automatisera beslut med den informationen.

Meredith Whittaker : Det här handlar om företagens makt och det sätt på vilket dessa företag producerar teknologier som gör fantastiska påståenden nästan alltid gömda bakom slöjor av affärshemligheter. De är oreviderade. De är ogranskade. Vi ser teknik som påstår sig kunna upptäcka människors inre karaktär, deras kompetens, deras känslor, som används för att informera om beslutsfattande i klassrummet, vem som ska anställas och vem som ska marknadsföras. Vi ser det implementeras i det straffrättsliga systemet - på platser som verkligen formar människors liv och tillgång till möjligheter. Och med tanke på att det inte finns någon vetenskaplig konsensus om effektiviteten av att automatisera den här typen av påståenden, tyckte vi att det var dags att kräva ett förbud mot att använda dessa teknologier inom dessa domäner.

Jennifer Strong : Och hon säger att det som kanske är mest oroande är hur ofta dessa tekniker används utan att de som utsätts för dem har någon aning eller tillvägagångssätt.

Meredith Whittaker : Det är väldigt svårt att veta om jag, om jag inte anställts för ett jobb och jag blev intervjuad av HireVu, var det för att programvaran är partisk eller för att jag inte skulle ha fått jobbet ändå. Höger? Som att ett urval av en är svår att dra en slutsats från. Och den information som skulle göra det möjligt för oss att upptäcka ett mönster av diskriminering eller skada eller misstag eller vad du har, är inte allmän egendom. De som har tillgång till den informationen är HireVu och sedan vilket företag som licensierar HireVu att använda det för intervjuer, eller hur? Och inget av dessa företag har verkligt intresse av att tillåta allmänheten och lagstiftare och förespråkare att söka igenom dessa uppgifter.

Jennifer Strong : Och så hennes grupp kräver ett förbud mot känslomässig AI i känsliga användningsfall, vilket skulle inkludera applikationer som kanske inte verkar så känsliga - som ett pip från instrumentbrädan på en bil när den tror att en förare kan bli dåsig.

Meredith Whittaker : Vi måste liksom backa här och titta på typ av kraftdynamiken här, eller hur? Kanske en bil som blinkar lite när den tror att du är dåsig baserat på hur ditt ansikte ser ut kanske inte är så skadlig. Men skickas den informationen till ditt försäkringsbolag? Används den informationen för att fastställa dina försäkringspriser eller för att döma ditt fel om du råkar ut för en olycka? Hindrar det Lyft- eller Uber-förare från att logga in på sin app? Vad är användningen av denna data?

Jennifer Strong : Det hon säger kan låta överdrivet försiktigt, men förra året beslutade New Yorks högsta finansiella tillsynsmyndighet att livförsäkringsbolag kan sätta premier i det tillståndet baserat på information från sociala medier. Så vad hindrar data från bilar – eller något annat – från att användas för att ställa in dina försäkringspriser i framtiden? Just nu på de flesta ställen ingenting.

Jennifer Strong : Det här avsnittet rapporterades och producerades av mig och Karen Hao, Tate Ryan-Mosley och Emma Cillekens. Vi fick hjälp av Benji Rosen. Vi är redigerade av Michael Reilly och Gideon Lichfield. Tack för att du lyssnade, jag heter Jennifer Strong.

Dölj