Inuti Amazons plan för Alexa att driva hela ditt liv

Illustration av två Alexa-enheter som chattar med varandra Ms Tech / källa: Amazon

Jag började använda Alexa innan det var coolt. Jag köpte en första generationens Echo några månader efter lanseringen eftersom Amazon.com visade mig en bannerannons när jag letade efter nya högtalare. Efter att den anlände jämförde min dåvarande rumskamrat, en mjukvaruingenjör på Google, ivrigt Alexas kapacitet med den hos hennes Google Assistant. Alexa höll inte riktigt måttet. Men för mig gjorde den allt jag ville: den spelade mina favoritlåtar, slog mina morgonalarm och berättade ibland nyheter och väder för mig.

Fem år senare har mina enkla önskningar förmörkats av Amazons ambitioner. Alexa distribueras nu överallt och kan kontrollera mer än 85 000 smarta hemprodukter från TV-apparater till dörrklockor till hörlurar. Det kan utföra över 100 000 färdigheter och räknas. Den bearbetar miljarder interaktioner i veckan och genererar enorma mängder data om ditt schema, dina preferenser och var du befinner dig. Alexa har förvandlats till ett imperium och Amazon har bara börjat.

I ett samtal med MIT Technology Review har Rohit Prasad, Alexas chefsforskare, nu avslöjat ytterligare detaljer om vart Alexa är på väg härnäst. Kärnan i planen är att röstassistenten ska gå från passiv till proaktiv interaktion. Istället för att vänta på och svara på förfrågningar kommer Alexa att förutse vad användaren kan tänkas vilja ha. Tanken är att förvandla Alexa till en allestädes närvarande följeslagare som aktivt formar och orkestrerar ditt liv. Detta kommer att kräva att Alexa lär känna dig bättre än någonsin tidigare.

Faktum är att Prasad, som kommer att beskriva sin vision för Alexas framtid vid WebSummit i Lissabon, Portugal, senare idag, har redan gett världen en förhandstitt på hur detta skifte kan se ut. I juni på re:Mars-konferensen, han demo en funktion som heter Alexa Conversations, som visar hur den kan användas för att hjälpa dig att planera en utekväll. Istället för att manuellt initiera en ny förfrågan för varje del av kvällen, behöver du bara börja konversationen – till exempel genom att be om att boka biobiljetter. Alexa skulle sedan följa upp och fråga om du också ville göra en restaurangbokning eller ringa en Uber.

Rohit Prasad, vicepresident och chefsforskare för Alexa. Jeremy Portje

För att driva denna övergång behöver Amazon både hårdvara och mjukvara. I september lanserade teknikjätten en svit av Alexa-produkter på språng, inklusive Echo Buds (trådlösa hörlurar) och Echo Loop (en smart ring). Alla dessa nya produkter låter Alexa lyssna på och logga data om en dramatiskt större del av ditt liv, desto bättre kan det erbjuda hjälp med information om var du befinner dig, dina handlingar och dina preferenser.

Ur ett mjukvaruperspektiv kommer dessa förmågor att kräva att Alexa använder nya metoder för att bearbeta och förstå alla olika informationskällor. Under de senaste fem åren har Prasads team fokuserat på att bygga assistentens behärskning av AI-grunderna, som grundläggande tal- och videoigenkänning, och utöka förståelsen av det naturliga språket. Utöver denna grund har de nu börjat utveckla Alexas intelligenta förutsägelse- och beslutsförmåga och – i allt högre grad – dess förmåga att resonera på högre nivå. Målet är med andra ord att Alexas AI-förmågor ska bli mycket mer sofistikerade inom några år.

En mer intelligent Alexa

Så här kommer Alexas mjukvaruuppdateringar att samlas för att utföra planeringsscenariot för natten. För att följa upp en biobiljettförfrågan med uppmaningar om middag och en Uber, lär sig ett neuralt nätverk – genom miljarder användarinteraktioner i veckan – att känna igen vilka färdigheter som vanligtvis används med varandra. Det är så intelligent förutsägelse kommer in i bilden. När tillräckligt många användare bokar en middag efter en film, kommer Alexa att paketera färdigheterna och rekommendera dem tillsammans.

Men det krävs resonemang för att veta vilken tid man ska boka Uber. Med hänsyn till din och teaterns plats, starttiden för din film och den förväntade trafiken, räknar Alexa ut när bilen ska hämta dig för att komma dit i tid.

Prasad föreställer sig många andra scenarier som kan kräva mer komplexa resonemang. Du kan till exempel föreställa dig en färdighet som gör att du kan fråga dina Echo Buds var tomaterna är medan du står i Whole Foods. Buds kommer att behöva registrera att du är i Whole Foods, komma åt en karta över dess planlösning och sedan berätta för dig att tomaterna är i gång sju.

Alla Alexa-aktiverade produkter från Amazons senaste produktlansering i september. med tillstånd av Amazon

I ett annat scenario kan du be Alexa genom ditt kommunala hem Echo att skicka ett meddelande till dig om ditt flyg är försenat. När det är dags att göra det kanske du redan kör. Alexa måste inse (genom att identifiera din röst i din första förfrågan) att du, inte en rumskamrat eller familjemedlem, behöver meddelandet – och, baserat på den senaste Echo-aktiverade enheten du interagerade med, att du nu är i din bil. Därför bör aviseringen gå till din bil snarare än ditt hem.

Denna nivå av förutsägelse och resonemang kommer också att behöva ta hänsyn till videodata eftersom fler och fler Alexa-kompatibla produkter inkluderar kameror. Låt oss säga att du inte är hemma, funderar Prasad, och en flickscout knackar på din dörr och säljer kakor. Alexa på din Amazon Ring, en kamerautrustad dörrklocka, bör registrera (via video- och ljudingång) vem som är vid din dörr och varför, vet att du inte är hemma, skicka en lapp till en närliggande Alexa-enhet och fråga hur många cookies du vill ha och beställ dem för din räkning.

För att göra detta möjligt testar Prasads team nu en ny mjukvaruarkitektur för bearbetning av användarkommandon. Det handlar om att filtrera ljud- och visuell information genom många fler lager. Först måste Alexa registrera vilken färdighet användaren försöker komma åt bland de cirka 100 000 tillgängliga. Därefter måste den förstå kommandot i sammanhanget vem användaren är, vilken enhet den personen använder och var. Slutligen kommer det att behöva förfina svaret på basis av användarens tidigare uttryckta preferenser.

Det är vad jag tror de närmaste åren kommer att handla om: att resonera och göra det mer personligt, med mer sammanhang, säger Prasad. Det är som att sammanföra allt för att fatta dessa enorma beslut.

Elefanten i rummet

Ur ett tekniskt perspektiv skulle allt detta vara en otrolig prestation. Det Prasad pratar om – att kombinera olika datakällor och maskininlärningsmetoder för att föra resonemang på hög nivå – har varit ett mål för forskare inom artificiell intelligens i decennier.

Ur ett konsumentperspektiv har dock dessa förändringar också kritiska integritetsimplikationer. Prasads vision förutsätter att Alexa kommer att följa dig överallt, veta en hel del om vad du håller på med vid varje givet ögonblick och vara det primära gränssnittet för hur du koordinerar ditt liv. Vid en baslinje kräver detta att man samlar ihop enorma mängder intima detaljer om ditt liv. Vissa oroar sig för att Amazon i slutändan kommer att gå långt bortom den baslinjen genom att använda dina data för att annonsera och marknadsföra till dig. Det här handlar i slutändan om att tjäna pengar på vardagen för individer och grupper av människor, säger Jeffrey Chester, verkställande direktören för Center for Digital Democracy, en organisation som främjar konsumenternas integritetsskydd i Washington, DC.

När han tryckte på denna punkt, betonade Prasad att hans team har gjort det lättare för användare att periodvis automatiskt radera sina data och välja bort mänsklig granskning. Inget av alternativen hindrar faktiskt data från att användas för att träna Alexas otaliga maskininlärningsmodeller. Faktum är att Prasad anspelade på pågående forskning som skulle byta Alexas träningsprocess till en där modeller snabbt kan uppdateras när det finns ny användardata, vilket mer eller mindre garanterar att värdet från nämnda data kommer att fångas innan det kasseras. Med andra ord, automatisk radering av din data innebär bara att det inte kommer att finnas kvar för att träna framtida modeller när träningsalgoritmerna har uppdaterats; för nuvarande modeller skulle dina data användas på ungefär samma sätt. (I uppföljningsförfrågningar sa en talesperson för Amazon att företaget inte sålde data som samlats in av Alexa till tredjepartsannonsörer eller för att rikta annonsering, såvida inte användaren fick tillgång till en tjänst via Alexa, som Amazon.com.)

Jen King, direktör för integritet vid Stanford Law Schools Center for Internet and Society, säger att dessa typer av datakontroller är alldeles för ytliga. Om man vill ge människor meningsfull kontroll måste man kunna respektera deras beslut att helt välja bort eller ge dem fler valmöjligheter över hur deras data används, säger hon. Att ge någon funktionell hjälp på ett platsspecifikt sätt skulle kunna göras på ett extremt integritetsbevarande sätt. Jag tror inte att det scenariot behöver vara i sig problematiskt.

I praktiken ser King för sig att detta innebär flera saker. För det första bör Amazon som ett minimum låta användare välja att delta i stället för att välja bort att låta deras data användas. För det andra borde Amazon vara mer transparent om vad det används till. För närvarande, när du raderar din data, är det inte klart vad företaget redan kan ha gjort med det. Föreställ dig att du har en AI-övervakningskamera i ditt hem och du har glömt att den var på och att du gick runt i huset naken, säger hon. Som konsument skulle det vara användbart att veta, när du tar bort dessa filer, om systemet redan har använt dem för att träna vilken algoritm det än använder.

Slutligen bör Amazon ge användarna mer flexibilitet om när och var de kan använda deras data. Användare kan till exempel vara glada över att ge upp sin egen data samtidigt som de vill att deras barn ska vara förbjudna. Teknikföretag tenderar att designa dessa produkter med idén att det är allt eller inget, säger hon. Jag tycker att det är ett riktigt missriktat sätt att närma sig det. Människor kanske vill ha en del av bekvämligheten med dessa saker, men det betyder inte att de vill ha dem i alla aspekter av deras liv.

Prasads ultimata vision är att göra Alexa tillgänglig och användbar för alla. Även i utvecklingsländer föreställer han sig billigare versioner som folk kan komma åt på sina smartphones. För mig är vi på en resa för att flytta den kognitiva belastningen på rutinuppgifter, säger han. Jag vill att Alexa ska vara en produktivitetsförbättrare ... att vara verkligt överallt så att den fungerar för alla.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.

Dölj