Alexa, förstå mig

romerska muradov

Den 31 augusti 2012 lämnade fyra Amazon-ingenjörer in det grundläggande patentet för vad som till slut blev Alexa, ett artificiell intelligenssystem designat för att samverka med en av världens största och mest trassliga datamängder: mänskligt tal. Ingenjörerna behövde bara 11 ord och ett enkelt diagram för att beskriva hur det skulle fungera. En manlig användare i ett tyst rum säger: Please play 'Let It Be' av Beatles. En liten bordsmaskin svarar: Inga problem, John, och börjar spela den begärda låten.

Från den blygsamma starten har röstbaserad AI för hemmet blivit en stor affär för Amazon och i allt högre grad en strategisk slagmark med dess teknikrivaler. Google, Apple, Samsung och Microsoft sätter var och en tusentals forskare och affärsspecialister i arbete med att försöka skapa oemotståndliga versioner av lättanvända enheter som vi kan prata med. Fram till nu har vi alla böjt oss för att anpassa oss till tekniken när det gäller att skriva, trycka eller svepa. Nu böjer sig de nya användargränssnitten för oss, konstaterar Ahmed Bouzid, VD för Witlingo, som bygger röststyrda appar av alla slag för banker, universitet, advokatbyråer och andra.

Den här historien var en del av vårt septembernummer 2017

• Se resten av frågan
• Prenumerera

För Amazon har det som började som en plattform för en bättre jukebox blivit något större: ett artificiellt intelligenssystem som bygger på och ständigt lär sig av mänskliga data. Dess Alexa-drivna Echo-cylinder och tinier Dot är allestädes närvarande hushållshjälpare som kan släcka lamporna, berätta skämt eller låta dig läsa nyheterna handsfree. De samlar också in mängder av data om sina användare, som används för att förbättra Alexa och lägga till dess användningsområden.

Tiotals miljoner Alexa-drivna maskiner har sålts sedan deras marknadsdebut 2014. På den amerikanska marknaden för röstdrivna AI-enheter tros Amazon ta upp cirka 70 procent av all enhetsförsäljning, även om konkurrensen hårdnar. Google Home har också sålt miljontals enheter, och Apple och Microsoft lanserar snart sina egna versioner.

Den ultimata vinsten är möjligheten att kontrollera – eller åtminstone påverka – tre viktiga marknader: hemautomation, hemunderhållning och shopping. Det är svårt att veta hur många som vill prata med sina kylskåp, men mönster i vardagen förändras snabbt. På samma sätt som smartphones har förändrat allt från dejtingetikett till fotgängares gånghastighet, börjar röstbaserad AI att vända på många aspekter av hemlivet. Varför gå upp för att låsa ytterdörren eller starta din bilvärmare en bitande kall dag, när Alexa eller hennes anhöriga omedelbart kan ordna upp saker istället?

För närvarande försöker Amazon inte samla in intäkter från företag som tillverkar smarta termostater, glödlampor och andra Alexa-anslutna enheter. På vägen är det dock lätt att föreställa sig hur intäktsdelningsarrangemang eller andra betalningar skulle kunna slå igenom. Den minsta av dessa tre marknader, hemautomation, står redan för mer än 5 miljarder dollar i utgifter varje år, medan detaljhandeln i USA förra året uppgick till 4,9 biljoner dollar. Idag tjänar Amazon pengar på själva maskinerna, till priser som sträcker sig från $50 för Dots till $230 för de mest avancerade Echos med videoskärmar, och skördar en andra vinst om användare slutar med att handla mer i Amazons stora onlinebutik. (Amazon kommer dock inte att avslöja dessa trafiksiffror.)

För att Echos ska bli lika genomgripande som smartphones måste de göra många fler saker. För det ändamålet uppmuntrar Amazon oberoende utvecklare att bygga nya tjänster på plattformen, precis som Apple länge har gjort med apputvecklare. Mer än 15 000 sådana färdigheter, eller appar, har byggts hittills, och app-byggande verktyg har blivit så lätta att knäppa ihop att det nu är möjligt att bygga en enkel färdighet på ungefär en timme, utan mycket programmeringskunskap. Bland de mest populära apparna är färdtjänstalternativ från Uber och Lyft. Duds inkluderar 48 separata färdigheter som bombarderar lyssnare med förolämpningar.

Bland de mest ambitiösa utvecklarna finns företag som tillverkar hårdvara eller säljer tjänster som fungerar med Alexa. Capital One, till exempel, erbjuder Alexa-baserad fakturabetalning till sina bankkunder; Toronto-baserade Ecobee är en av ett antal tillverkare av smarta termostater för att rigga upp Alexa-drivna versioner som låter människor höja eller sänka rumstemperaturen bara genom att yttra några ord. Våra kunder har hektiska liv, säger Stuart Lombard, vd för Ecobee, som nu får ungefär 40 procent av den totala försäljningen från sina Alexa-enheter, det 10-åriga företagets snabbast växande produktlinje. De måste bekämpa trafiken för att komma hem, och sedan måste de mata barnen, blöja barnet och vem vet vad mer. Vi ger dem ett handsfree sätt att få något gjort medan de är mitt uppe i andra uppgifter.

När tal möter AI

Det som gör röstbaserad AI så tilltalande för konsumenter är dess löfte att anpassa sig till oss, att svara på hur vi pratar – och tänker – utan att behöva skriva på ett tangentbord eller en skärm. Det är också det som gör det så tekniskt svårt att bygga. Vi är inte alls ordningsamma när vi pratar. Istället avbryter vi oss själva. Vi låter tankarna dingla. Vi använder ord, nickar och grymtar på udda sätt, och vi antar att vi vettigt även när vi inte är det.

Vissa människor säger nej, nej, nej; andra föredrar Avbryt det, och ett tredje gäng provar någon variant av Wait, faktiskt, här är vad jag vill ha istället. Alexa behöver inte avkoda varje yttrande.

Tusentals Amazon-anställda arbetar med denna utmaning, inklusive några på forskningscentrum i Seattle, Sunnyvale, Kalifornien och Cambridge, Massachusetts. Trots det erbjöd Amazons karriärsida nyligen 1 100 fler Alexa-jobb fördelade på ett dussin avdelningar, inklusive 215 platser för maskininlärningsspecialister. Under ett möte på företagets kontor i Cambridge frågade jag Alexas chefsforskare, Rohit Prasad, varför han behöver så många människor – och när hans forskargrupp kan vara helt utbyggd.

Jag skrattar åt varje aspekt av din fråga, svarade Prasad.

Efter några sekunder, efter att ha återhämtat sig, förklarade Prasad att han har arbetat med talteknik i 20 år, med frustrerande långsamma resultat under större delen av den perioden. Under de senaste fem åren har det dock öppnats gigantiska möjligheter. Att skapa en riktigt effektiv röstutlöst AI är en komplex och fortfarande obesegrad uppgift (se AI:s språkproblem). Men medan talforskare tidigare kämpade för att avgöra den exakta innebörden av ibland kaotiska yttranden vid första försöket, gör nya metoder för maskininlärning framsteg genom att ta ett annat grepp: de arbetar från ofullkomliga matchningar i början, följt av snabba finjustering av preliminära gissningar. Nyckeln är att arbeta igenom stora delar av användardata och lära sig av tidigare misstag. Ju mer tid Alexa tillbringar med sina användare, desto mer data samlar den in att lära sig av, och desto smartare blir den. Med framsteg kommer fler möjligheter och behovet av mer arbetskraft.

Låt mig ge dig ett exempel, sa Prasad. Om du frågar Alexa 'Vad var Adeles första album?' borde svaret vara ' 19 .’ Om du sedan säger, 'Spela det,' kommer Alexa att veta tillräckligt för att börja spela det albumet. Men tänk om det finns något konversationsskämt i mitten? Tänk om du först frågar Alexa vilket år albumet kom ut och hur många exemplar det sålde? Avsluta ett sådant utbyte med det kryptiska Play it, och tidigare versioner av Alexa skulle ha blivit förvirrade. Nu kan tekniken följa den tankegången, åtminstone ibland, och inse att det fortfarande betyder 19 .

Denna förbättring kommer från maskininlärningstekniker som omprövat tusentals tidigare utbyten där Alexa snubblat. Systemet lär sig vilken låtanvändare faktiskt ville höra och var de tidigare delarna av konversationen först identifierade det musikstycket. Du måste göra några antaganden i början om hur folk kommer att fråga efter saker, säger James Glass, chef för gruppen för talade--språksystem vid MIT. Sedan samlar du in data och trimmar dina modeller.

Fallet för en sådan maskininlärningsmetod är allmänt uppskattad, säger Glass, men att få det att fungera kräver mycket mer data än vad universitetsforskare lätt kan uppbåda. Med Alexas användning stigande har Amazon nu tillgång till ett omfattande arkiv av talinteraktioner mellan människa och dator – vilket ger den den sortens fördel i att finjustera sin röstteknik som Google länge har haft i textbaserade sökfrågor. Extern data hjälper också: en enorm databas med låttexter som laddades in i Alexa 2016, till exempel, har hjälpt till att försäkra att användare som frågar efter låten med körde min Chevy till vallen kommer att styras till Don McLeans American Pie.

Ett av de senaste projekten för Prasads grupp belyser flexibiliteten i detta tillvägagångssätt. Det handlar om att dechiffrera ögonblicken när användare backar på sina första förfrågningar. Signalfraser kan variera enormt. Vissa människor säger nej, nej, nej; andra föredrar Avbryt det, och ett tredje gäng provar någon variant av Wait, faktiskt, här är vad jag vill ha istället. Alexa behöver inte avkoda varje yttrande. Stora urval och halvövervakad maskininlärning gör det möjligt för den att skissera ett kluster av troliga markörer för negerat tal, och sedan ta upp en sammanhängande ny begäran efter kursändringen.

Förutom att göra Alexa till en bättre lyssnare använder Amazons AI-experter mängder av data för att göra den till en bättre högtalare, och finjusterar kadenserna för maskinens syntetiska kvinnliga röst, för att öka varaktig användning. Traditionella försök till talsyntes bygger på sammansmältning av många fragment av inspelat mänskligt tal. Även om den här tekniken kan producera ett ganska naturligt ljud, lämpar den sig inte för viskningar, ironi eller andra moduleringar som en engagerande mänsklig talare kan använda. För att vässa Alexas hantering av allt från häftig dialog till lugn recitation kan Amazons maskininlärningsalgoritmer ta ett annat tillvägagångssätt och träna på de ivriga, oroliga – och klokt klingande – rösterna från professionella berättare. Det hjälper att Amazon äger ljudboksförlaget Audible.

Så mycket att prata om

Bland de mest ivriga anammarna av röstbaserad AI är människor som inte enkelt kan skriva på telefoner eller surfplattor. Gavin Kerr, VD för Philadelphia's Inglis, som tillhandahåller bostäder och tjänster för personer med funktionshinder, har installerat Amazon Echo och Dot-enheter i åtta boendes hem. Han hoppas kunna lägga till dem så småningom till alla 300-några bostäder när pilottestningen är klar. Det är en otrolig välsignelse för invånarna, säger Kerr. De kan vara bekvämare. Det ger dem självständighet.

Kerr arbetar med hundratals människor som har multipel skleros eller andra försvagande tillstånd. För den som är sängliggande eller använder rullstol kan en svåråtkomlig väggtermostat vara en ständig källa till plåga. Deras kroppar har svårt att reglera temperaturen, förklarar Kerr. Ett rum som är 72 °F kan kännas varmt en timme och kallt nästa. Med begränsad rörlighet finns det inget enkelt sätt att bli bekväm, särskilt om assistans dygnet runt inte är tillgänglig.

Med lite mixtrande kan Alexas programvara tjäna även de med kraftigt begränsat tal. Kerr berättar om en man i sena 30-årsåldern som ville lämna en långtidsvårdsinrättning och flytta tillbaka till en vardaglig gemenskap. Han sa till oss, 'Jag kommer aldrig att kunna använda Alexas kommandon', minns Kerr. Så vi frågade honom: ’Vad kan du säga?’ Sedan omarbetade vi programvaran så att han kunde få Alexa att fungera på sina villkor. Nu säger han 'mamma' när han vill tända köksbelysningen och 'John' när han vill tända badrumsbelysningen.

Även om Inglis ger sina Echo-användare fyra timmars träning, är det mycket vanligare att nya användare famlar sig fram. Dra ut ett eko ur lådan, så kommer en bit av förpackningen att lyfta fram särskilt vanliga applikationer, som att spela musik, ställa in larm eller uppdatera inköpslistor. Organiserade användare kan ringa upp Alexas kontrollpaneler på sina smartphones eller bärbara datorer för att justera inställningar, leta efter nya appar eller få vägledning om vilka uppmaningar som får en app att fungera bäst.

Alexas bredare framgång ligger i dess förmåga att lindra stressen i ett överbokat liv. Det är följeslagaren som alltid är redo att engagera sig.

I en mycket läst blogginlägg i juni skrev Microsofts produktchef Darren Austin att Alexas bredare framgång ligger i dess förmåga att lindra stressen i ett överbokat liv. Med den enkla handlingen att fråga, skrev Austin, lindrar Alexa de negativa känslorna av osäkerhet och rädslan för att glömma. Användare fastnar för att ge Alexa alla möjliga tillfälliga förbryllar eller önskningar, hävdade han; det är följeslagaren som alltid är redo att engagera sig.

Varje vecka – ibland oftare – skannar Alexas chef Rob Pulciani samlad data om de vanligaste yttrandena från Alexa- och Dot-användare. Vanligtvis domineras toppen av listan av förfrågningar om musik, nyheter, väder, trafik och spel. Den gångna våren steg dock en nykomling snabbt. Den trendiga frasen: Alexa, hjälp mig att slappna av.

När användare gör denna begäran styrs de in i en samling lugnande ljud. Fåglarna kvittrar; avlägsna vågor träffar stranden; godståg mullrar genom natten. Sådana omgivande brusslingor kan fortsätta spela i timmar om användarna väljer. Pulciani hade betraktat dessa appar som mindre konstigheter när de först dök upp på Alexa-plattformen 2015. Men de har snabbt fått ett stort antal följare. Stressade vuxna använder ljuden för att somna. Föräldrar förvandlar dem till vaggvisorsättningar för knasiga spädbarn. Under de närmaste veckorna efter hans upptäckt finjusterade Pulciani och kollegor Alexas interna arkitektur så att nya Echo-köpare snabbt kunde upptäcka lugnande ljud om de bad om tips om vilka nya färdigheter de skulle testa.

Uthållig konversation

I studier visar AI-plattformar av Google, Apple, Microsoft och Amazon alla olika styrkor. Google Assistant är bäst på omfattande sökkommandon. Apples Siri och Microsofts Cortana har andra talanger. Alexa klarar sig särskilt bra med shoppingkommandon.

Den ultimata triumfen för röstbaserad AI skulle vara att föra en realistisk konversation på flera minuter med användarna. En sådan bedrift kommer att kräva enorma hopp i maskinernas förmåga att urskilja mänskliga högtalares avsikter, även när det inte finns en uppenbar begäran. Människor kan komma på att en vän som säger att jag inte har varit på gymmet på flera veckor antagligen vill prata om stress eller självkänsla. För AI-programvara är det ett hårt steg. Plötsliga byten i ämne - eller sneda anspelningar - är också svåra.

Ivriga att stärka banden med nästa generation av AI- och talforskare, för ett år sedan bjöd Amazon in ingenjörsstudenter vid ett dussin universitet världen över för att bygga röstrobotar som kan hålla en 20-minuters konversation. Det campus som gör störst framsteg vid deadline i november kommer att vinna ett pris på $500 000. Jag provspelade ett halvdussin av dessa bots en helg och flyttade varje gång från enkla frågor till knepigare öppna åsiktsutlåtanden som bjöd in alla möjliga svar. Vi fick en bra start när en bot frågade mig: Såg du några nya filmer? Ja, svarade jag, vi såg Dolda figurer . Istället för att efterlikna tidningsrecensioner av denna gripande film om NASA:s tidiga år, sköt den sociala boten tillbaka: jag trodde Dolda figurer var mycket tunn på den faktiska matematiken av det hela. Inte min syn på filmen, men det verkade vara en charmigt passande sak för ett AI-program att säga. Vårt samtal avstannade strax efteråt, men vi hade åtminstone det korta, vackra ögonblicket.

Relaterad berättelse

Relaterad berättelse Maskiner som verkligen förstår språk skulle vara otroligt användbara. Men vi vet inte hur man bygger dem.

Tyvärr kunde ingen av de andra botarna komma i närheten. Den mest förvirrade slängde ut meningar som Gillar du trottoarservice? när jag trodde att vi försökte prata om webbplatser. Jag sa något kanske lite skarpt om botens begränsningar, bara för att få frågan: Kan du förhandla kollektivt?

Några dagar senare, när jag frågade Amazons Prasad om hans syn på sociala bots, störde ingen av deras tidiga misslyckanden honom. Det är ett superviktigt område, sa han till mig. Det är dit Alexa kan gå när det gäller att vara väldigt smart. Men det här är mycket svårare än att spela spel som Go eller schack. Med dessa spel, även om de har många möjliga drag, vet du vad slutmålet är. Med en konversation vet du inte ens vad den andra personen försöker åstadkomma. När Alexa kan ta reda på det kommer vi verkligen att prata.

George Anders har täckt Amazon för nationella publikationer sedan slutet av 1990-talet. Hans senaste bok är Du kan göra vad som helst.

Dölj