Datorer som talar ditt språk

Jag vill komma från Boston till Milwaukeennäst
Lördagformsystrar
födelsedag och jag vill inte sluta
Chicago och jag vill inte
betala mer än fyrahundra dollar
och festen börjar med tre klockan så jag
behöver tillsammans innan dess.

Säg det till en mänsklig flygbolagsagent så kommer han eller hon snabbt att reda ut dina ord och hitta flyg som uppfyller dina kriterier. Men säg det till flygbolagets automatiserade bokningslinje, och allt du sannolikt kommer att få är en munter digital röst, förlåt, jag fattade inte det.

Skyll inte på rösten. Även om man antar att flygbolagets datorer övervann de förvrängda orden, bakgrundsljudet och Boston-accenten för att göra förfrågan till korrekt text, har inget språkbehandlingssystem den beräkningsmässiga eldkraften att förstå dina pris- och ruttbegränsningar, ignorera irrelevanser som det faktum att lördagen är din systers födelsedag och förstå att om festen börjar klockan 15.00 är du inte intresserad av flyg som anländer till Milwaukee klockan 16.00.

Om datorer skulle kunna förstå och svara på sådana rutinmässiga förfrågningar på naturliga språk, skulle resultaten vara win-win: flygbolagen skulle inte behöva anlita så många agenter, och konsumenterna skulle inte behöva kämpa med förvirringen av touch-tone-gränssnitt som gör dem rasande trycka på 0-knappen och förgäves försöka nå en liveoperatör.

Futurister har föreställt sig en sådan värld sedan åtminstone 1968, då 2001: A Space Odyssey’s HAL 9000 blev den arketypiska röstinteraktiva datorn. Akademiska forskare och företagsforskare som fascinerats av idéns coolhet har pysslat lika länge med system för att känna igen och svara på mänskligt tal. Men teknologier slår inte fast eftersom de är coola: de behöver ett affärsbehov. När det gäller språkbehandling är det de enorma kostnaderna för live kundservice som äntligen driver ut teknikerna ur labbet. Enkelt tryck eller säg ens telefonträd är snabbt på väg mot skrothögen när företag som Nuance Communications och SpeechWorks smälter ihop tidigare konkurrerande strategier till mjukvara som härleder avsikten bakom människors naturligt talade eller skriftliga förfrågningar. Stora flygbolag, banker och konsumentvaruföretag använder redan systemen, och även om tekniken ännu inte kan hålla upp slutet av en konversation, hjälper den uppringare med enkla frågor att undvika långa köer - och frigör mänskliga agenter att ta itu med mer komplexa förfrågningar.

Sådana förbättringar har skapat naturliga språksystem för explosiv tillväxt: 43 procent av nordamerikanska företag har antingen köpt interaktiv röstsvarsprogram för sina callcenter eller genomför pilotstudier, enligt Forrester Research, ett teknikanalysföretag. I takt med att fler företag ersätter sina gamla telefonmenyer med pektoner kommer dagens marknad för telefonbaserade talapplikationer på 500 miljoner dollar att växa och nå 3,5 miljarder dollar till 2007, enligt Steve McClure, vicepresident i programvaruforskningsgruppen på marknadsanalysföretaget IDC. I slutet av 2002, till exempel, installerade Bell Canada ett röstsvarssystem på 4,5 miljoner dollar byggt av Menlo Park, CA-baserade Nuance. Baserat på de resultat vi ser kommer den faktiska avkastningen på investeringen bara att ta cirka 10 månader, säger Belinda Banks, Bell Canadas biträdande direktör för kundvård. Sammantaget räknar företaget med att spara 5,3 miljoner USD i kundtjänstkostnader bara i år.

Och detta är bara fas ett i utbyggnaden av språkbehandlingssystem. Företag som Nuance och Bostons SpeechWorks, de två marknadsledarna inom interaktiva röstsvarssystem, lyckas delvis för att de har skräddarsytt sin teknologi för smala domäner – som reseinformation – där vokabulärerna och begreppen de måste behärska är begränsade. Även när sådana system tar över kundservicenischen, strävar andra företag fortfarande efter utmaningen att förstå naturligt språk. Om forskningsinsatser vid exempelvis IBM och Palo Alto Research Center (PARC) bär frukt, kan datorer snart kunna tolka nästan alla samtal, eller hämta nästan vilken information en webbanvändare vill ha, även om den är inlåst i en videofil eller ett främmande språk som öppnar marknader där människor söker kunskap via datornätverk. Förutsäger IDC:s McClure, medan GUI [grafiskt användargränssnitt] var gränssnittet för 1990-talet, kommer NUI, eller naturligt användargränssnitt, att vara gränssnittet för detta decennium.

Säg vad?

Att bygga ett verkligt interaktivt kundservicesystem som Nuances kräver lösningar på var och en av de stora utmaningarna inom bearbetning av naturliga språk: exakt omvandling av mänskligt tal till maskinläsbar text; analysera textens ordförråd och struktur för att extrahera mening; generera ett förnuftigt svar; och svarar med en mänsklig röst.

Forskare vid MIT, Carnegie Mellon University och andra universitet, såväl som forskare vid företag som IBM, AT&T och Stanford Research Institute (nu SRI International), har kämpat i årtionden med den första delen av problemet: att vända det talade ordet till något som datorer kan arbeta med. De första praktiska produkterna kom i början av 1990-talet i form av taligenkänningsprogram för konsumenter - som IBM:s Voice Type - som tog diktering men tvingade användare att pausa efter varje ord, vilket begränsade antagandet. I mitten av 1990-talet hade tekniken avancerat och lett till dikteringssystem som Dragon Systems NaturallySpeaking och IBMs ViaVoice, som kan transkribera obrutet tal med upp till 99 procents noggrannhet.

Ungefär samtidigt bröt ett fåtal forskare bort från akademiska och företagslabb för att skapa startups som syftade till att ta itu med de ännu mer komplexa problemen – och större potentiella marknader – inom det andra området av språkbehandling, dubbad språkförståelse. Det är till stor del framsteg inom detta område som har positionerat fältet för dess verkliga tillväxtspurt. Dessa framsteg vilar på två viktiga insikter, enligt SpeechWorks tekniska chef Michael Phillips, en tidigare forskare vid MIT:s Laboratory for Computer Science. Den första var att det inte är någon mening med att nå månen - den decennier gamla drömmen om system som kan ha HAL-liknande allmänna samtal. Det finns en myt att människor vill prata med maskiner på samma sätt som de pratar med människor, säger Phillips. Människor vill ha en effektiv, vänlig och hjälpsam maskin - inte något som försöker lura dem att tro att de har en konversation med en människa. Detta antagande förenklar avsevärt arbetet med att bygga och träna ett naturligt språksystem.

Den andra insikten var att det var dags att kombinera filosofier som länge hållits av rivaliserande fraktioner inom språkbearbetningsgemenskapen. En filosofi säger i huvudsak att förståelse av tal är en fråga om att urskilja dess grammatiska struktur, medan den andra menar att statistisk analys-matchning av ord eller fraser mot en historisk databas med talexempel-är ett effektivare verktyg för att gissa en menings betydelse. Hybridsystem som använder båda metoderna, har startuperna lärt sig, är mer exakta än båda metoderna för sig.

Men denna insikt kom inte över en natt. På MIT hade Phillips hjälpt till att utveckla experimentell programvara som kunde känna igen tal och, baserat på sin förståelse av grammatik, förstå en förfrågan och svara logiskt. Liksom andra grammatikbaserade system bröt den en mening i sina syntaktiska komponenter, såsom subjekt, verb och objekt. Systemet arrangerade sedan dessa komponenter i trädliknande diagram som representerade en menings semantiska innehåll, eller intern logik - vem gjorde vad mot vem och när. Programvaran var begränsad till att hjälpa användare att navigera runt Cambridge, MA, förklarar Phillips. Du skulle säga, var är den närmaste restaurangen?’ och det skulle stå, Vilken typ av restaurang vill du ha?’ Du skulle säga, kines,’ och det skulle hitta en plats för dig.

Strax efter att Phillips licensierat tekniken från MIT 1994 och lämnade för att starta SpeechWorks, såg både han och forskare på konkurrenten Nuance att en av deras målapplikationer, call steering, krävde något mer. Det finns företag där ute som har 300 olika 800-nummer, förklarar Phillips. Kunden förstår inte organisationens struktur - de vet bara vilket problem de har. Det rätta att göra är att ställa en fråga, som: Vad är problemet du har?’ Men jämfört med en begäran om en närliggande kinesisk restaurang, är sådana frågor farligt öppna.

Problemet blir svårare när man betänker att tvetydigheten i mycket mänskligt tal - tänk på en fras som han såg flickan med teleskopet - gör att många förfrågningar är öppna för flera tolkningar. Det finns så många olika sätt som någon skulle kunna tala till systemet att det är oöverkomligt att försöka täcka allt detta i grammatik, säger John Shea, vice vd för marknadsföring och produktledning på Nuance.

SpeechWorks hittade äntligen en fungerande lösning år 2000, när det gifte sig med MIT-programvaran med en statistisk språkbehandlingsteknologi utvecklad vid AT&T Labs-Research i Florham Park, NJ. AT&T:s system är byggt kring en databas med vanliga meningsfragment från tiotusentals inspelade telefonsamtal som involverar både människa-till-människa och människa-till-maskin-kommunikation. Varje fragment i databasen poängsätts för sin statistiska association med ett visst ämne och klassificeras därefter. Ett fragment som till exempel samtal som jag inte ringde, kan till exempel korrelera starkt med ämnet okända nummer faktureringsförfrågningar, och systemet skulle dirigera samtalet till en agent som kunde kreditera uppringarens konto. Om systemet inte är säker på sitt val, uppmanar det den som ringer att ange mer information med hjälp av talsyntesteknik. I slutändan, enligt AT&T, dirigerar systemet mer än 90 procent av samtalen korrekt - en mycket högre framgångsfrekvens än vad de som ringer upplever när de navigerar i gammaldags telefonträd på egen hand.

Nuance utvecklade ett liknande system, baserat på teknologi från SRI, som kan använda antingen grammatiska eller statistiska metoder, eller bådadera, för att extrahera mening från en uppringares tal. Vi använder olika tillvägagångssätt beroende på kundens behov, säger Felix Gofman, produktmarknadschef på Nuance. Du kan mixa och matcha. Inom ett specifikt område, som bank, kommer ämnena och ordförrådet för uppringarnas frågor att vara begränsade, och systemet kan enbart fungera med fördefinierade listor över vad kunder kan säga. För nya eller mer omfattande områden som att beställa telefontjänster, lagrar systemet varje fråga som det hörs i en databas, och använder sedan statistiska tekniker för att jämföra nya frågor med gamla poster i en sökning efter troliga matchningar - vilket förbättrar noggrannheten över tiden.

SpeechWorks callcenterteknik används av så olika företag som Office Depot, U.S. Postal Service, Thrifty Car Rental och United Airlines. Men företaget som driver tekniken närmast sina gränser är Amtrak. Resenärer som ringer Amtraks automatiska telefonsystem kan inte bara få tågtidtabeller utan också boka bokningar och ladda biljetter från sina kreditkort. När vi gav oss ut var det primära målet att öka kundnöjdheten, säger Matt Hardison, järnvägens chef för försäljning, distribution och kundservice. Men som en bonus, säger han, återbetalade besparingarna i arbetskostnader Amtraks investering på 4 miljoner dollar i tekniken inom 18 månader.

Nuance har samtidigt stora kunder inom finans- och telekommunikationsindustrin, inklusive Schwab, Sprint PCS och Bell Canada. British Airways berättade för företaget att efter att ha installerat Nuance taligenkänningssystem förra året, sjönk dess genomsnittliga kostnad per kundsamtal från $3,00 till $0,16. Och enligt Bell Canada's Banks brukade 40 procent av kunderna nollställa, eller begära en live-operatör, medan de navigerade i företagets telefonträd med touchtoner. Mellan företagets implementering av systemet i december 2002 och mars 2003 sjönk den siffran till 15 procent, säger Banks.

En djupare förståelse

Trots all deras framgång förstår dock inte dessa system verkligen vad de hör. De behandlar endast grammatikregler, sannolikheter och lagrade exempel. De briljerar faktiskt just för att deras skapare har vänt sig bort från strävan efter ett system som är intelligent nog att läsa och sammanfatta en bok eller upprätthålla en allmän konversation.

Men andra forskare behåller en bredare syn på möjligheterna för bearbetning av naturligt språk. Liksom Ron Kaplan, en forskare vid PARC som utvecklade mycket av den grundläggande grammatiska teorin bakom många av dagens naturliga språksystem, bygger de mjukvara som kan hantera en mycket större variation av input – från tidningsartiklar till den oorganiserade massan av multimedia information på webben. Kaplan är kritisk till vad han kallar de ytliga metoder som används för nischapplikationer som call steering. Jämfört med alternativet - att upprätthålla en kostsam personal av mänskliga kundtjänstagenter - är de faktiskt inte dåliga, säger han. Men jämfört med vad du skulle vilja stinker de. Ett mer effektivt gränssnitt för naturligt språk, säger Kaplan, skulle eliminera behovet av att noggrant skräddarsy systemen och tillåta användare att tala eller skriva fritt.

Två problem som hindrar den visionen, enligt Kaplans uppfattning, är att databaserna med språkprover som enklare system använder sig av är för små, och de statistiska algoritmerna de använder är utformade för att eliminera tvetydigheten i mycket av vad folk säger, och hitta in så snabbt som möjligt på den mest sannolika betydelsen. Kaplan menar att om denna tvetydighet elimineras för tidigt, kan den korrekta innebörden av ett yttrande - särskilt en lång eller komplex mening - gå förlorad. Så han har tillbringat det senaste decenniet med att arbeta på ett grammatikdrivet system, kallat Xerox Linguistic Environment, som faktiskt försöker bevara tvetydighet. Systemet analyserar ett yttrande i alla möjliga meningsdiagram som tillåts enligt en uppsättning av 314 regler som styr relationer mellan olika delar av tal (PARC-forskare sammanställde reglerna manuellt under tre år). En komplex mening med 40 eller fler ord, till exempel, kan tolkas på så många som 1 000 olika sätt.

Systemets grammatikanalys är så grundlig att den korrekt fångar i genomsnitt 75 procent av de logiska sambanden i en mening – vilket faktiskt är mycket högt jämfört med vad de flesta statistiska metoder gör, säger Kaplan. Denna noggrannhetsgrad kan ökas till cirka 80 procent om programvaran drar fördel av dessa statistiska metoder, och jämför varje möjlig tolkning med liknande diagram i en tränad databas - i PARC-programvarans fall, ett lager med hundratusentals korrekta diagram av meningar som ritats från Wall Street Journal artiklar.

Kaplan planerar att först släppa lös systemet på Xerox enorma digitala kunskapsbas av kopiatorreparationstekniker, som ständigt konsulteras och uppdateras av företagets fälttekniker. Där kommer den att jämföra tusentals enskilda poster för att sålla bort uppsägningar och motsägelser. Det kan vara så att många tekniker har upptäckt samma lösning på ett vanligt problem, som att byta ut en kopiatortrumma, förklarar Kaplan. Du får ett gäng inlägg som säger samma sak, bara på olika sätt. Att hitta och beskära sådan redundans automatiskt, tillägger han, kan hjälpa tekniker att lägga mindre tid på att sortera igenom alternativ. Mjukvaran kan också så småningom bli kärnan i ett avancerat system för att översätta dokument till olika språk - en uppgift som särskilt plågas av tvetydighet ( se Översättningsutmaningen ).

Innan en dator kan förstå eller översätta lagrad information uttryckt på naturligt språk måste den dock hitta den. Det blir svårare när det digitala universum expanderar - vilket är anledningen till att IBM driver ett ambitiöst projekt för att använda naturliga språkbehandlingar i hanteringen av ostrukturerad information, massan av digital text, bilder, video och ljud som lagras i datornätverk. Mycket av IBM:s verksamhet vilar på dess databasprodukt, DB2, men en traditionell databas kan bara hämta information som redan har organiserats och indexerats. IBM vill ge affärsanvändare och konsumenter omedelbar tillgång till oindexerad data som försvinner på miljontals hårddiskar runt om i världen, vilket effektivt utökar sin dominans inom strukturerad datahantering till ostrukturerad information. För att nå dit, driver företaget ett initiativ utformat för att slå samman olika språkbehandlingsmetoder till kraftfull programvara som intelligent kan söka, organisera och översätta all denna data. Projektet, kallat Unstructured Information Management Architecture, kan driva företagets verksamhet långt in i internetåldern. Som forskningssatsningar går, är det här en stor en, säger Alfred Spector, divisionens senior vice president.

Översättningsprogram och andra produkter som använder den nya arkitekturen är fortfarande i prototypstadiet. Men i slutändan, säger David Ferrucci, projektets ledande mjukvaruarkitekt, kommer arkitekturen att hjälpa IBM att bygga system som plockar den senaste informationen som en användare vill ha från vilken digital källa, på vilket språk som helst, och levererar den i organiserad form. Redan nu spenderar amerikanska företag 900 miljoner dollar per år på företagsinformationsportaler som hjälper anställda att hitta de dokument de behöver, enligt Giga Information Group i Cambridge, MA, och möjligheterna för IBM och andra företag som utvecklar programvara för att hantera ostrukturerad information kommer bara att öka i takt med att den informationen samlas. Det finns nu helt klart en affärsmässig logik för att hantera ostrukturerad data, avslutar Spector.

Om försöken att hantera tvetydighet, ostrukturerad information och andra komplexiteter i språket lyckas, kan vi i slutändan sluta behandla datorer som småbarn, och förenkla allt vi säger för att passa deras omogna förståelse av världen. När den dagen kommer, och den kan komma snart, kan konsumenterna förvänta sig att hitta automatiserade röstgränssnitt vid varje tur, vilket gör att de kan använda vanlig engelska (eller franska eller kinesiska) för att interagera med allt från webbarkiv till apparater och bilar.

Och det skulle verkligen vara något att prata om.

Språkbehandlingens Babel FÖRETAG TEKNOLOGI PLATS AT&T Automatiserad taligenkänning; naturligt klingande talsyntes
New York, NY Skämt Automatiserad e-postklassificering och svar San Francisco, Kalifornien, och Jerusalem, Israel IBM Automatiserad taligenkänning;
översättning; standardarkitekturer för att hantera ostrukturerad information Armonk, NY Intel Audiovisuell taligenkänning Santa Clara, CA Inxight Programvara för att upptäcka, utforska och kategorisera textdata på företagsnätverk Sunnyvale, CA iPhrase-teknik Textsökning på naturligt språk på företagswebbplatser Cambridge, MA Microsoft Grammatikkontroll; frågegränssnitt; översättning Redmond, WA Nuance Communications Interaktiva röstsvarssystem för telefonbaserad kundtjänst Menlo Park, CA Palo Alto Research Center Förbättrade algoritmer för att extrahera mening från skriven text Palo Alto, CA SpeechWorks Interaktiva röstsvarssystem för telefonbaserad kundtjänst Boston, MA StreamSage Sökning och indexering på naturligt språk av video- och ljudmaterial Washington, DC

Dölj