211service.com
Nörden
Chris Schmandt ’73, SM ’80, tillbringade fyra decennier med att leka på Media Lab och uppfann interaktiva talgränssnitt för datorer och det första navigationssystemet i bilen som berättade för förarna vart de skulle åka. 24 april 2019
Foto av Christopher Shcmandt Jake Belcher
När Chris Schmandt studerade vid MIT 1977, såg han en annons om ett campusjobb med grafisk programmering i PL/I. Det betalade samma summa som hans hamburgervändande spelning i cafeterian, han hade lärt sig programmeringsspråket PL/I som datavetenskap och ingenjör, och han gillade tanken på ett jobb som inte krävde duschning i slutet av varje skift. Så han gick till jobbet för Nicholas Negropontes Architecture Machine Group (AMG), föregångaren till MIT Media Lab.
Jobbet innebar att programmera en modell 85 rambuffert, som var ett av de första datorgrafiksystemen som kunde återge en ram med färgade pixlar, vilket gjorde att maskinen kunde visa text, grafik, diagram och till och med färgfoton. Men först behövde någon skriva lågnivåmikrokoden för rambuffertens styrenhet. Någon var tvungen att skaffa typsnitt och koda upp dem också. Den personen var Schmandt. Jag började måla pixlar på skärmen och jag blev fast, säger han.
Det jobbet fick enorma konsekvenser, inte bara för Schmandt utan för oss alla: hans arbete ledde i slutändan till utvecklingen av moderna navigationssystem som Garmin GPS och Google Maps, såväl som de röstgränssnitt som människor alltmer använder för att interagera med datorer .
Audio Notebook, som Schmandts labb utvecklade cirka 1997, kopplade pappersanteckningar tagna vid ett evenemang till en digital ljudinspelning av den. Med tillstånd av MIT Media Lab
Jag minns mycket tydligt att Nicholas sa till alla att en dag skulle varje dator ha en sådan inbyggd, sa Schmandt om rambufferten vid sitt pensionsfirande i december 2018. Det var förutseende, men han sa inte att varje telefon skulle ha ett!
En slingrig väg till labbet
Schmandts banbrytande arbete med att integrera tal och datoranvändning hände nästan inte. Han började på MIT 1969, och hade han tagit examen med sin inträdesklass 1973, hade han kanske aldrig stött på rambufferten. Men 1971 hade han förklarat sig vara huvudämne i stadsstudier, blivit förälskad i lingvistik och nästan avslutat en humanistisk examen ... och gjorde meteorologisk forskning genom MIT Undergraduate Research Opportunities Program (UROP). Jag bestämde mig för att jag inte visste vad jag gjorde, säger han.
Så han drog sig ur skolan för att ta reda på det och förvandlade sin UROP till ett heltidsjobb på meteorologiavdelningen och transporterade hålkort till datorcentret i en kundvagn. Snart hade han lärt sig tillräckligt mycket om programmering för att fixa stavfel på korten, vilket gjorde att han kunde undvika att slänga sig över campus en andra gång så att hans chef kunde fixa dem. Men Schmandt fick snart vandringslust och gav sig ut på vad som skulle bli en femårig resa. Han reste – huvudsakligen liftande – från London till Spanien, Marocko, Algeriet, Niger, Kamerun, Zaire, Uganda och Kenya, där han blev utskälld av polisen för att han inte pratade swahili och klättrade upp till 19 000 fot på en ås som ledde till toppen av Everest. Du har aldrig sett något liknande - enorma snöklädda toppar runt omkring dig som tittar ner på tre glaciärer, säger han. Och på natten sjunger och stönar glaciärerna när de sakta mal nerför dalarna.
När han reste längs vad som var känt som Hippie Trail i Indien, träffade han några brittiska och australiensiska programmerare, som övertygade honom om att programmering var en bra försörjning som man kunde utöva var som helst. Så 1977 återvände han till MIT och registrerade sig som huvudämne i elektroteknik och datavetenskap.
Att börja arbeta med rambufferten övertygade Schmandt om att detta hade varit ett bra beslut. Rambufferten var ett av de första datorgrafiksystemen som inte blinkade när bilden på skärmen blev mer komplex – en bedrift som den åstadkom genom att buffra, eller lagra, hela skärmen i dedikerat minne. Med 400 rader med 512 pixlar vardera krävde rambufferten mer än 200 000 byte av slumpmässigt åtkomstminne, vilket var fantastiskt dyrt på den tiden. Så Schmandt var tvungen att skriva ett program för att köra Model 85 som skulle passa i det begränsade minne som den hade tillgängligt.
Det här var riktigt nördiga grejer, även för AMG, minns Schmandt. För att riva honom hackade en av hans labbkamrater till slut labbets synt och programmerade den för att producera en kort musikalisk fanfar och säga Nörd! när Schmandt loggade in. Han accepterade glatt sitt nya smeknamn.
Negropontes labb skapade en datormiljö som kallas Spatial Data Management System (SDMS) som skulle låta en person använda blickar, gester och röst för att interagera med en databas som innehåller text, foton, kartor och till och med video. Beläget i avdelningen för arkitektur och vackert stödd av US Defense Advanced Research Projects Agency (DARPA) och företagssponsorer, var AMG överfull av utrustning, idéer och pengar. Så när Schmandt avslutade sin grundexamen 1979, stannade han kvar för att ta en magisterexamen i arkitektur 1980.
Labbet hade en massa riktigt coola saker på grund av SDMS-projektet och stödet från DARPA, säger han. NEC DP-100 röstigenkännare var $100K. Ingen visste vad ljusventilen – det var det första videoprojektionssystemet – kostade. Jag kunde sitta och spela med hårdvara för en miljon dollar.
I en demo av Put That There från 1980 styr Schmandt en dator med röst och gester. Med tillstånd av MIT Media Lab
Lägg det där
Inlärningskurvan som krävdes för att bemästra varje utrustning i AMG var brant, så Negroponte tilldelade varje enhet en mamma som skulle ansvara för att skriva programvaran eller bygga hårdvaran för att hjälpa den att växa till något användbart. Till sin magisteruppsats antog Schmandt en liten låda som, när den var fastspänd vid din handled, skulle berätta för labbets interaktiva dator var din handled var och var den pekade. Känd som en anordning med sex frihetsgrader, hade den utvecklats för att monteras på hjälmarna av helikopterpiloter, som använde dem i simulatorer för träning och över slagfältet för mål; idag finns lågprisversioner i många virtuella verklighetsheadset.
Eric Hulteen ’80, SM ’82, fick i uppdrag att utveckla mjukvara för röstigenkännaren NEC. Genom att arbeta tillsammans skapade Schmandt och Hulteen Lägg det där , ett ritsystem som styrs av röst och gester som de demonstrerade första gången 1979.
För att köra Put That There, skulle du sitta i en Eames-läderstol i labbets ljudisolerade media rum och peka din hand mot rummets väggstora bakprojektionsduk, som var upplyst av ljusventilen, en projektor på andra sidan väggen. Med sensorn och mikrofonerna inställda kan man säga Sätt en gul cirkel där , och datorn skulle lyda. Om du inte angav var cirkeln skulle gå, skulle datorn fråga Var? och vänta på att du pekar och säger Där! Schmandt säger att det var ett av de två första konversationssystemen som någonsin skrivits.
1980 gav Schmandt och Hulteen Put That There en uppgradering: de gjorde bakgrunden till en karta över Karibien och lärde datorn att svara på kommandon som Skapa ett grönt fraktfartyg där och flytta kryssningsfartyget norr om Dominikanska republiken. Detta gjorde programmet ännu mer populärt bland labbets militära sponsorer, som kunde sitta i Eames-stolen och spela ut fantasier som att omge Kuba med slagskepp och fregatter.
Jerry Wiesner var president för MIT, och hans kontor låg en våning under oss, mindes Negroponte vid Schmandts pensionsmiddag. När han gick ut och åt lunch tog han med sig sina vänner och gäster och sa: 'Åh, låt oss stanna förbi och se Arkitekturmaskinen.' ... Jag vet inte hur många som satt i den stolen, men det var många av dem .
Schmandt hade inget intresse av att doktorera. (Jag ville inte ägna två år åt att arbeta på ett projekt, säger han.) Men forskningen höll honom på MIT. Han anslöt sig till AMG:s personal och hade inom kort startat en forskargrupp fokuserad på att utveckla sätt för människor att interagera med datorer med hjälp av tal. Målet var att göra datorteknik tillgänglig utanför en kontorsmiljö.
Jake Belcher
Baksätesförare
1985 förvandlades AMG till Media Lab. Som grundare har Schmandt haft många studenter genom åren. Men ett projekt med en av de första, Jim Davis ’77, PhD ’89, skulle visa sig vara ett av de mest långtgående. Davis hade också haft en UROP vid AMG på 1970-talet, och han arbetade på några företag innan han återvände till Media Lab 1985. Under en period på Cambridge superdatorstartup Thinking Machines sommaren efter att han påbörjat sin doktorsexamen, utvecklade han ett program kallad Direction Assistance som kan ta en detaljerad gatukarta över en stad, en startpunkt och en destination, och ge sväng-för-sväng-instruktioner på engelska för en effektiv rutt. Så det logiska för Davis att göra på labbet var att få Direction Assistance att köra i en bil och leverera vägbeskrivningar med en syntetisk röst.
På den tiden var GPS bara tillgänglig för militären, säger Davis; civila hade tillgång till en version med försämrad precision. NEC, en labbsponsor, hade utvecklat ett navigeringssystem i bilen som använde dead reckoning istället för GPS: det noterade den tillryggalagda sträckan och anpassade bilens rörelser till en datoriserad karta .
Det fungerade bara med Acura Legend, en exklusiv bil, säger Davis. Så för att göra forskningen behövde Media Lab en Acura Legend! Det var ett stort steg upp för dem: Schmandt körde Datsun 210 kombi så att han kunde transportera sina skidor, och Davis hade inte ens en bil.
NEC installerade utrustningen, som visade en karta med en punkt som visar bilens plats på en skärm inbyggd i mitten av instrumentbrädan. Det är hemskt, förklarar Schmandt. För om något rör sig i ditt perifera synfält, har du en mycket stark reflex att titta på det – det kan vara ett vilt djur som ska kasta sig över dig! Schmandt oroade sig för att en rörlig skärm skulle distrahera förare från att hålla ögonen på vägen. Det var att se [NEC-kartan] som fick mig att övertyga mig om att det var här talet skulle göra det, säger han. Och vi hade rätt – bara 30 år i förväg.
Schmandt, här med en tidig mobiltelefon, kodutvecklade ett futuristiskt röstmeddelandesystem som heter Telefonslav på 1980-talet. Med tillstånd av MIT Media Lab
Systemet som Schmandt och Davis byggde skickade bilens position (enligt NEC-kartan) med mobiltelefon till ett program som körs på en kraftfull dator på Media Lab. Programmet beräknade nästa uppsättning gatuanvisningar som krävs, med hänsyn till förarens position, bilens hastighet och hur lång tid det skulle ta att säga det beräknade yttrandet. Dessa anvisningar matades sedan in i en tidig talsyntes kallad DECtalk och skickades tillbaka till bilen via en andra mobiltelefon. Prickig tillförlitlighet för mobiltäckning orsakade många problem, så den andra versionen av systemet flyttade datorn direkt in i bagageutrymmet. Schmandt och Davis kallade systemet Back Seat Driver.
Jag är verkligen glad att vi gjorde Back Seat Driver, säger han. Det var en söt tillämpning av rösten. Patentet som han och Davis lämnade in på det – som han säger var frikostigt hämtat från Daviss avhandling – hade citerats av 523 andra patent i februari 2019, enligt US Patent and Trademark Office. Under en period var det det mest citerade patentet i MIT:s portfölj, säger han. Ändå tjänade de aldrig några pengar på det. Alla patent som citerade deras går långt för att förklara hur de är olika, säger han och förklarar att det är så patentspelet spelas.
Man vet inte alltid var bra idéer kommer ifrån, säger Schmandt och tillägger att han under åren lärt sig att lyssna på eleverna. Mitt jobb är att hjälpa dem att finslipa sina idéer – ta reda på vilken del av idén som är den goda delen. Var är den verkliga nyheten? Hur kan du bygga detta, hur kan du förklara detta?
Cindy Hsin-Liu Kao, PhD '18, säger att Schmandts uppmuntran var avgörande för hennes forskning, som involverade användargränssnitt som fäster till kroppen med hudvänliga material. Tack för att du alltid tror på mig, sa hon vid hans pensionsmiddag, som hon deltog i virtuellt, med hjälp av en handdator med inbyggd taligenkänning, från toppen av Peterskyrkan i Rom. När jag tänkte gå i en riktning som var mer konventionell eller att utforska något riktigt konstigt, sa du alltid att gå och göra något konstigt. Idag är Kao biträdande professor i design och miljöanalys vid Cornell University. Och hennes trådlösa videoflöde vid Schmandts middag förvånade ingen närvarande: i dag har verkligen alla en rambuffert i fickan.