Microsofts magiska penna

Om Jian Wang fick sin vilja igenom skulle allt vara digitalt.

Jag hatar skrivare – de förvandlar digitala saker till analoga, skämtar han och vadar genom ett hav av skåp på Microsoft Research Asia i Peking, Kina. Fyrtioaktig och gänglig, datavetaren är specialiserad på att uppfinna nya datorgränssnitt för att överbrygga klyftan mellan analogt och digitalt. Hans eget gränssnitt är dock ett brett leende, som kompletterar hans jeansskjorta och lättsamma sätt.

Den här historien var en del av vårt majnummer 2004

• Se resten av frågan
• Prenumerera

När han stannar vid ett skrivbord, plockar Wang upp en rektangulär, silverfärgad penna ungefär lika stor som en magisk markör och klottrar några korrigeringar på ett pappersdokument. Men det här är ingen vanlig penna. Några sekunder senare dyker hans kommentarer upp på en närliggande datorskärm ovanpå den elektroniska versionen av dokumentet på exakt den plats där han skrev på papperskopian. Wangs penna fångar handstil och låter användare göra ändringar i digitala filer på papper.

Denna universella penna, som Wang kallar den, kan förändra hur människor interagerar med datorer. Till skillnad från prylar som skriver på datorskärmar eller speciella pappersblock, använder Wangs uppfinning vanligt bläck, fungerar med vanligt papper och låter användare kombinera handskriven text och diagram med digitalt innehåll från rapporter, tidskrifter och webbsidor. En chef på en flygresa kan till exempel markera en papperskopia av en rapport och senare överföra ändringarna till filen på sin dator automatiskt.

Wangs digitala penna återspeglar också en pågående transformation i uppfinningsprocessen vid några stora företagslabb, en hybridisering av den ensamma uppfinnaren och traditionell företags FoU. Wang är pennans huvuduppfinnare, och det är hans insikt, djärvhet och kreativitet som till stor del har drivit ansträngningarna att utveckla den. Men samtidigt kunde han inte ha gjort så snabba framsteg utan Microsofts samlade expertis inom algoritmer för mönsterigenkänning, datorseende, handskriftsteknologier och textredigeringsprogram. Personligen är jag väldigt exalterad över det, säger Rick Rashid, senior vice president för Microsoft Research, vars huvudanläggning finns i Redmond, WA. Det är ett exempel på en ny typ av produktinkubation som vi gör,...en som sammanför människor med många olika färdigheter för att lösa ett unikt problem.

Microsoft ringer

Himalayas högar med papper fyller Wangs kontor, trots hans utropade avsky för utskrifter. Mitt i dessa påminnelser om den analoga världen, beskriver uppfinnaren början av pennprojektet. Som professor i ingenjörspsykologi vid Zhejiang University i Hangzhou, Kina, hade Wang gjort sitt namn i gränssnitt mellan människa och dator och virtuella verklighetssystem. Sedan, 1998, på höjden av sin akademiska karriär, fick han ett kryptiskt e-postmeddelande från Kai-Fu Lee, en känd forskare som precis startade upp Microsofts Beijing-labb. Lee föreslog att de skulle träffas men var för upptagen för att förklara varför. Jag vet inte hur han fick mitt namn, skrattar Wang, och han förklarade inte vem han var.

Wang kände sig äventyrlig och gick ändå. Han upptäckte snabbt att han och Lee delade ambitionen att skapa ett användargränssnitt för datorer som var baserat på handstil. Pennprojektet inspirerades delvis av Wangs önskan att göra det möjligt för mobila datorer att hantera handskrivna asiatiska språk. Men från sin akademiska forskning om 3D-gränssnitt hade han lärt sig att om tekniken inte är designad för att vara praktisk och tilltalande för en mängd olika användare, kommer den inte att bli allmänt antagen. Vi ville göra ett genombrott, inte förbättringar, säger han och tillägger att han i Microsoft hade hittat en perfekt partner. Jag insåg att det här är platsen att vara om du vill att din uppfinning ska användas av miljontals människor istället för bara ett par. Med den motivationen lämnade Wang Zhejiang University och började på Beijing-labbet hösten 1999.

Omedelbart började Wang, Lee och en kärngrupp av forskare dagliga brainstormingsessioner för att klara av projektets målsessioner som så småningom inkluderade deras högsta chef. När vi pratade med Bill [Gates] om den här tekniken, säger Wang, insåg vi att vi uppfinner en ny typ av dokument, inte bara en penna. Nyckelidén, som passar med Microsofts verksamhet att göra kontorsdatorer mer användbara, var att ett dokument kunde hållas digitalt även när det skrivs ut - med rätt typ av penngränssnitt och programvara.

Det tog mer än fyra år att få det att fungera. Microsoft höll inte bara med Wang, det gjorde det också möjligt för honom att bygga ett team på cirka 20 forskare, vilket gav honom tillgång till de färdigheter i programmering och hårdvara han behövde för att designa pennan. Efter några felaktiga starter – inklusive en besvärlig version som drog slutsatsen vad användaren skrev från pennans rörelser – utnyttjade Wangs team framsteg inom datorseendealgoritmer och baserade pennans avkänning på en enkel digitalkamera.

Forskarnas första utmaning var att hitta ett sätt att bestämma pennans position på sidan. Deras lösning involverar speciell programvara som sätter ett knappt synligt bakgrundsmönster, som en vattenstämpel, på vanligt kopieringspapper när ett dokument skrivs ut (se Sätta penna på...dator, nedan). Det gör att datorn kan ta reda på inte bara exakt var pennan är i förhållande till dokumentet utan också vilket dokument som ändras, eftersom varje sida har en unik kod. En trycksensor i pennan utlöser en liten inbyggd kamera som tar bilder av användarens skrift. Bilderna lagras i pennan på ett minneschip som de som finns i digitalkameror; när pennan placeras inom några meter från en PC eller bärbar dator som har rätt programvara installerad, överför pennan bilderna trådlöst via en Bluetooth-anslutning.

Lägger pennan till...datorn

Pennan innehåller en digitalkamera, en trycksensor, en Bluetooth-radio och ett minneschip. När användaren skriver på papper tar kameran små bilder av bläcket.
Pappret har ett bakgrundsmönster, som en vattenstämpel, som skrivs ut med dokumentet. Datorn använder den här koden för att ta reda på exakt var bläcket är på sidan.
Datorn tar emot bildsekvensen trådlöst och rekonstruerar handstilen på rätt plats i den digitala dokumentfilen. Med speciell redigeringsprogram kan användaren sedan manipulera och formatera handstilen.

Att tolka dessa bilder och införliva dem i digitala filer visade sig vara ett tuffare problem. Tricket, förklarar Wang, är att få datorn att känna igen olika typer av skrift och teckningar – att veta vad som är en låda, vad som är en mening och vad som är en doodle – bara från en serie bilder. För det första klassificerar datorseende algoritmer sekvenser av märken som ord, diagram eller former, som alla kan manipuleras. Sedan ger programvara för teckenigenkänning - ämnet för år av intensiv forskning hos Microsoft och på andra ställen - mening med den handskrivna texten. På datorskärmen visas användarens märken som handstil inbäddad i dokumentet. Mjukvaruverktyg kan sedan konvertera texten till maskinskriven text och renderad grafik; med dessa verktyg kan användaren manipulera till exempel rutor och text från ett handritat flödesschema.

Förutom att göra det möjligt för användare att importera och manipulera handskriven text, tabeller och diagram, säger Wang, kommer pennan att tillåta flera medarbetare att kommentera separata utskrifter av ett dokument; datorn kunde sedan integrera dem alla i samma fil. Slutresultatet, säger Wang, kommer att bli ett gränssnitt som en bärbar skanner - men ett som är smart nog att förstå bilderna den tar och för att uppfylla sin uppfinnares dröm om att förvandla högar av analogt papper tillbaka till digitala filer.

Genomgående pennor

Bort från labbet, över en måltid av Shanghai-stil köttbullsoppa och ångad fisk, förklarar Wang hur labbets kultur främjar uppfinningar. Förutom att dela ett hårt arbete, ät hårt mentalitet, säger han, är labbets medlemmar – och ledare – erfarna forskare som förstår att genombrott tar tid. Du behöver inte alltid bevisa dig själv inom en månad, eller ens ett år, säger Wang. Så forskare har flexibiliteten att prova en mängd olika tillvägagångssätt - viktiga för ambitiösa projekt som att återuppfinna pennan.

Microsoft Research Asia är ett stort företagslabb som sysselsätter 150 heltidsforskare, men det har förvånansvärt lite byråkrati, säger Wang. Inga särskilda godkännandeförfaranden. Inga tunga mandat uppifrån. Företaget försöker främja uppfinningar genom att ge sina ingenjörer friheten att utforska intressanta vägar för långsiktig forskning, samtidigt som de förblir fokuserade på kortsiktiga resultat genom att sätta milstolpar och genomföra projektgranskningar några gånger om året. Det gör det mer som en miljö i akademisk stil, säger Wang. Vi publicerar uppsatser, går på konferenser och tar emot många gästprofessorer. Det är en öppen miljö.

Observatörer säger att denna öppenhet är avgörande för labbets produktivitet, särskilt i ett land med en begränsad historia av företagsforskning. De har varit en framgång på grund av deras band till den akademiska världen, säger Shiqiang Yang, vice ordförande för institutionen för datavetenskap och teknologi vid Tsinghua University, en av Pekings ledande ingenjörsskolor. Det fria utbytet av idéer med studenter och professorer har stärkt labbets ställning i det akademiska samhället – och det hjälper det att rekrytera några av Kinas främsta studenter och datavetare.

De nära banden lönar sig: mer än 70 tekniker som utvecklats vid Beijing-labbet har hittat in i Microsofts produkter inom områden som videospelsgrafik och taligenkänning för diktering. När det gäller Wangs digitala penna kan den öppna upp helt nya marknader för Microsoft. Även om kommersialiseringen fortfarande är några år bort, för Wangs team diskussioner med företagets produktutvecklingsgrupper i Redmond. Specifika produktplaner har inte gjorts ännu, säger Rashid, men det genererar många spännande idéer om vad som kan vara möjligt.

Faktum är att teknologier som utvecklats av Wangs grupp under pennprojektet redan ger utdelning till företaget. Programvara som kan känna igen och manipulera handstil på en skärm är en funktion i Tablet PC-operativsystemet Microsoft som släpptes 2002. Den asiatiska marknaden kan vara den första ingången för gränssnitt som den digitala pennan på grund av efterfrågan på programvara för att känna igen och redigera Tecken på asiatiskt språk, det stora antalet gör dem tråkiga att mata in med tangentbord.

Med alla nya uppfinningar finns det många utmaningar att omvandla en spännande prototyp till en verklig produkt; men här borde Wangs utbildning i psykologi och mänskliga faktorer tjäna honom väl. Pennan och dess mjukvara måste göras enklare att använda, säger han; kunder kommer inte att tolerera ökad komplexitet. Med de återstående vecken utarbetade har uppfinningen dock potentialen att bli allestädes närvarande, på grund av vanliga pennors förtrogenhet och bekvämlighet. Pennan är så genomgripande, så uttrycksfull och en av de bästa uppfinningarna, säger Wang. Så jag tror att pennan kan vara en mycket bra datorenhet för framtiden.

I slutändan, säger Wang, kommer allt på dina skrivbord - böcker, tidskrifter, utskrifter - att ha en digital anslutning till din dator. Det är vad han kallar att stänga slingan mellan analogt och digitalt. Och med ökad datorkraft och minne kan en enhet som Wangs penna bli det huvudsakliga datorgränssnittet som människor använder på vägen. Wang föreställer sig att användare inte bara kan skriva in och lagra data utan också, med en trådlös handdator, få tillgång till information i exempelvis en tidningsartikel bara genom att understryka ord som kan kännas igen och slås upp på webben.

Med så mycket att göra har Wang dock ingen tid att slösa. Han kanske arbetar för ett av världens största företag, men han behåller fortfarande de långa natttimmar som en ensam uppfinnare. Efter middagen, medan större delen av Peking är mörkt och tyst, går han tillbaka till jobbet, med avsikt att skriva ut framtiden för människa-dator-gränssnitt.

Dölj