Microsofts Shiny New Toy

Vid förra mars månads konferens Technology, Entertainment, Design (TED) i Monterey, Kalifornien, ett toppmöte som har beskrivits som Davos för digerati, började den lugna mjukvaruarkitekten från Microsoft plötsligt sin demonstration och navigerade snabbt över ett hav av bilder som visas på en stor skärm. Med hjälp av Seadragon, en teknologi som möjliggör smidig, snabb utforskning av stora uppsättningar text- och bilddata, dykade han utan ansträngning in i en 300 megapixel karta och zoomade in för att avslöja en datumstämpel från Library of Congress i ett hörn. Sedan vände han sig till en bild som såg ut som en streckkod men som faktiskt var den fullständiga texten av Charles Dickens Dyster hus , zooma in tills två skarpkantade typfigurer fyllde skärmen, innan du lätt zoomade tillbaka till det gigantiska täcket av text och bilder.

Du är här: Photosynth, en applikation under utveckling hos Microsofts Live Labs, erbjuder ett uppslukande sätt att se bilder av en given sak eller plats. Mjukvaran har ännu inte släppts, men Microsoft demonstrerar den online med fotosamlingar som den här av Markusplatsen i Venedig.

Microsoft hade förvärvat Seadragon året innan – och med det presentatören Blaise Agüera y Arcas. Men Agüera y Arcas hade inte kommit till TED bara för att visa upp Seadragon. Snart klippte han till ett panorama som kaklades ihop från foton av de kanadensiska klippiga bergen; mosaiken skiftade när han panorerade över den och avslöjade en dramatisk åslinje. Därefter kom en flygvy av vad som verkade vara en modell av en välbekant byggnad: Notre Dame-katedralen. Modellen, förklarade Agüera y Arcas, hade satts ihop från hundratals separata bilder från Flickr. Det var ett punktmoln – en uppsättning punkter i tredimensionell rymd.

Den här historien var en del av vårt marsnummer 2008

• Se resten av frågan
• Prenumerera

Medan han pratade navigerade Agüera y Arcas retsamt runt Notre Dames periferi, som gång på gång blev levande och nedtonad igen. Effekten av att slingra sig genom skiftande bilder och fokuspunkter mildrades av subtila övergångseffekter. Det kändes som en avsiktligt saktad rulle av bildruta-för-bildruta-animering; effekten var skakande. Publiken tittade förundrat på när Agüera y Arcas trängde sig djupare in i frontvyn av byggnadens valv, och slutade med en snäv närbild av en gargoyle. Vissa av bilderna som tekniken hade ritat på var inte ens strikt fotografiska: den hade sökt på Flickr efter alla relevanta bilder, inklusive en affisch av katedralen. Det Agüera y Arcas demonstrerade var inte video, men det var inte heller bara en samling bilder, inte ens en gigantisk sådan. Det var också som en karta, men en uppslukande sådan animerad av drömlogiken att sudda ut former och skifta perspektiv.

Detta var Photosynth – en teknik som analyserar relaterade bilder och länkar dem samman för att återskapa fysiska miljöer i ett bländande virtuellt utrymme. Tekniken skapar en metavers, sa Agüera y Arcas (för mer om den begynnande blandningen av kartteknologier som Google Earth och de fantastiska rikena av spel som Second Life, se Second Earth, juli/augusti 2007); men det utgör också den långa svansen av Virtual Earth, Microsofts konkurrent till Google Earth, på grund av dess förmåga att dra från och bidra till den rikedom av lokala kart- och bilddata som finns tillgängliga online. Det kan ge oerhört rika virtuella modeller av alla intressanta delar av jorden, sa han, samlade inte bara från luftflygningar och från satellitbilder och så vidare, utan från det kollektiva minnet. Då slutade presentationen lika abrupt som den hade börjat ungefär sex minuter tidigare. Agüera y Arcas avslutande uttalande möttes av en applåd.

Multimedia

• Se bilder från Photosynth och se hur det fungerar.

• Titta på Photosynth Stitch-bilder tillsammans.

Bortom bildsömnad
Photosynth föddes ur vad Agüera y Arcas kallar äktenskapet mellan Seadragon och Photo Tourism, ett Microsoft-projekt som syftar till att revolutionera sättet att paketera och visa fotouppsättningar. Fototurism hade börjat som doktorsavhandling för en nitisk 26-årig doktorand vid University of Washington vid namn Noah Snavely. En av Snavelys rådgivare var Rick Szeliski, en forskare i datorseende på Microsoft Research, företagets FoU-gren. Jag beskrev behovet av de goda delarna av ett starkt bildspel, som fantastisk komposition, minns Szeliski, vars tidigare arbete på Microsoft hade hjälpt till att utveckla den bildhäftningsteknik som nu används i digitalkameror för att fylla en bredare eller högre ram. Han sökte också flyt mellan bilder och en känsla av interaktivitet när han tittade på dem.

Genom att arbeta med Szeliski och en professor vid University of Washington vid namn Steve Seitz, var Snavely inriktad på att koda en väg framåt genom en beräkningsmässigt förbjuden utmaning: hur man får foton att smälta samman, på grundval av deras likheter, till en fysisk 3D-modell som människan ögon kunde känna igen som en del av ett autentiskt, verkligt landskap. Dessutom bör modellen vara en som användare kan navigera och uppleva spatialt. Befintlig fotohäftningsprogramvara som används i elektroniska enheter som digitalkameror visste hur man kunde sluta sig till relationer mellan bilder från sekvensen där de togs. Men Snavely försökte utveckla mjukvara som kunde göra sådana bedömningar på ett helt annat sätt. Han utarbetade en process i två steg: I det första steget identifierar vi framträdande punkter i alla 2D-bilder, säger han. Sedan försöker vi ta reda på vilka punkter i olika bilder som motsvarar samma punkt i 3D.

Processen, säger Snavely, kallas 'struktur från rörelse.' I grund och botten kan en rörlig kamera sluta sig till 3D-struktur. Det är samma idé som när du flyttar huvudet fram och tillbaka och kan få en bättre känsla av 3D-strukturen av det du tittar på. Försök att stänga ett öga och flytta huvudet från sida till sida: du ser att olika punkter på olika avstånd kommer att röra sig olika. Detta är grundtanken bakom struktur från rörelse.

Datorseende, som Agüera y Arcas förklarar, drar nytta av en enkel garanti: all rumslig data är kvantifierbar. Varje punkt i rymden har bara tre frihetsgrader: x, y och z, säger han.

Attribut som delas av vissa foton, tillägger han, hjälper till att markera dem som liknande: en distinkt formad gatsten kan till exempel dyka upp upprepade gånger. När programvaran känner igen likheter – stenen på det här fotot visas också i den – vet den att söka ytterligare likheter. Processen att gruppera bilder på basis av matchande visuella element samlar alltså ånga tills en hel väg kan återskapas från dessa gatstenar. Ju fler bilder systemet börjar med, desto mer realistiskt blir resultatet, speciellt om originalbilderna är tagna från en mängd olika vinklar och perspektiv.

Det beror på att den andra beräkningsövningen, säger Snavely, är att jämföra bilder där delade funktioner avbildas från olika vinklar. Det visar sig att den första processen hjälper den andra och ger oss information om var kamerorna måste vara. Vi kan återställa den synvinkel som varje bild togs från, och när användaren väljer ett foto tas de till den synvinkeln. Genom att placera en synvinkel för varje bild – beräkna var kameran måste ha varit när bilden togs – kan programvaran efterlikna hur binokulärt seende fungerar, vilket ger en 3D-effekt.

Men som Szeliski visste är det mänskliga ögat den mest ombytliga av kritikerna. Så han och hans två kollegor försökte göra mer än att bara dela ihop mindre delar till en större helhet; de arbetade också med övergångseffekter för att låta bilder mötas så sömlöst som möjligt. Teknikerna de förfinade inkluderar upplöser, eller bleknar, den karakteristiska metoden med vilken film- och videoredigerare blandar bilder.

I en demo som visade Fontana di Trevi i Italien, uppnådde Photo Tourism en uppstyltad, rudimentär version av vad Photosynth skulle producera: ett punktmoln sammansatt av bilder som representerar olika perspektiv på en enda plats. Mer imponerande var mjukvarans förmåga att trampa genom banker av bilder som laddats ner från Flickr baserat på beskrivande taggar – foton som naturligtvis inte hade tagits i syfte att producera en modell. Resultatet, minns Szeliski, var överraskande och fräscht även för hans veterans ögon.

Det vi hade var ett nytt sätt att visualisera en fotosamling, ett interaktivt bildspel, säger Szeliski. Jag tror att Fototurism var överraskande av olika anledningar för insiders och utomstående. Insiders var förvirrade över den övertygande lättheten i upplevelsen. Utomstående, säger han, kunde knappt tro att det var möjligt alls.

Och ändå hade Photo Tourism-applikationen en oviss framtid. Även om det var en teknisk uppenbarelse, utvecklad i Linux och kunde köras på Windows, var det fortfarande i hög grad en prototyp, och färdplanen för att utveckla den vidare var oklar.

Våren 2006, när Snavely presenterade Photo Tourism på en intern Microsoft-workshop, gick Blaise Agüera y Arcas, då en ny anställd, förbi och lade märke till det. Han hade kommit nyligen tack vare förvärvet av hans företag, Seadragon, som utvecklade en mjukvaruapplikation som han beskriver som en 3-D virtuell minneshanterare för bilder. Seadragons iögonfallande överklagande låg i dess förmåga att låta användare ladda, bläddra och manipulera oöverträffade mängder visuell information, och dess stora tekniska prestation var dess förmåga att göra det över ett nätverk. (Photosynths förmåga att arbeta med bilder från Flickr och liknande kommer dock från teknik som har sitt ursprung i Photo Tourism.)

Agüera y Arcas och Snavely började prata den dagen. Sommaren 2006 presenterades demos. Den resulterande hybridprodukten – del Photo Tourism och del Seadragon – samlar ihop ett stort kluster av liknande bilder (oavsett om det är foton eller illustrationer), och väver dem till en 3D-visuell modell av deras verkliga motiv. Det ger till och med tredimensionalitet till områden där 2D-bilderna möts. Varje enskild bild återges med perfekt trohet, men i övergångarna mellan dem fyller Photosynth i de perceptuella luckorna som annars skulle förhindra att en samling bilder känns som en del av en bredare bild. Och förutom att vara en visuell analog till en verklig scen, är den syntade modellen fullt navigerbar. Som Snavely förklarar är det dominerande navigeringsläget att välja nästa foto att besöka, genom att klicka på kontrollerna, och systemet flyttar automatiskt synpunkten i 3D till den nya platsen. Ett strövande öga är en bra metafor för detta. Programvaran återskapar det fotograferade motivet som en plats att uppskattas från alla dokumenterade vinklar.

Photosynths häpnadsväckande tekniska prestation är som att dra en kanin från en hatt: den producerar ett verklighetstroget 3D-gränssnitt från 2D-mediet för fotografering. Det här är något ur ingenting, säger Alexei A. Efros, en Carnegie Mellon-professor som är specialiserad på datorseende. Hemligheten, förklarar Efros, är mängden fotografier. I takt med att man får mer och mer visuell data blir kvantiteten kvalitet, säger han. Och när du får fantastiska mängder data börjar den berätta saker du inte visste innan. Tack vare förbättrad mönsterigenkänning, indexering och metadata kan maskiner härleda tredimensionalitet. Snarare än vi förväntar oss, säger Efros, kommer syn att vara den primära sensorn för maskiner, precis som det är nu för människor.

Microsoft demonstrerar Photosynth online med fotosamlingar som den här på Markusplatsen i Venedig. Bilderna i den här samlingen togs av en enda fotograf under 10 dagar.
Kredit: Med tillstånd av Microsoft Live Labs

Vad det kan bli
Microsofts arbete med Photosynth exemplifierar företagets strategi för de 100 personer starka Live Labs. Dels webbaserad skunk fungerar, dels rekryteringsplats för propellerhuvuden för vilka företagsföräldern inte passar bra, Live Labs syftar delvis till att utmana vad folk tror att Microsoft handlar om, säger Gary Flake, en 40-åring teknisk fellow som är labbets grundare och chef. Dess mer omedelbara mål är att få ut webbteknologier på marknaden.

Flakes pitch om Live Labs-kulturen är en energisk sådan, när han talar om sina ansträngningar att överbrygga forskningsvetenskap och produktteknik. Flake, som har arbetat för ett flertal forskningsorganisationer, inklusive NEC Research Institute och Yahoo Research Labs, som han grundade och också drev, beskriver detta som en branschomfattande utmaning. På Live Labs har vi en medveten säkringsportfölj, förklarar han. Vi har en mycket intressant mix som omfattar 40 olika projekt.

Flake är ovillig att diskutera många av sina projekt i detalj, men han är full av spänning över sitt uppdrag att ta in mer DNA i vägen för rå talang. Vi vill skapa och främja tillståndet för internetprodukter och tjänster, säger han, men han talar också passionerat om Live Labs-anställda som mänskliga Rosetta-stenar som kan fungera som översättare i en FoU-värld där ingenjörer och forskare ofta i praktiken talar olika språk.

Photosynth-projektet, säger Flake, symboliserar den typ av framgång han vill kämpa för genom sina ansträngningar att övervinna den traditionella klyftan mellan vetenskap och produktteknik. Det representerar ett seriöst framsteg av den senaste tekniken.

För närvarande kan Photosynth endast ses i en onlinedemo, men Agüera y Arcas team hoppas kunna släppa den i slutet av året. Vad någon som skaffar den faktiskt kan göra med den återstår att se. Punktmoln kan göras från så få som två eller tre bilder, så man kan föreställa sig användare som skapar relativt osofistikerade syntar av sin egen fotografering - av till exempel en familjeresa till Mount Rushmore. (Naturligtvis kan människor som har Photosynth börja ta många fler bilder av en viss plats, i syfte att kunna göra en rik synth senare.) Men det kan också vara så att användare kommer att ta del av onlinebibliotek med foton – vilket kommer förmodligen att behöva laddas ner till en lokal dator - för att skapa sina egna syntar av mycket fotograferade webbplatser.

Ändå är Photosynth mestadels lovande med få bevis. Det finns många tekniska frågor om hur lätt det kommer att vara att använda och exakt vad dess kapacitet kommer att vara. Även, trots Linux-ursprunget till Photo Tourism, kommer Photosynth att förbli Windows endast under överskådlig framtid.

Och trots alla Photosynths omedelbara överklagande är dess tillämpningar också oklara. Världen behöver inte en annan bildwebbläsare, inte ens en banbrytande sådan. Det verkar ännu mer osannolikt att användare skulle betala för Photosynth i sin nuvarande form. Under tiden kommer Photosynths förmögenheter att bero på om det kan bygga en bred gemenskap av användare. Kommer det att anta nya användningsområden för dem som anammar det, som Google Earth har gjort? Ännu viktigare, kommer Microsoft att släppa en slutprodukt som är tillräckligt öppen för att en sådan community kan söka andra användningsområden än de som ursprungligen var tänkta?

Flake rapporterar att Photosynth-teamet har framkallat dussintals potentiella användningsområden, varav två ser särskilt troliga ut.

En är att integrera det mer fullständigt med Microsoft Virtual Earth, vilket gör det till det verktyget som tar användarna till nästa steg i djup zoom. Med Virtual Earth som hanterar topografi och flygfotografering medan Photosynth koordinerar en mängd markbundet fotografiskt material, skulle de två applikationerna kunna ge upphov till ett slags lättviktsmetavers, för att använda termen som Agüera y Arcas åberopade på TED.

Genom att notera Photosynths anläggning med byggnader och stadstorg, ser Seitz också för sig en uppskalning i stort. Vi skulle vilja fånga hela städer, säger han. Faktum är att Agüera y Arcas och Stephen Lawler, general manager för Microsofts Virtual Earth-projekt, tillkännagav i augusti 2007 i Las Vegas, vid den årliga hackarkongressen Defcon, att de planerar ett partnerskap. När några relativt små tekniska hinder väl är klara, säger Seitz, finns det inget som hindrar oss från att modellera städer.

När människor skapar och lagrar allt större mängder digitala medier, kan Photosynth till och med göra det möjligt för användare att lifecast sina familjefotoalbum. Tänk om du kunde se dina barn växa upp i ditt eget hus, säger Flake, bara från din fotosamling.

Eftersom sådana idéer tränger in, sitter Photosynth-teamet knappt stilla. Förra sommaren släppte forskarna ett online-demosamarbete med NASA, och nu arbetar de med Jet Propulsion Lab för att synta en liten del av Mars yta.

Man undrar verkligen hur långt Microsoft är villig att lägga pengar på den här typen av nörd. Återigen, som Agüera y Arcas och Flake frågar retoriskt, hur sätter man värde på denna typ av teknisk prestation? För medan Photosynth verkar sakna en tydlig väg till marknaden, verkar det också helt sakna konkurrens.

Jeffrey MacIntyre är en frilansjournalist som skriver mycket om kultur, vetenskap och teknik.

Dölj