211service.com
En ny dimension för dina foton
När du tittar på fotoutskrifterna från din Washington, D.C., kan semestern framkalla minnen av att vara på riktiga, tredimensionella platser som Lincoln Memorial. Men tänk om du faktiskt kunde gå in i ditt fotografi och stå vid Lincolns fötter igen – eller åtminstone zooma in i en 3D-version av din bild på en datorskärm? En ny webbtjänst kallas Fotowoosh lovar att leverera en sådan upplevelse, tack vare datorseendeforskare vid Carnegie Mellon University i Pittsburgh.
Den stora bilden: Fotowooshs webbaserade system förvandlar platta, tvådimensionella bilder till zoombara 3D-scener med hjälp av maskininlärningsalgoritmer som delar upp en bild i områden som representerar marken (grön i den falska färgbilden), vertikala ytor (pilar) och himmel ( cirklar). Dessa ytor viks sedan till en 3D-modell som liknar en popup-illustration i en barnbok. För att undersöka ett exempel på en Fotowoosh-modell i 3D måste du ladda ner både en .wrl-fil från Fotowoosh-webbplatsen och en 3D-visningstillägg för dina webbläsare.
Derek Hoiem , doktorand vid Carnegie Mellon’s Robotics Institute , har ägnat det senaste och ett halvt år åt att ta reda på hur man skaffar programvara för att konvertera platta bilder till 3D-modeller för virtuell verklighet som kan manipuleras på skärmen. Arbeta med lärare Alexei Efros och Martial Hebert , Hoiem kom med ett maskininlärningssystem som identifierar olika ytor och deras orienteringar baserat på vad det har lärt sig från att granska tidigare foton. I huvudsak frigör Fotowoosh personen som tittar på ett fotografi från fotografens synvinkel så att han eller hon kan utforska andra perspektiv än det som kameran faktiskt fångade.
Nu Freewebs , ett Silver Spring, MD, företag som är värd för 14 miljoner personliga webbplatser, är på väg att lansera en konsumentversion av Hoiems programvara på webben. Freewebs president Shervin Pishevar säger att han hoppas att webbanvändare kommer att ladda upp tusentals fotografier till Fotowoosh och dela 3D-versionerna med andra besökare, vilket gör tjänsten till vad han kallar en 3-D Flickr. Flickr är naturligtvis Yahoos mycket populära fotodelnings- och sociala nätverkssajt.
En testversion av Fotowoosh-systemet kommer att lanseras i maj, säger Pishevar. Systemet fungerar bäst på utomhusbilder. Konverterade foton ser lite ut som illustrationerna i popup-böcker för barn: det finns en tydlig mark som motsvarar den platta sidan i en popup-bok, och vertikala ytor står i rät vinkel mot marken och representerar föremål som väggar, träd, och fordon. Bilderna visas på en webbsida laddad med en speciell visningsprogram med kontroller för att zooma, panorera och rotera 3D-modellen. Även om programvaran bokstavligen lägger till en ny dimension till gamla turistbilder, kan den i framtiden också användas för ändamål som robotnavigering eller att bygga fotorealistiska virtuella 3D-världar.
Multimedia
Video: En ny dimension för dina fotografier
Hoiem säger att programvaran härmar några av de knep som våra hjärnor använder för att ge djup åt de tvådimensionella bilder som ständigt landar på våra näthinnor. Traditionella (icke-stereoskopiska) kameror har bara ett öga jämfört med våra två. Det betyder att de inte kan dra fördel av parallax – fenomenet där våra högra och vänstra ögon ser närliggande objekt i lite olika positioner i förhållande till objekt längre bort – för att få en stereobild. Faktum är att det är matematiskt omöjligt för programvara att beräkna formen på en 3D-scen från en enda tvådimensionell bild med 100 procents tillförsikt, eftersom objekten i scenen teoretiskt sett kan vara hur långt som helst bort. Men folk kan göra det, konstaterar Hoiem. Det är bara det att det inte finns en enkel algebraisk lösning.
Faktum är att parallax inte strikt krävs för 3D-seende: om du stänger ena ögat blir världen inte platt. Hjärnan härleder djup med hjälp av alla möjliga ledtrådar som skuggning, färg, rörelse och vår lärda erfarenhet om de rumsliga förhållandena mellan golv och väggar, eller mellan gator och byggnader. Det visar sig att med en ganska enkel modell – att tänka på världen i termer av en markyta, vertikala ytor som sticker upp ur den och himlen – kan du skapa ganska övertygande 3D-modeller, säger Hoiem.
Mjukvaran som han, Efros och Hebert utvecklade börjar konvertera en bild genom att försöka gruppera varje pixel i en tvådimensionell bild i en av dessa klasser. Sky är vanligtvis det enklaste - det är blått eller vitt. Den övre och nedre kanten på de flesta foton är justerade med horisonten, vilket hjälper programvaran att identifiera jordplanet. Och fönstren i en flervåningsbyggnad är ofta arrangerade i parallella linjer med en gemensam flyktpunkt – en stark indikation på en vertikal yta.
Men Hoiem lärde inte programvaran uttryckligen dessa regler. Systemet är baserat på maskinlärande algoritmer, vilket innebär att det tar reda på sina egna tumregler genom att känna igen statistiska mönster i hundratals bilder där marken, himlen och vertikala ytor har förmärkts av människor.
Vi behövde inte börja helt från början, lyckligtvis, säger Hoiem. Det har varit mycket arbete med hur vi representerar färg och textur och struktur. Det finns en befintlig algoritm för att känna igen flyktpunkten för en grupp av linjer. Och folk har arbetat mycket med att känna igen föremål som människor eller bilar. Men ingen hade tänkt på att man kanske kan kombinera alla dessa och lära sig känna igen den faktiska geometrin i en scen.
När Fotowoosh har identifierat de viktigaste ytorna i en scen sammanfogar den dem till en 3D-modell med hjälp av filformatet Virtual Reality Markup Language, eller VRML. Programvaran skalar bort delar av den tvådimensionella bilden och klistrar in dem på lämpliga ytor i modellen, en process som kallas texturmapping.
För närvarande kan de färdiga modellerna endast ses i en webbläsare utrustad med ett speciellt tillägg för visning av VRML-filer. Men i betaversionen av Fotowoosh, som kommer nästa månad, kommer modellerna att visas med det vanligare Flash-formatet som redan finns i de flesta webbläsare, enligt Pishevar. (De Fotowoosh hemsida innehåller en video som visar slutprodukten för flera exempelbilder.)
Just nu är systemet inte särskilt bra på att separera diskreta objekt som ska vara i förgrunden, som fotgängare i en gatubild, från bakgrundsytor, som väggar. Men Hoiem jobbar på det. Om ett år eller möjligen mindre kommer du att kunna ta ett foto av en gränd med alla typer av bilar och människor och skapa en 3D-modell där alla ses som separata 3D-förgrundsobjekt, säger han.
Cirka 17 000 personer har anslutit sig till väntelistan för betaprogramvaran, enligt Pishevar. Besökare kommer att kunna ladda upp och konvertera sina egna foton till 3D-modeller och lagra dem i ett galleriområde, och Freewebs-medlemmar kommer att kunna bädda in modellerna på sina egna webbsidor.
Pishevar säger att Freewebs kontaktade Hoiem angående kommersialisering av hans arbete eftersom det stämmer mycket överens med vår vision om att förändra de typer av personliga medier som kan leva på en visuell webbsida. Det är en av de tekniker som förändrar hur du ser saker i världen och vad du tror är möjligt.
Så småningom kan Hoiems arbete förändra hur robotar använder datorseende för att navigera sig igenom hinderbelagda miljöer. Hoiem säger att han och hans kollegor också arbetar på sätt att skapa mer komplicerade 3D-modeller genom att bearbeta flera fotografier av samma område. Dessutom arbetar de på idén att animera 3D-scener som livliga gator genom att förutsäga riktningen som fotgängare och bilar skulle ha rört sig under flera sekunder efter att fotografens slutare klickat.
Eftersom Fotowoosh-modellerna följer ett standard 3D-format, VRML, kan de enkelt importeras till andra 3D-applikationer, såsom modellprogramvara; uppslukande virtuella världar, som Linden Labs Second Life; och virtuella jordglobssystem, som Google Earth och Microsoft Virtual Earth. Möjligheten att skapa strukturmappade 3D-byggnader inuti dessa världar från några få tvådimensionella foton skulle vara ett stort framsteg jämfört med nuvarande metoder, som innebär att man konstruerar en 3D-modell från ritningar eller annan data, och sedan manuellt klistra in fotografier på varje sida. Det är bara inte skalbart, säger Pishevar. Men om du har människor som laddar upp miljarder 3D-bilder från hela världen ... då kan du komma till punkten att bygga applikationer som använder modellerna för att automatiskt fylla i landskap av virtuella jordar.
Pishevar säger att Freewebs så småningom kommer att tillhandahålla ett applikationsprogrammeringsgränssnitt, eller API, som mjukvaruutvecklare kan använda för att skapa just sådana mashups. På frågan om hans företag redan är i diskussioner med sådana som Google eller Linden Lab är Pishevar modig: Vi kan faktiskt inte kommentera det just nu.