211service.com
Hur man digitaliserar en miljon böcker
Femton månader efter att Google tillkännagav ett bokskanningsprojekt av bibliska proportioner – ett försök att digitalisera hela boksamlingarna för bland annat New York Public Library och Harvard University-biblioteken – är företaget fortfarande förtegen om hur de löser viktiga tekniska problem och kommer inte att säga hur mycket de har åstadkommit hittills.
Men ett liknande om mindre projekt – den Miljonbokprojekt vid Carnegie Mellon University i Pittsburgh – har pågått i cirka sju år. Det kan ge några ledtrådar. Projektets ledare, datavetaren Raj Reddy, säger att han och hans kollegor inte har mer kunskap om Googles metoder eller framsteg än någon annan, men de tar sig an många av samma utmaningar.
Målet med Google boksökning är att göra alla offlineböcker – för närvarande osynliga för Googles öga – sökbara. Detta innebär att fysiskt skanna hundratals miljoner sidor bundna mellan pärmarna på uppskattningsvis 18 miljoner böcker, känna igen cirka 430 språk och alla möjliga typsnitt, göra resultaten tillgängliga för textsökningar och replikera den traditionella biblioteksupplevelsen när allt är klart. Daniel Clancy, ingenjörschef för Google Book Search, säger att han inte kan kommentera vad företaget har åstadkommit hittills.
I CMU-projektet är skanningstekniken dock från hyllan. De använder lättillgängliga Minolta PS 7000 bokskannrar uppsatta på 40 skanningsstationer i Indien och Kina, där de lokala myndigheterna hjälper till att hålla kostnaderna låga för det ideella projektet. I den här inställningen vänder arbetare varje sida manuellt. Sju år in i projektet har omkring 600 000 böcker (främst offentliga verk skickade från hela världen) skannats, och varje dag ansluter sig ytterligare 100 000 sidor till den digitala korpusen. I denna takt kan det ta knappt fem år att slutföra CMS-projektet.
Däremot säger Clancy att Google har utvecklat sin egen skanningsteknik. Men företaget är mamma när det gäller de tekniska detaljerna för hårdvaran, programvaran för optisk teckenigenkänning (OCR) och skanningshastigheten vid deras fem skanningscenter nära samarbetande bibliotekspartners vid Harvard, Stanford, University of Michigan, University of Oxford och New York Stadsbibliotek.
Reddy säger kommersiellt tillgänglig programvara för att känna igen engelska fungerar bra för Million Book Project. Utmaningarna de möter med OCR hanteras av deras kinesiska partner, som utvecklar specifik programvara för att bättre känna igen okonventionella typsnitt och kalligrafiska skript som ofta finns i äldre böcker. Dessutom utvecklar deras partner i Egypten OCR för arabiska. Just nu, säger Reddy, är OCR ett aktivt forskningsområde där många länder bidrar med expertis.
När böcker har skannats och deras texter är tillgängliga är den stora utmaningen att göra texten användbar för sökning. Inkonsekvensen i fysisk kvalitet på böcker kan orsaka problem, säger Clancy, särskilt med sidnumrering. Till exempel kan helsidor saknas eller hörn med öron kan avslöja ett felaktigt sidnummer. Och om paginering är fel i en del av boken sprider sig felet genom hela arbetet.
Detta problem övervinns, säger CMU:s Reddy, genom att designa programvara som inte förlitar sig på sidnummer. Istället skapar den strukturell metadata, som i grunden är taggar som sammanfattar betydelsen av information i en bok, så att forskare kan länka ord i innehållsförteckningen med motsvarande kapitel. Dessutom kan indexerade termer länkas till rätt stycken. Tyvärr, säger Reddy, är upprättandet av länkarna fortfarande en manuell process; ingen har utvecklat programvara som kan etablera dessa hyperlänkar med mer än cirka 90 procents noggrannhet. Om tekniken kan finslipas kan det dock göra textsökningar mer meningsfulla.
I slutändan, säger Clancy, vill Google att boksökning ska ge samma resultat som att någon går till ett bibliotek, letar i dess högar och utan vidare hittar en bok som är intressant eller användbar. Ett sätt att göra detta skulle vara att länka böcker till varandra efter kategorier och teman, tipsar han. Uppgiften blir dock mer komplicerad när man kopplar verk av Virginia Woolf, till exempel, till kritik av hennes verk, verk som inspirerat henne eller författare som skrev under samma era. Att designa algoritmer som effektivt kan organisera all denna nya information, säger Clancy, är en av de stora utmaningarna och kommer att ta många år.
Reddy säger att CMU-forskare försöker ta itu med denna utmaning genom att använda en statistisk metod för att organisera informationen. I detta tillvägagångssätt skulle Virginia Woolfs ström-av-medvetande-meningar, till exempel, analyseras med en algoritm som skulle hitta mönster baserat på meningslängd, struktur och interpunktion. Denna teknik kan hitta ett verk av James Joyce, ett av Woolfs influenser - eller det av en obskyr författare vars skrifter annars kanske aldrig hade hittats.
Under tiden söker forskare genvägar för att söka bland författare, böcker och genrer, säger Reddy. I likhet med hur samarbetsfiltrering på Amazon använder människors tidigare köp för att hjälpa andra att hitta potentiella köp, kan boksökningsanvändare hjälpa varandra. Det community-baserade tillvägagångssättet är en idé som Google inte har tillkännagett, säger Clancy, men det kan lägga till ytterligare ett lager för att söka igenom böcker och skapa spänning på gräsrotsnivå kring projektet.
Visst, att hålla sina kort nära är inte nytt för Google. De är hemliga om nästan allt de gör...detta är väldigt vanligt med Silicon Valley-företag, säger Reddy på CMU. När det gäller boksökning, säger han, vill Google ha en lösning för alla bibliotek. Trots det är Reddy exalterad över Googles projekt och tror att det så småningom kommer att komplettera hans forskning. Jag är säker på att någon gång kommer de att ha en pekare till våra böcker, säger han.
Samtidigt måste Google brottas med den icke-tekniska frågan om missnöjda upphovsrättsinnehavare som drar dem till domstol. The Author's Guild och ett antal förlag har stämt dem och hävdar att Googles projekt bryter mot upphovsrättslagen. (Stanford-professorn Lawrence Lessig har gjort en 30-minuters video- om den juridiska kontroversen.)
Men om de juridiska och tekniska utmaningarna kan övervinnas, kan digitaliserade fysiska böcker avsevärt överträffa miljarder befintliga webbsidor i bredd och djup av information. Faktum är att en enda omfattande onlinekortkatalog för miljontals av världens böcker har potential att skapa ett helt nytt kapitel i informationsåldern.