211service.com
En gratis databas över hela webben kan skapa nästa Google
Google började som känd som lite mer än en mer effektiv algoritm för att rangordna webbsidor. Men företaget byggde också sin framgång på att genomsöka webben – med hjälp av programvara som besöker varje sida för att bygga upp ett stort index av onlineinnehåll.
En ideell organisation ringde Vanlig krypning använder nu sin egen webbsökrobot och gör en gigantisk kopia av webben som den gör tillgänglig för alla. Organisationen erbjuder över fem miljarder webbsidor, tillgängliga gratis så att forskare och entreprenörer kan prova saker som annars är möjliga endast för dem som har tillgång till resurser i samma skala som Google.
Webben representerar, så vitt jag vet, den största ansamlingen av kunskap, och det finns så mycket man kan bygga på, säger entreprenören Gilad Elbaz, som grundade Common Crawl. Men att bara göra den enorma mängd arbete som krävs för att få all den informationen är en stor blockerare; få organisationer … har haft resurserna att göra det.
Nya sökmotorer är bara en av de saker som kan byggas med hjälp av ett index över webben, säger Elbaz, som påpekar att Googles översättningsprogram tränades med hjälp av onlinetext tillgänglig på flera språk. Det enda sättet de kunde göra det var genom att börja med en massiv genomsökning. Det har satt dem på vägen att bygga Star Trek översättare, säger han. Att ha en öppen, delad korpus av mänsklig kunskap är helt enkelt ett sätt att demokratisera tillgången till information som är grundläggande för innovation.
Elbaz säger att han märkte för ungefär fem år sedan att forskare med nya idéer om hur man använder webbdata kände sig tvungna att ta jobb på Google eftersom det var det enda stället de kunde testa dessa idéer. Han säger att Common Crawls data kommer att göra det lättare för nya idéer att få genomslag, både i startupsvärlden och inom akademisk forskning.
Elbaz är grundare och VD för big data company Faktisk , och innan dess grundade ett företag köpt av Google för att vara grunden för dess annonsverksamhet för webbsidor. Common Crawl har även Googles forskningschef, Peter Norvig , och MIT Media Lab-direktör Joi Ito i dess rådgivande styrelse.
Common Crawl har hittills indexerat mer än fem miljarder sidor, och lagt till upp till 81 terabyte data, tillgänglig via Amazons cloud computing-tjänst. För cirka 25 USD kunde en programmerare skapa ett konto hos Amazon och börja arbeta med Common Crawl-data, säger Lisa Green, Common Crawls direktör. De Internetarkiv , en annan ideell organisation, sammanställer också en kopia av webben och erbjuder en tjänst som kallas Wayback-maskin som kan visa gamla versioner av en viss sida. Det tillåter dock inte någon att analysera all data på en gång på det sättet.
Common Crawl har redan inspirerat eller hjälpt några nya webbstarter. TinEye , en omvänd sökmotor som hittar bilder som liknar en som användaren tillhandahållit, använde tidiga Common Crawl-data för att komma igång. En programmerares personliga projekt som använder Common Crawl-data för att mäta hur många av webbsidorna som ansluter till Facebook— cirka 22 procent, avslutade han – ledde till att han säkrade finansiering för en startup, Lucky Oyster , baserat på att hjälpa människor att hitta användbar information i sina sociala data.
Andra idéer som möjliggörs av projektet dök upp från en tävling som kördes förra året som tilldelade priser för bästa användningsfall . En av vinnarna använde Wikipedia-länkar i genomsökningsdata för att bygga en tjänst som kan definiera betydelsen av ord; en annan försökte fastställa allmänhetens attityder till kongressens lagstiftning genom att analysera innehållet i diskussioner på nätet om nya lagar.
Rich Skrenta, medgrundare och VD för sökmotorstart Blekko (se As Google Tinkers With Search, Upstarts Gain Ground), säger Common Crawls data uppfyller ett definitivt behov i startup-gemenskapen. Han säger att Blekko har blivit kontaktad av nystartade företag med teknik som behöver tillgång till stora samlingar av onlinedata. Den typen av data är nu lätt tillgänglig från Common Crawl, säger Skrenta, vars företag bidrog med en del av sin egen data till projektet i december 2012. Blekko delade information från sitt system som kategoriserar webbsidor efter innehåll, till exempel märkning om de innehåller pornografi eller spam.
Ben Zhao , en docent vid University of California, Santa Barbara, som använder stora samlingar av webbdata för forskning om aktivitet på sociala webbplatser (se Hidden Industry Dupes Social Media Users), säger att Common Crawls data sannolikt är unik. Färska, storskaliga genomsökningar är ganska sällsynta, och jag är inte personligen medveten om var man kan få stora genomsökningsdata på webben, säger han.
Zhao noterar dock att några av de mest intressanta och värdefulla delarna av webben inte kommer att vara väl representerade i Common Crawls data: Sociala webbplatser är ganska känsliga för sitt innehåll nuförtiden, och många implementerar anti-crawlningsmekanismer för att begränsa hastigheten för någon. kan komma åt deras innehåll.
För att få tillgång till dessa data måste forskare skapa relationer med företag och lita på vad de kommer att släppa – en väg som är mindre tillgänglig för startups som kan ses som konkurrens.