211service.com
Du kan också bli nästa Google
Jag var på Google i fyra år och Google har uppenbarligen några fler datorer än vi, säger Tom Annau, VP of engineering på Blekko, sökmotorn som påstår sig vara lika med befintliga sökjättar Bing och Google – minus spam.
Genom att använda nya webbplatser som proxy, har tillväxten i mänsklig kunskap saktat ner...
Men mängden faktisk, användbar, intressant information på internet ökar inte lika snabbt som Moores lag, tillägger han.
Moores lag är inte så mycket en lag som en allmän trend i mikroprocessorindustrin – utan snarare en produkt av en decennier lång FoU-insats från företag som Intel som ett resultat av underliggande fysiska principer. Där står det att antalet mikroprocessorer du kan få för en slant ungefär fördubblas var 18:e månad. Detta innebär mindre, snabbare marker vars krafter har växt exponentiellt sedan 1960-talet, åtminstone.
Däremot tillväxten av webben kan plana ut . Trots det, hur skulle något företag, än mindre en startup, möjligen kunna hoppas på att konkurrera med den verkligt gigantiska server- och nätverksinfrastrukturen hos företag som Google och Microsoft?
Webbsökning är fortfarande en applikation som tänjer på gränserna för nuvarande datorenheter ganska hårt, säger Annau. Men Blekko åstadkommer ett komplett, aktuellt index av webben med mindre än 1000 servrar – förmodligen färre än vad som skulle finnas i något av Googles primära datacenter – genom att utnyttja problemet med att minska problemet till hanterbar storlek i sätt som sökjättarna inte kan eller vill.
Vi försöker undvika att genomsöka spam och annat dåligt innehåll, säger Annau. Jag tror att andra motorer har en policy för genomsökning först ställ frågor senare. En effektivitet vi vinner är att inte genomsöka splogs [spam-bloggar] och annat maskingenererat trassel.
Nästan allt maskingenererat innehåll på webben produceras just för att fånga sökmotorns spindlar som genomsöker det, och för att fylla deras index med annonsladdade sidor. Genom att undvika dessa webbplatser tillsammans – med hjälp av spam-detekterande algoritmer och mänsklig kurering – sparar Blekko enorma mängder resurser.
Det finns en viss grad utöver vilken, om du fortsätter att krypa, kommer du inte att genomsöka fler intressanta eller användbara eller bra grejer – det finns en hel del minskande avkastning på en stor webbsökning, säger Annau.
Blekko använder också en taktik som används av andra sökmotorer – en delad genomsökning som grundligt indexerar hela webben, inklusive mycket av dess statiska innehåll, mindre ofta än en snabb genomsökning som ständigt omindexerar webbplatser som ändras ofta, såsom nyheter och bloggar.
Vi genomsöker aggressivt massor av högkvalitativa, snabbt föränderliga källor, säger Annau. Du kan se att när du gör en slash-date-sökning - du kan se saker som kom in för bara några minuter sedan.
Moores lag marscherar vidare.
(DC)Wgsimon
Annaus långa syn på sökning är att indexering av hela webben – eller åtminstone de användbara delarna – blir mer lätthanterlig, inte mindre. I denna kalkyl annonserar Microsoft och Google och andra stora sökmotorer omfattningen av sina datacenter, delvis för att skrämma potentiella rivaler; att få inträdesbarriärerna i sökbranschen att verka högre än vad de faktiskt är.
Oavsett om vi lyckas eller misslyckas som startup, kommer det att vara sant att varje år som går av enskilda servrar kommer att bli mer och mer kraftfulla, och möjligheten att genomsöka och indexera användbar information på webben kommer faktiskt att bli mer och mer överkomlig, säger Annau.
Varje startup är en hypotes om viss effektivitet på marknaden som de uppfattar, tillägger han. För Blekko och andra startups av sökmotorer, som Gabriel Weinbergs enmansoperation Duck Duck Go, är den effektiviteten att summan av mänsklig kunskap kommer att överträffas, praktiskt, av ökningstakten i datorkraft.
Som Rich Skrenta, vd för Blekko, gillar att påpeka, planar tillväxten av Wikipedia ut. Det finns helt enkelt inte så många ämnen i världen – folk kan lägga till och redigera sidor men du kommer inte bara att kontinuerligt se en fördubbling av storleken, säger Annau.
