En webbspindel för alla

I takt med att mängden information på Internet fortsätter att växa, ökar också frågan om hur man bearbetar allt och gör det användbart. En startup som heter 80 ben , baserat i Houston, TX, hoppas att en billig, distribuerad webbsökningstjänst kan hjälpa startups att bryta webben för information utan att behöva bygga de gigantiska serverfarmar som används av stora sökmotorer. Företaget lanserades denna vecka på DEMO, en konferens i San Diego som visar upp nya företag.

Webbsökrobotar, eller spindlar, är programvara som automatiskt besöker sidor på Internet och kan användas för att indexera dem och samla in bitar av information från olika sidor. Sökrobotar används till exempel av sökmotorer för att övervaka var informationen finns på webben. Men webbens omfattning innebär att omfattande genomsökning förbrukar mycket processorkraft, vilket vanligtvis innebär att bygga enorma datacenter för att driva programvaran.

80legs hoppas kunna göra den här tekniken mer tillgänglig för små företag och privatpersoner genom att tillåta leasingåtkomst och låta kunderna betala endast för det de kryper.

Webbsökningsteknik är också avgörande för semantiska webbplatser och tjänster som är utformade för att bearbeta frågor på naturliga språk. Medan 80legs förväntar sig att se användare intresserade av sök- och semantiska applikationer, säger VD Shion Deysarkar att de som testade tjänsten även inkluderade kunder med mindre tekniska intressen. Vissa marknadsforskare använder till exempel 80legs för att avslöja omnämnanden av specifika företag eller ämnen på webben.

En användare kan starta en webbsökning genom 80legs webbaserade gränssnitt. Formuläret på företagets webbplats låter dem ställa in parametrar för projektet och ladda upp anpassad kod som behövs för att kontrollera hur sökroboten gör sitt jobb. En användare kanske till exempel vill att sökroboten ska hitta bilder och kontrollera dem mot en databas med upphovsrättsskyddade bilder. Deysarkar säger att hans företags sökrobotar kan bearbeta upp till två miljarder sidor om dagen. Företaget tar $2 för varje miljon genomsökta sidor, plus en avgift på tre cent per timmes bearbetning som används.

Många nystartade företag kämpar för att hitta den finansiering som behövs för att bygga stora datacenter, men det är inte det tillvägagångssätt som 80legs tog för att bygga sin webbkrypningsinfrastruktur. Företaget kör istället sin mjukvara på ett distribuerat nätverk av persondatorer, ungefär som de som används för projekt som t.ex.SETI @ home. Det distribuerade datanätverket sätts ihop av Plura Processing, som hyr ut det till 80legs. Plura får datoranvändare att leverera oanvänd processorkraft i utbyte mot tillgång till spel, donationer till välgörenhetsorganisationer och andra belöningar.

Deysarkar säger att tillvägagångssättet avsevärt minskar kostnaderna för 80 legs, vilket gör att företaget kan erbjuda sin tjänst för mycket mindre än vad som skulle vara möjligt om det använde ett datacenter, eller till och med en molntjänst som Amazon Web Services.

Daniel Tunkelang, medgrundare av sökföretaget Endeca , baserat i Cambridge, MA, säger att en bra webbsökningstjänst kan vara användbar för nystartade företag som vill fokusera på att bygga sökupplevelsen snarare än på att samla in data. Men Tunkelang säger att framgången för 80legs kan bero på hur lätt det är för användare att anpassa genomsökningen. Den stora frågan är, hur adaptiv och programmerbar är genomsökningen? han säger.

Tunkelang noterar också att det är viktigt för en webbsökare att fånga så mycket information som möjligt. Till exempel kan sökvägen som en sökrobot tog för att komma till en viss sida ge ett sökföretag användbar information om innehållet på sidan.

En tjänst som 80legs kan också vara användbar för universitetsforskare. Att krypa i stor skala är verkligen ett dyrt hinder att passera för experimentella sökprojekt i akademin, som ofta saknar storskalig infrastruktur, säger Kevin Chang , en docent i datavetenskap vid University of Illinois i Urbana-Champaign.

Chang tycker att 80legs är en intressant riktning och låter lovande [för att sänka] kostnaden för att krypa. Samtidigt håller han med om att mycket beror på hur effektivt systemet fungerar och hur effektivt användarna kan anpassa vilken data de vill bearbeta.

80legs planerar att lansera en marknad där icke-tekniska användare kommer att kunna köpa applikationer som kan styra hur en sökrobot fungerar. Partnerföretag kommer också att kunna sälja tillgång till applikationer som kontrollerar 80legs sökrobotar.

Dölj