211service.com
Lägga in webben i ett kalkylblad
Stora mängder data är fritt tillgängliga på webben, och det kan vara en potentiell skattkammare för många företag – förutsatt att de kan ta reda på hur man använder den effektivt.
Sortering och filtrering: BigSheets låter användare analysera ostrukturerad data från webben med hjälp av verktyg som liknar de som finns i kalkylarksprogramvara för skrivbordet.
Ett företag kan till exempel söka igenom data från U.S. Patent and Trademark Office och domstolsregister innan det förvärvar ett annat företag för att se om någon av dess immateriella rättigheter är kopplad till rättsliga åtgärder. I praktiken tar det dock tid och ansträngning att gå igenom så mycket information.
IBM hoppas att ett nytt verktyg, som heter BigSheets , kommer att hjälpa användare att analysera webbdata lättare. Företaget har utvecklat en testversion av programvaran för British Library.
Alla användares förmåga att göra sina egna typer av intressanta analyser börjar bli vuxen, säger Rod Smith, vicepresident för framväxande internetteknologier för IBM.
BigSheets är byggt ovanpå en annan mjukvara som heter Hadoop. Detta är en plattform med öppen källkod för att bearbeta mycket stora mängder webbdata genom att dela upp uppgifter och lämna över dem till ett kluster av olika datorer. Hadoop används ofta för att analysera stora mängder ostrukturerad webbdata.
BigSheets använder Hadoop för att genomsöka webbsidor, analysera dem för att extrahera nyckeltermer och annan användbar data. BigSheets organiserar denna information i ett mycket stort kalkylblad, där användare kan analysera den med hjälp av den typ av verktyg och makron som finns i kalkylarksprogramvara för skrivbordet. Till skillnad från vanlig kalkylarksprogram finns det dock ingen gräns för storleken på ett kalkylark som skapas genom BigSheets.
För att använda BigSheets skulle en användare peka verktyget mot en uppsättning webbadresser eller ett datalager. Listor med termer kan användas för att organisera data i rader och tabeller, och dessa kan justeras senare.
Smith säger att IBM valde kalkylbladet som modell för att organisera data eftersom de flesta användare redan är bekanta med sådan programvara. Om användare vill representera data på mer komplexa sätt, kommer verktyget att fungera med ett IBM-visualiseringsverktyg som kallas Många ögon , samt annan visualiseringsprogramvara.
Tagga laget: Visualiseringsverktyg kan användas med BigSheets för att hitta mönster i ostrukturerad data.
BigSheets har en integrationsnivå som jag inte har sett, säger Jag är Lorica , senioranalytiker i forskargruppen på det tekniska förlaget O’Reilly Media. Traditionellt, säger Lorica, har företag delat upp funktionerna som BigSheets utför i tre separata uppgifter – webbgenomsökning, dataanalys och visualiseringar. Eftersom BigSheets är byggt på Hadoop, som i grunden är designat för att fungera med enorma mängder data, säger Lorica, är skalan inte ett problem för BigSheets.
Han varnar dock för att BigSheets är i ett tidigt skede och måste testas med annan data. Eftersom tekniken utvecklas i samarbete med särskilda partners till IBM är det oklart hur lätt det skulle vara för ett företag att börja använda den, säger han. Att skapa ett Hadoop-kluster kan vara en krävande uppgift, säger han, och om BigSheets inte är väl paketerat kan företag behöva en armé av konsulter för att förbereda vägen för verktyget.
Det första testet för BigSheets kom på British Library, som har arbetat sedan 2004 med att skapa ett arkiv med de cirka åtta miljoner brittiska webbplatserna. Med jämna mellanrum tar biblioteket ögonblicksbilder av webbsidor, konverterar dem till ett arkivfilformat och lagrar dem. Men att söka och analysera denna data är en annan utmaning, och det var där BigSheets kom in.
På mindre än åtta timmar, säger Smith, tog hans team 4,5 terabyte arkivfiler och bearbetade dem med ett Hadoop-kluster med fyra maskiner. Med vägledning från British Library-forskare använde teamet BigSheets för att extrahera nyckelord, författarinformation och annan metadata från dessa ostrukturerade webbsidor. De experimenterade med termfrekvensanalys och körde taggmoln och andra visualiseringar.
British Library-forskarna kunde justera vilken typ av metadata de var intresserade av under den första dagen, och fokuserade mer på vem som hade skrivit sidor än vad de ursprungligen hade tänkt sig. Visualiseringar gav nya insikter. Till exempel, med hjälp av ett tag moln, upptäckte forskarna att namnet på brittisk politisk figur och författare Alastair Campbell stavades ofta fel som Alistair, och visade ett stort antal relevanta poster som lätt kunde ha förbisetts.
Eytan Adar , en biträdande professor i information och datavetenskap vid University of Michigan, som forskar om system i internetskala, textutvinning och visualisering, säger att verktyget kan ha stor inverkan. Även om British Librarys innehåll verkar begränsat till några få ögonblicksbilder för varje sida, översätts detta fortfarande till massor av data, och det är inte användbart att bara dumpa sökresultat som svar på en fråga, säger Adar.
Adar har designat sitt eget verktyg, kallat Zoetrope , för att analysera hur webbsidor har förändrats över tiden. BigSheets ger nya insikter, säger han, genom att jämföra data från många olika sidor såväl som över tid. Adar säger att effektiva visualiseringar är avgörande för att användarna snabbt ska kunna förstå stora samlingar av data.
Efter ytterligare tester hoppas IBM kunna införliva BigSheets i sina befintliga tjänster och produkter.