211service.com
Förberedelse för datafloden
Från Facebook till Department of Motor Vehicles, världen är katalogiserad i databaser. Ingen vet det bättre än MIT adjungerad professor och entreprenör Michael Stonebraker , som har ägnat de senaste 25 åren åt att utveckla tekniken som gjorde det så. Han fick sitt stora genombrott genom att uppfinna och kommersialisera teknik som ligger till grund för de flesta databaser, kända som relationsdatabaser, som styr idag. Men Stonebraker kallar nu glatt sina tidigare uppfinningar i stort sett föråldrade. Han arbetar på en ny generation av databasteknik som kan hantera floden av digital data som börjar överväldiga etablerade metoder.
Relationsdatabaser är allestädes närvarande som lösningen för företagsdata. De har varit fantastiskt framgångsrika, säger Stonebraker. Men han säger att de största databasleverantörerna, inklusive Oracle, IBM och Microsoft, fortfarande säljer sådana produkter som är lämpliga för alla företag. Stonebraker har en annan uppfattning: att det krävs ny databasteknik för att hantera de exponentiella ökningarna av informationen som företag måste hantera. Stonebraker, 67, har redan nått framgång med flera av sina egna nya tillvägagångssätt.
Det ena är ett databassystem som heter C-Store . Till skillnad från de flesta system som används idag, lagrar den data på disken kolumn för kolumn, inte rad för rad. Den enkla justeringen krävde en fullständig omskrivning av hur databaser har fungerat, men den stämmer väl överens med både hur datorminne fungerar och hur databaser nås. Det ger mycket snabbare prestanda och mer komprimerad data.
Den justeringen och andra som gjordes av Stonebraker och kollegor vid MIT, Brown, Brandeis, Yale och University of Massachusetts möjliggjorde lanseringen av Vertica , ett företag som kommersialiserade C-Store och hjälpte kunder att söka efter stora databaser nästan i realtid. Vertica förvärvades av Hewlett-Packard i februari och har kunder inklusive Comcast, som använder det för att övervaka de miljontals enheter som utgör dess TV- och Internetnätverk, och Groupon, som använder det för att analysera sina miljontals abonnenters agerande.
Ett relaterat system från Stonebraker och några av samma akademiska kollegor, H-butik , bygger på samma idéer med extra förbättringar som att köras helt i datorns minne, inte på disk; den här metoden är särskilt användbar vid bearbetning av transaktioner online. H-Stores kod är öppen källkod, men tekniken kommersialiseras av venture-backed VoltDB , med Stonebraker som CTO. Han hävdar att den här typen av användningsspecifika, byggda för hastighet databassystem är vad de flesta företag kommer att behöva anta förr snarare än senare för att hantera översvämningen av digital data.
Vissa organisationer är redan fångade i den översvämningen. Tänk på Facebook. Facebook är redan värd för fler digitala foton än något annat företag, och Facebook bygger ny lagrings- och bearbetningsinfrastruktur så snabbt som möjligt. Ändå pressar den databastekniken den använder till det yttersta och delar upp sin berömda sociala graf över 4 000 databaser som alla måste fungera tillsammans som en, säger Stonebraker. De bara dör under belastningen av det ledningslager som behövs för att hålla det här systemet uppe, säger han. De har det svåraste databasproblemet på planeten, och det finns inget nuvarande system som kommer att möta deras behov.
Lösningar som Stonebraker bygger för en helt annan sektor som redan drunknar i data kan så småningom hjälpa. För några år sedan hörde han talas om problemen Stort synoptiskt undersökningsteleskop under uppbyggnad i Chile. Den kommer att samla ihop 100 petabyte av rådata och härledd data, säger Stonebraker, och de hade ingen aning om vad de skulle göra med så mycket.
Stonebraker och samarbetspartner David DeWitt, knuten till University of Wisconsin-Madison, byggde ett unikt databassystem med namnet SciDB . Open-source-projektet har nu venture-stöd och en stor gemenskap av frivilliga inom vetenskapen. Men Stonebraker tror att funktioner i SciDB så småningom kommer att finna fördel utanför akademin.
Alla vetenskapliga data är osäkra och har felstaplar, till skillnad från uppgifterna i en lönedatabas, så SciDB kan vara uppmärksam på osäkerhet. Det går inte heller att skriva över, eftersom vetenskapskillar aldrig vill slänga något, säger han. Dessa funktioner skiljer sig inte så mycket från behovet av den kraftfulla, statistiktunga analysen eller datavetenskapen i allt högre grad i hjärtat av framgångsrika, teknikledda företag. Ett exempel är annonsplacering online: att rikta in sig på varje person individuellt kräver beräkningsintensiv analys för att gruppera liknande personer.
Stonebraker hävdar dock inte att nya databassystem som de han arbetar med kan vara ett universalmedel för företag som plötsligt lär sig gränserna för mer etablerad teknologi. Den växande betydelsen av datalagring och bearbetning för företag av alla slag kommer att kräva att de prioriterar båda mer. Om du driver ett företag måste du vara storskalig från början, säger han, för det råder ingen tvekan om att du kommer att behöva det senare.