211service.com
IBM bygger den största dataenheten någonsin
Ett datalager som är nästan 10 gånger större än något som gjorts tidigare byggs av forskare vid IBMs forskningslabb i Almaden, Kalifornien. Enheten på 120 petabyte – det är 120 miljoner gigabyte – består av 200 000 konventionella hårddiskar som arbetar tillsammans. Den gigantiska databehållaren förväntas lagra omkring en biljon filer och bör ge det utrymme som behövs för att möjliggöra mer kraftfulla simuleringar av komplexa system, som de som används för att modellera väder och klimat.
En hårddisk på 120 petabyte kan rymma 24 miljarder typiska MP3-filer på fem megabyte eller bekvämt svälja 60 kopior av webbens största säkerhetskopia, de 150 miljarder sidor som utgör Internetarkivets WayBack-maskin .
Datalagringsgruppen kl IBM Almaden utvecklar det rekordstora lagringssystemet för en icke namngiven klient som behöver en ny superdator för detaljerade simuleringar av verkliga fenomen. Men den nya tekniken som utvecklats för att bygga ett så stort förvar skulle kunna möjliggöra liknande system för mer konventionell kommersiell datoranvändning, säger Bruce Hillsberg , chef för lagringsforskning på IBM och ledare för projektet.
Det här 120 petabyte-systemet är på den galna kanten nu, men om några år kan det vara så att alla molnsystem är som det, säger Hillsberg. Bara att hålla reda på namn, typer och andra attribut för filerna som lagras i systemet kommer att förbruka cirka två petabyte av dess kapacitet.
Steve Conway, vice vd för forskning på analytikerföretaget IDC som är specialiserat på högpresterande datoranvändning (HPC), säger att IBM:s förråd är betydligt större än tidigare lagringssystem. En lagringsuppsättning på 120 petabye skulle lätt vara den största jag har stött på, säger han. De största arrayerna som finns tillgängliga idag är cirka 15 petabyte stora. Superdatorproblem som kan dra nytta av mer datalagring inkluderar väderprognoser, seismisk bearbetning i petroleumindustrin och molekylära studier av genom eller proteiner, säger Conway.
IBMs ingenjörer utvecklade en serie nya hårdvaru- och mjukvarutekniker för att möjliggöra en så stor ökning av datalagringskapaciteten. Att hitta ett sätt att effektivt kombinera de tusentals hårddiskar som systemet är byggt från var en utmaning. Som i de flesta datacenter sitter enheterna i horisontella lådor staplade inuti höga ställ. Ändå var IBMs forskare tvungna att göra dessa betydligt bredare än vanligt för att få plats med fler diskar på ett mindre område. Skivorna måste kylas med cirkulerande vatten istället för standardfläktar.
De oundvikliga fel som uppstår regelbundet i en så stor samling av diskar utgör en annan stor utmaning, säger Hillsberg. IBM använder standardtaktiken att lagra flera kopior av data på olika diskar, men den använder nya förbättringar som gör att en superdator kan fortsätta arbeta i nästan full hastighet även när en enhet går sönder.
När en ensam disk dör, hämtar systemet data från andra enheter och skriver det långsamt till diskens ersättare, så att superdatorn kan fortsätta att fungera. Om fler fel inträffar bland närliggande enheter, snabbar återuppbyggnadsprocessen upp för att undvika möjligheten att ytterligare ett fel inträffar och raderar vissa data permanent. Hillsberg säger att resultatet är ett system som inte ska förlora någon data på en miljon år utan att göra några kompromisser med prestanda.
Det nya systemet drar också nytta av ett filsystem som kallas GPFS som utvecklades på IBM Almaden för att möjliggöra snabbare dataåtkomst för superdatorer. Den sprider enskilda filer över flera diskar så att många delar av en fil kan läsas eller skrivas samtidigt. GPFS gör det också möjligt för ett stort system att hålla reda på sina många filer utan mödosamt att skanna igenom alla. Förra månaden använde ett team från IBM GPFS för att indexera 10 miljarder filer på 43 minuter, vilket utan ansträngning slog det tidigare rekordet på en miljard filer som skannades på tre timmar.
Mjukvaruförbättringar som de som utvecklas för GPFS och diskåterställning är avgörande för att möjliggöra sådana gigantiska dataenheter, säger Hillsberg, för för att vara praktiska måste de inte bara bli större, utan också snabbare. Hårddiskar blir inte snabbare eller mer tillförlitliga i proportion till kraven på mer lagring, så mjukvara måste göra skillnaden.
IDCs Conway håller med om att snabbare åtkomst till större datalagringssystem blir avgörande för superdatorer – även om superdatorer oftast jämförs offentligt på deras processorhastigheter, vilket är fallet med den globala TOP500-listan som används för att fastställa internationella skryträttigheter. Stora drivningar blir viktiga eftersom simuleringarna blir större och många problem löses med så kallade iterativa metoder, där en simulering körs tusentals gånger och resultaten jämförs, säger Conway. Checkpointing, en teknik där en superdator sparar ögonblicksbilder av sitt arbete om jobbet inte slutförs framgångsrikt, är också vanligt. Dessa trender har skapat en dataexplosion i HPC-gemenskapen, säger Conway.