211service.com
Lagringssystem för 'Big Data' gör åtkomsten till information dramatiskt snabbare
I takt med att datorer kommer in på allt fler områden i vårt dagliga liv har mängden data de producerar växt enormt.
Men för att denna stora data ska vara användbar måste den först analyseras, vilket innebär att den måste lagras på ett sådant sätt att den kan nås snabbt vid behov.
Tidigare skulle all data som behövde nås i en hast lagras i en dators huvudminne, eller dynamiskt random access memory (DRAM) - men storleken på de datamängder som nu produceras gör detta omöjligt.
Så istället tenderar information att lagras på flera hårddiskar på ett antal maskiner över ett Ethernet-nätverk. Men denna lagringsarkitektur ökar avsevärt den tid det tar att komma åt informationen, enligt Sang-Woo Jun, en doktorand i Computer Science and Artificial Intelligence Laboratory ( CSAIL ) vid MIT.
Foto med tillstånd av forskarna
Att lagra data över ett nätverk är långsamt eftersom det finns en betydande extra tidsfördröjning i att hantera dataåtkomst över flera maskiner i både mjukvara och hårdvara, säger Jun. Och om data inte får plats i DRAM måste du gå till sekundär lagring - hårddiskar, möjligen anslutna över ett nätverk - vilket är väldigt långsamt.
Nu har Jun, CSAIL-doktorand Ming Liu, och Arvind, professorn Charles W. och Jennifer C. Johnson i elektroteknik och datavetenskap, utvecklat ett lagringssystem för stordataanalys som dramatiskt kan påskynda tiden det tar att tillgång till information.
Systemet, som kommer att presenteras i februari vid International Symposium on Field-Programmable Gate Arrays i Monterey, Kalifornien, är baserat på ett nätverk av flashlagringsenheter.
Flash-lagringssystem presterar bättre i uppgifter som involverar att hitta slumpmässiga bitar av information från en stor datamängd än andra tekniker. De kan vanligtvis nås slumpmässigt på mikrosekunder. Detta kan jämföras med datasökningstiden för hårddiskar, som vanligtvis är fyra till 12 millisekunder vid åtkomst till data från oförutsägbara platser på begäran.
Flash-system är också icke-flyktiga, vilket innebär att de inte förlorar någon av den information de har om datorn stängs av.
I lagringssystemet, känt som BlueDBM - eller Blue Database Machine - är varje flashenhet ansluten till ett fältprogrammerbart gate array (FPGA)-chip för att skapa en individuell nod. FPGA:erna används inte bara för att styra flashenheten, utan kan också utföra bearbetningsoperationer på själva data, säger Jun.
Det betyder att vi kan göra en del bearbetning nära där data [lagras], så vi behöver inte alltid flytta all data till maskinen för att arbeta med den, säger han.
Dessutom kan FPGA-chips länkas samman med hjälp av ett högpresterande seriellt nätverk, som har en mycket låg latens eller tidsfördröjning, vilket innebär att information från vilken som helst av noderna kan nås inom några nanosekunder. Så om vi ansluter alla våra maskiner med det här nätverket betyder det att vilken nod som helst kan komma åt data från vilken annan nod som helst med mycket liten prestandaförsämring, [och] det kommer att kännas som om fjärrdatan satt här lokalt, säger Jun.
Genom att använda flera noder kan teamet få samma bandbredd och prestanda från sitt lagringsnätverk som mycket dyrare maskiner, tillägger han.
Teamet har redan byggt ett prototypnätverk med fyra noder. Detta byggdes dock med 5 år gamla delar, och som ett resultat är det ganska långsamt.
Så de bygger nu ett mycket snabbare prototypnätverk med 16 noder, där varje nod kommer att fungera med 3 gigabyte per sekund. Nätverket kommer att ha en kapacitet på 16 till 32 terabyte.
Med hjälp av den nya hårdvaran bygger Liu också ett databassystem designat för användning i big-data-analys. Systemet kommer att använda FPGA-chips för att utföra beräkning av data när den nås av värddatorn, för att påskynda processen för att analysera informationen, säger Liu.
Om vi är tillräckligt snabba, om vi lägger till rätt antal noder för att ge oss tillräckligt med bandbredd, kan vi analysera vetenskapliga data i hög volym med cirka 30 bilder per sekund, vilket gör att vi kan svara på användarfrågor med mycket låga latenser, vilket gör systemet verkar i realtid, säger han. Det skulle ge oss en interaktiv databas.
Som ett exempel på vilken typ av information systemet skulle kunna användas på, har teamet arbetat med data från en simulering av universum som genererats av forskare vid University of Washington. Simuleringen innehåller data om alla partiklar i universum, över olika tidpunkter.
Forskare måste fråga denna ganska enorma datauppsättning för att spåra vilka partiklar som interagerar med vilka andra partiklar, men att köra den typen av frågor är tidskrävande, säger Jun. Vi hoppas kunna tillhandahålla ett gränssnitt i realtid som forskare kan använda för att enklare titta på informationen.
Kees Vissers från tillverkaren av programmerbara chip Xilinx, baserad i San Jose, Kalifornien, säger att flashlagring börjar ses som en ersättning för både DRAM och hårddiskar. Historiskt sett behövde datorarkitekturen ha en speciell minneshierarki - cache på processorerna, DRAM off-chip och sedan hårddiskar - men hela linjen suddas nu ut av nya mekanismer inom flashteknik.
Arbetet på MIT är särskilt intressant eftersom teamet har optimerat hela systemet för att fungera med flash, inklusive utvecklingen av nya hårdvarugränssnitt, säger Vissers. Det betyder att du får en förmån på systemnivå, säger han.