Grid Computing

Är internethistorien på väg att upprepa sig?

Kanske. Tillbaka på 1980-talet skapade National Science Foundation NSFnet: ett kommunikationsnätverk avsett att ge vetenskapliga forskare enkel tillgång till dess nya superdatorcenter. Mycket snabbt länkades det ena mindre nätverket efter det andra in - och resultatet blev Internet som vi nu känner det. De vetenskapsmän vars behov NSFnet ursprungligen tjänade kommer knappt ihåg av onlinemassorna.

Spola framåt till 2002. I sommar kommer National Science Foundation att börja installera hårdvaran för TeraGrid, en transkontinental superdator som borde göra för datorkraft vad Internet gjorde för dokument. Först kommer kluster av avancerade mikrodatorer att sättas upp på fyra platser: National Center for Supercomputing Applications vid University of Illinois i Urbana-Champaign; det amerikanska energidepartementets Argonne National Laboratory utanför Chicago; Caltech i Pasadena, CA; och San Diego Supercomputer Center vid University of California, San Diego. Sedan, i början av nästa år, kommer dessa fyra kluster att kopplas samman så tätt att de kommer att bete sig som en enda enhet.

Denna virtuella dator kommer att riva problem med upp till 13,6 biljoner flyttalsoperationer per sekund, eller teraflops-åtta gånger snabbare än den mest kraftfulla akademiska superdatorn som finns tillgänglig idag. En sådan hastighet kommer att göra det möjligt för forskare att ta sig an några av de mest beräkningsintensiva uppgifterna i forskningsdokumentationen - från problem med proteinveckning som kommer att ligga till grund för nya läkemedelsdesigner till klimatmodellering till att härleda kosmos innehåll och beteende från astronomiska data.

Men mer än så kommer TeraGrid att vara ett utmärkt exempel på vad som har kommit att kallas grid computing - den massiva integrationen av datorsystem för att erbjuda prestanda som inte kan uppnås av någon enskild maskin. Integrationen av dessa system kommer att vara så transparent att användarna inte längre märker att de är på ett nätverk än att bilister uppmärksammar vilken cylinder som tänds vid varje givet ögonblick. För personer som loggar in på TeraGrid kommer systemet att se ut som bara ytterligare en uppsättning program som körs på deras kontorsdatorer. Men det utseendet kommer att vara vilseledande: det som verkar vara applikationer som finns på den lokala skrivbordsmaskinen kan faktiskt vara dataanalysverktyg som körs på klustret i San Diego, eller visualiseringsprogramvara som knakar i Argonne. Filerna som TeraGrid-användare arbetar med kan bestå av databaser utspridda över hela landet, innehållande tusentals gigabyte-a.k.a. terabyte.

Grid computing visionärer hoppas att detta bara kommer att vara början - att TeraGrid på 53 miljoner dollar kommer att katalysera en ny era av grid computing för massorna, ungefär som NSFnet bröt ner barriärer som ledde till att internet blomstrade. Bara inom de senaste åren eller två har dussintals sådana projekt tillkännagivits i Europa, Asien och USA, med mer sannolikhet att komma. Och utvecklarna av grid computing nöjer sig nu med en enda standard, kallad Globus Toolkit, som kommer att hjälpa gridprojekt under utveckling runt om i världen att smälta samman till ett världsomspännande nätverk av uttagbar datorkraft.

Fullständigt transformerande är hur Larry Smarr, chef för California Institute for Telecommunications and Information Technology, sammanfattar grid computing. Smarr, känd för sin roll i att utveckla kommunikationssystemet som utvecklades till Internets ryggrad, säger att tekniken är vad Internet har byggt mot under de senaste tre decennierna. I den första fasen, förklarar han, fick vi upp ledningarna och kopplade in alla datorer. Sedan med World Wide Web började vi haka på alla onlinedokument. Nu, säger han, med grid computing kommer vi att haka på allt annat (se Planet Internet, TR mars 2002).

Detta innebär att användare kommer att börja uppleva Internet som ett sömlöst beräkningsuniversum. Mjukvaruapplikationer, databaser, sensorer, video- och ljudströmmar - allt kommer att återfödas som tjänster som lever i cyberrymden, som sätter ihop och sätter ihop sig själva i farten för att klara de aktuella uppgifterna. När den väl är ansluten till nätet kommer en stationär dator att dra beräkningshästkrafter från alla andra datorer på nätet. Vad vi ser, säger Smarr, är framväxten av en ny infrastruktur som först vetenskapen, och sedan hela ekonomin, kommer att byggas på.

Dator som verktyg

Det är en stor order. Men det beskriver verkligen hoppet hos IBM, som är huvudentreprenör för TeraGrid, såväl som för liknande nationella elnät i Europa. David Turek, vice vd för framväxande teknologier för IBMs servergrupp, jämför grid computing med det välbekanta elnätet: För att använda en hårtork ansluter du den bara till ett vägguttag, säger han. Du behöver inte oroa dig för hur turbinen är designad i Niagarafallen, eller om kraftöverföringens fysik. Det är precis så Turek vill att folk ska tänka på datorkraft. I vår framtidsvision, om du är en kund som ibland behöver 10 teraflops, till exempel, köp inte en maskin som är underutnyttjad för det mesta; köp det från nätet. Så grid computing kommer att spela in i vår vision om datoranvändning som ett verktyg.

Medan företag som IBM skulle bygga de storskaliga näten, säger Turek att många användare kommer att vilja sätta upp sina egna nät. Du kanske ser 10 till 20 avdelningar som går samman för att skapa ett campus- eller företagsomfattande nät, var och en bidrar med en del av den datorkraft de kontrollerar, säger han. I ett annat scenario kan flera oberoende företag, såsom försvarsentreprenörer, göra ungefär samma sak för att skapa virtuella organisationer - ad hoc-nät som skulle göra det möjligt för dem att använda varandras proprietära data och mjukvara för att förbereda, till exempel, ett förslag till en ny militär. flygplan. Det är därför vi inte kommer att förespråka nätet som något som bara kan göras med IBM-teknik, förklarar Turek. När allt kommer omkring, säger han, om du får fem företag som vill samlas på ett nät, är sannolikheten att alla fem har samma servrar ganska liten.

Och det, tillägger Turek, är skönheten med Globus Toolkit: en uppsättning mjukvaruverktyg med öppen källkod som snabbt växer fram som de facto-standarden för gridberäkning, ungefär på samma sätt som hypertextöverföringsprotokollet, eller HTTP, är standarden för att länka dokument på webben. Faktum är att den växande acceptansen av Globus är till stor del ansvarig för dagens våg av spänning i nätdatorer.

Tanken är att låta nätverket tillhandahålla de grundläggande mekanismerna för att flytta runt data, medan Globus tillhandahåller mekanismer för resursdelning, förklarar Carl Kesselman från University of Southern California's Information Sciences Institute. Kesselman har utvecklat Globus Toolkit under de senaste fem åren i samarbete med Ian Foster - en datavetare vid University of Chicago som leder Argonnes laboratorium för distribuerade system.

Mekanismerna som Globus tillhandahåller är lika viktiga för datornätets funktion som stoppljus är för stadstrafiken. En uppsättning Globus mjukvaruverktyg, till exempel, rotar automatiskt ut var på nätet en nödvändig databas eller program kan hittas. Andra verktyg tillåter engångsinloggning, så att användaren inte ständigt blir ombedd att ange lösenord för sida efter sida efter sida. Ytterligare andra delar upp ett beräkningsjobb i flera deluppgifter och delar ut dem bland de olika systemen på nätet. Och viktigast av allt, Globus tillhandahåller verktyg för att implementera säkerhetsförsäkrande, till exempel att ett externt program som försöker interagera med din maskin tjänar ett legitimt syfte och inte har skickats av någon illvillig hackare.

Naturligtvis är inget av detta helt nytt: Det är värt att komma ihåg, konstaterar Kesselman, att ARPAnet [internets militärbyggda förfader] byggdes på 1960-talet för att ge användare på ett campus delad tillgång till resurser på ett annat campus. Likaså, påpekar han, var metoder för att dela upp beräkningsjobb i mindre bitar för flera maskiner ett ständigt forskningsämne under 1970- och 1980-talen.

Men det var först på 1990-talet, säger Kesselman, som den snabbt ökande kraften hos datorer och nätverk förde denna trend, känd som distribuerad datoranvändning, ut ur laboratorierna. Ett resultat var en uppsjö av experiment i vad som nu är känt som peer-to-peer-datorer, alla ägnade på ett eller annat sätt åt att utnyttja datorkraften och lagringskapaciteten hos lediga stationära datorer. Bland de mest kända av dessa ansträngningar är Napster, MP3-musikfildelningssystemet ochSETI @ home, där radioteleskopdata från projektet sök-efter-utomjordisk-intelligens distribueras till datorer över Internet.
Samtidigt började dock högpresterande datorer en serie mindre publicerade men mycket mer ambitiösa experiment inom metaberäkning. Tanken var att få många distribuerade datorer att fungera som en gigantisk dator. Metamaskinens tangentbord och display skulle sitta på någons skrivbord, som vanligt. Men dess centrala processor kan faktiskt vara en superdator i Illinois, säg, medan dess grafikprocessor kan vara en uppslukande virtuell verklighetsanläggning i Kalifornien. Det fungerade, säger Kesselman - det enda problemet var att experimenterande var tvungna att uppfinna hjulet på nytt varje gång. Det fanns fortfarande ingen standardmjukvara för distribuerad datoranvändning, säger han, ingen infrastruktur för att stödja det.

Teknikens vattendelare inträffade 1995, vid en superdatorkonferens sponsrad av Institute of Electrical and Electronics Engineers och Association for Computing Machinery. Där kopplades 11 separata höghastighetsnät kort samman till en gigantisk metadator i en demonstration kallad I-Way. Deltagarna i San Diego Convention Center kan leka med en interaktiv modell av Chesapeake Bays ekosystem eller en högupplöst simulering av kolliderande spiralgalaxer - totalt ett 60-tal tillämpningar. Foster, som ledde teamet som skapade en del av systemets underliggande mjukvara, var särskilt imponerad av I-Ways potentiella användning i samarbetsdesign. I en demonstration, minns han, slog forskare vid Argonne sig ihop med dem på en industrigrupp, Nalco Fuel Tech, för att göra en simulering av virtuell verklighet för att designa förbränningsugnar. Användare på olika platser kunde flyga tillsammans genom förbränningsugnen, placera injektorer i den på olika ställen och gemensamt studera effekten på dess produktion, minns han.

Demonstrationen fick sin avsedda effekt. I-Way övertygade folk om att grid computing hade stor potential, säger Foster. En viktig vinst var att i oktober 1996 finansierade U.S. Defense Advanced Research Projects Agency Kesselman och Fosters Globus-projekt för att ge en solid grund för gridberäkning. Vid superdatorkonferensen 1997 demonstrerade Foster och Kesselman ett rutnät med ett 80-tal platser över hela världen som kör Globus-mjukvara - en annan bedrift som, enligt Fosters uppfattning, övertygade människor om att nätdatorn var värd och verklig. Vid den tidpunkten hade dessutom Foster och Kesselman till och med börjat kalla det grid computing, och spelade på analogin till det elektriska nätet.

Fysik och bortom

När konceptet väl introducerades verkade grid computing plötsligt fylla ett behov hos forskare över hela världen. I Genève, till exempel, planerade högenergifysiklabbet inom European Organization for Nuclear Research (känd under akronymen CERN) redan sin nästa generations partikelaccelerator, Large Hadron Collider – ett försök som lovade att generera en överväldigande mängd data. Vi uppskattade att när kollideren började köras 2006 skulle den producera åtta till 10 petabyte partikelkollisionsdata per år, säger Fabrizio Gagliardi, chef för CERN:s årliga seminarium om datoranvändning för fysiker. Det är petabyte-miljoner gigabyte.

Delar av denna enorma databelastning skulle behöva distribueras till de institutioner över hela världen som deltar i CERN-experiment. Och eftersom den mest intressanta fysiken tenderar att hittas i de mest sällsynta händelserna, förklarar Gagliardi, skulle forskare bearbeta varje bit av denna data på flera sätt och leta efter antydningar om den teoretiskt förutsägda men svårfångade Higgs-bosonen, säg, eller partiklar som har mystisk kvalitet känd som supersymmetri. Kort sagt, kollideraren innebar ett enormt datahanteringsproblem för vilket befintliga datorsystem verkade otillräckliga. Vi definierade en beräkningsarkitektur för vad vi skulle behöva, minns Gagliardi. Sedan gick vi och handlade efter ett system med verktyg för att bygga det - och upptäckte att datavetarna redan hade kommit på lösningar.

Flera lösningar faktiskt. Vid University of Virginia hade datavetaren Andrew Grimshaw arbetat sedan 1993 med en attraktiv och genomtänkt uppsättning rutnätsdataprotokoll som kallas Legion. (Legion marknadsförs nu av Avaki från Cambridge, MA, som Grimshaw grundade.) Men Globus hade fördelen av att vara öppen: i syfte att få den antagen så brett och så snabbt som möjligt, hade Foster och Kesselman beslutat att efterlikna utvecklare av det nu berömda operativsystemet Linux och göra Globus-källkoden tillgänglig för alla användare som ville ha den, så att de kunde studera den, experimentera med den och föreslå förbättringar.

Resultatet blev att Globus blev grunden för European DataGrid, ett treårigt demonstrations- och mjukvaruutvecklingsprojekt som lanserades den 1 januari 2001, med ett åtagande på 13,5 miljoner euro (ungefär 12 miljoner USD) från Europeiska Unionen. I början av 2002 hade DataGrid distribuerat mer än 100 datorer-20 vid CERN, de andra på platser runt om på kontinenten, enligt Gagliardi, nu DataGrids direktör. Projektet har också expanderat bortom partikelfysik till att inkludera två andra vetenskapliga discipliner som står inför liknande skrämmande dataknäppning och bearbetningsutmaningar: jordobservation och biologi.

Samtidigt har grid computing fått ett ännu varmare välkomnande bland forskare i USA - med Globus återigen som valet för praktiskt taget alla stora projekt. En av de första som kom igång var Grid Physics Network. Arrangerad av Foster och University of Florida fysiker Paul Avery, detta försök lanserades i september 2000 med $11,9 miljoner från National Science Foundation. Den fokuserar på den stora mängden fysisk data som genereras av fyra olika källor: två specialiserade partikeldetektorer inrymda vid Large Hadron Collider; Laser Interferometer Gravitational Wave Observatory, ett Caltech-MIT-samarbete som kommer att upptäcka gravitationsvågor från pulsarer och liknande; och Sloan Digital Sky Survey, ett internationellt försök att kartlägga de svagaste möjliga stjärnorna och galaxerna - mer än 100 miljoner himlakroppar totalt. Nyare initiativ inkluderar NSF:s Network for Earthquake Engineering Simulation Grid, ett försök att integrera observationer och datorsimuleringar som nu är utspridda bland ett 20-tal olika laboratorier, med målet att producera mer effektiva konstruktioner för jordbävningsresistenta strukturer.

Och nu finns det såklart TeraGrid-the put-your-money-where-your-mouth-is-rutnätet, som Argonnes Charles Catlett kallar det. Vi har pratat i flera år, säger Catlett, projektets verkställande direktör. Men för att TeraGrid ska uppnå vad den lovar måste de kraftfulla mikrodatorklustren som finns på dess fyra fysiska platser bindas samman av ett dedikerat nätverk som körs med 40 gigabit per sekund, vilket kommer att vara precis i statens ojämna kant. av konsten. Det här kommer att visa oss mycket om hur mjukvaran verkligen fungerar i en produktionsmiljö, säger Catlett. Han pratar om Globus-mjukvaran, internetprotokollen, operativsystemet Linux - allt.

På den tekniska sidan, säger Catlett, är en av de stora utmaningarna att se till att Globus framgångsrikt kan skala upp. Det är avgörande, konstaterar han, att se till att Globus tjänster och protokoll kan hantera hundratals eller tusentals gånger fler enheter än de hanterar nu. Uppenbarligen, instämmer Foster, finns det mycket som fortfarande måste göras.

Sedan är det affärssidan. Här stöter grid computing på samma fråga som sänkte så många av de överoptimistiska dot coms: hur kommer pengar att tjänas på den här tekniken? Om datoranvändning är ett verktyg, säger Foster, vem ska betala för infrastrukturen? Vilken typ av tjänster är folk beredda att betala för? I synnerhet, var är den mördande appen, den måste-ha-applikation som kommer att driva tillväxten av gridberäkningar på det sätt som kalkylarket gjorde personlig datoranvändning? De flesta aktuella nätprojekt har knappt gått förbi stadiet om-vi-bygger-det-kommer-de-kommer.

Å andra sidan, säger Foster, har vi några idéer. Ett anmärkningsvärt exempel är Access Grid, ett Argonne-utvecklat systembaserat, som så mycket annat inom grid computing, på Globus - som stöder storskaliga möten på flera platser över Internet, såväl som föreläsningar och samarbetssessioner. Den länkar redan mer än 80 akademiska webbplatser och industrisajter runt om i världen. Dessutom, säger Foster, när fler och fler stora vetenskapliga projekt som TeraGrid och DataGrid kommer igång, finns det all anledning att tro att de kommer att fungera som laboratorier för nya nätapplikationer som sedan kommer att ta sig in i den kommersiella världen, med enorma påverkan. När allt kommer omkring kom inte internets mördarapp, World Wide Web, från ett företags labb. Det kom från CERN.

Rutnät upplåst

Även om webben kan vara en svår handling att följa, har förespråkare för grid computing banat väg för teknologins efterlängtade kommersialisering genom att fokusera på så snåla problem som att sätta standarder. Kom ihåg hur mycket vi har tjänat på att varje dator kör Internetprotokollet, säger Foster. För att uppnå samma universalitet för grid computing har USA:s grid-community gått samman med de i Europa och Asien för att bilda Global Grid Forum – en organisation efter Internets standardsättande organ, Internet Engineering Task Force. Forumets mål är att se till att Globus, Legion och alla andra rutnätsprotokoll kan samverka sömlöst. Om varje dator använder standardmetoder för att hantera autentisering, auktorisering, beskriva resurskapacitet och förhandla om tillgång till resurser, säger Foster, är det en stor vinst.

Grid-pionjärerna bygger likaledes allianser med sina motsvarigheter inom kommersiell peer-to-peer-beräkning. I praktiken verkar dock peer-to-peer-insatser vara mest effektiva för problem som lätt kan delas upp i otaliga små, oberoende bitar - en kategori som vanligtvis inte inkluderar, säg, komplexa fysiksimuleringar och virtuella nedsänkningsapplikationer där grid computing verkligen lyser. Ändå, säger Foster, är potentialen för synergi tydlig. Det är därför Globus-protokollen redan har integrerats i peer-to-peer-system med så industriell styrka som Condor-protokollen utvecklade vid University of Wisconsin-Madison och Entropia-plattformen från Entropia i San Diego, som båda är designade för att fånga outnyttjad kapacitet hos en organisations nätverksanslutna arbetsstationer.

Vinsten för sådana ansträngningar är att datorindustrin nu verkar ta grid computing på största allvar - med det mest anmärkningsvärda exemplet är IBM. I augusti förra året, samtidigt som det vann kontraktet att bygga nationella nät i Storbritannien och Nederländerna, samt TeraGrid i USA, meddelade Big Blue att det skulle nätaktivera många av sina serversystem. Detta initiativ, som skulle innebära att servrar i många institutioner och organisationer snabbt och enkelt kunde anslutas till nätnätverk, sades vara lika stort eller större än IBM:s engagemang för Linux, som redan uppgick till ungefär 1 miljard dollar. (IBM hade faktiskt redan använt Globus för att länka samman sina egna FoU-labb i USA, Israel, Schweiz och Japan.)

Ändå är IBM knappast ensamma. I november förra året tillkännagav åtta andra datortillverkare - Compaq, Cray, Silicon Graphics, Sun Microsystems och Veridian i USA, tillsammans med Fujitsu, Hitachi och NEC i Japan att de skulle implementera Globus Toolkit på sina maskiner som en standardplattform för grid beräkning. Så tidigt i år slutförde Microsoft ett kontrakt med Argonne för att översätta den befintliga Globus Toolkit till Windows XP, enligt Todd Needham, chef för mjukvarujättens University Research Programs-grupp.

Om inte annat borde Microsofts drag påskynda dagen då hem- och kontorsdatorer kommer att kunna ansluta sig till nätet i miljontals, bara genom att plugga in. Men kanske lika viktigt symboliserar det också den snabbt utvecklande alliansen mellan grid-datorer och webben tjänster, en liknande teknik som har vuxit fram självständigt under de senaste åren och som har anammats i lite olika former av bland annat Microsoft, IBM och Sun. Liksom grid computing kretsar idén om webbtjänster kring framtida mjukvaruapplikationer som skapas i farten av program och data som finns på Internet, inte användarens maskin. Den största skillnaden mellan denna idé och grid computing är att webbtjänstprogramvara tenderar att vara mycket närmare knuten till World Wide Web-protokollen, såväl som till webbaserade standarder som XML.

Men återigen, som Microsoft och IBM:s omfamning av Globus antyder, är potentialen för synergi uppenbar. I januari föreslog Foster, Kesselman, IBMs Jeffrey Nick och Argonnes Steven Tuecke en Open Grid Services Architecture som skulle integrera de två tillvägagångssätten och tillkännagav att detta ramverk skulle implementeras som version 3.0 av Globus Toolkit. IBM, Microsoft, Platform Computing, Entropia och Avaki tillkännagav sitt stöd för den nya arkitekturen, med andra företag att följa.
Och i framtiden? Historien är verkligen på väg att upprepa sig, förklarar nätdatorförespråkaren Smarr - förutom att explosionen av nätaktivitet mycket väl kan dvärga till och med internetboomen på 1990-talet. I framtiden som Smarr föreställer sig kommer rutnät av alla storlekar att vara sammanlänkade. Supernoderna kommer, liksom TeraGrid, att vara nätverksanslutna kluster av superdatorer som betjänar användare på nationell eller internationell skala. De fler medelstora noderna kommer att använda programvara som Entropia för att utnyttja kraften hos flera stationära och bärbara datorer. Om TeraGrid och andra supernoder är som centrala elkraftverk, förklarar Smarr, kommer dessa mindre noder att vara som solenergifångare som fångar en diffus men ändå enorm resurs.

Ännu fler kommer att vara de miljontals individuella noder: personliga maskiner som användare ansluter till nätet för att tappa ström efter behov. Om, säg, medlemmarna i en medborgargrupp var oroliga för ett föreslaget utvecklingsprojekt, kunde de använda nätet för att köra samma simuleringar som de inblandade utvecklarna och statliga tjänstemän använde. På så sätt kunde de enkelt se effekten av utvecklingen på allt från grundvatten till trafikmönster till sysselsättning. Genom att använda nätbaserade tele-immersion-tekniker kunde medborgarna till och med gå igenom det simulerade projektet och få en realistisk känsla av hur det skulle kännas att vara där.
Och tack vare den trådlösa revolutionen kommer mikronoder att finnas överallt. På grund av miniatyriseringen av komponenter, säger Smarr, kommer vi att ha miljarder slutpunkter som är sensorer, ställdon och inbyggda processorer. De kommer att vara med i allt, övervaka stress i broar, övervaka miljön - i slutändan kommer de till och med att vara i våra kroppar och övervaka våra hjärtan.

Och det, betonar han, är därför vi måste lägga en solid grund för nätet nu, bygga in säkerhet och allt annat från början. Vi kan inte göra det som en eftertanke, säger han. Planeten håller på att bygga nätinfrastrukturen som den kommer att leva på under resten av 2000-talet.

Dölj