Google och Akamai: Cult of Secrecy vs. Kingdom of Openness

Du ska aldrig lita på detta nummer, sa Martin Farach-Colton, professor i datavetenskap vid Rutgers University, talade för lite mer än ett år sedan. Folk gör en stor sak av det, och det är inte sant.

Farach-Colton höll en offentlig föreläsning om sitt tvååriga sabbatsår på Google. Siffran som han nedvärderade stod mitt på hans PowerPoint-bild:

• 150 miljoner förfrågningar/dag

Nästa bild hade några fler nummer:

• 1 000 frågor/sek (högst)
• 10 000+ servrar
• Mer än 4 tera-ops/sek vid daglig topp
• Index: 3 miljarder webbsidor
• 4 miljarder totalt dokument
• 4+ petabyte disklagring

Några personer i publiken började fnissa: Googles siffror stämde inte.

Jag började köra siffrorna själv. Låt oss se: 4 tera-ops/sek betyder 4 000 miljarder operationer per sekund; en top-of-the-line server kan göra kanske två miljarder operationer per sekund, så det kan översättas till kanske 2 000 servrar - inte 10 000. Fyra petabyte är 4x1015 byte lagring; sprida det över 10 000 servrar och du skulle ha 400 gigabyte per server, vilket återigen verkar fel, eftersom Farach-Colton tidigare hade sagt att Google lägger två 80 gigabyte hårddiskar i varje server.

Och så finns det problemet med 150 miljoner förfrågningar per dag. Om systemet hanterar en toppbelastning på 1 000 förfrågningar per sekund, översätts det till en topphastighet på 86,4 miljoner förfrågningar per dag - eller kanske 40 miljoner förfrågningar per dag om du antar att systemet bara spenderar halva sin tid vid toppkapacitet. Oavsett hur du vänder på matematiken är Googles statistik inte självständig.

Dessa siffror är alla galet låga, fortsatte Farach-Colton. Google rapporterar alltid mycket, mycket lägre siffror än vad som är sant.

När någon från Google sätter ihop en ny presentation, förklarade han, granskar PR-avdelningen samtalet och hackar ner siffrorna. Ursprungligen, sa han, sa bilden med siffrorna att 1 000 frågor/sek var minimihastigheten, inte toppen. Vi har över 10 000 servrar. Det är plus mycket.

Precis som Googles sökmotor kommer tillbaka omedelbart och till synes utan ansträngning med ett svar på alla frågor du skickar den, och döljer den verkliga svårigheten med uppgiften för användarna, vill företaget också att dess konkurrenter ska hållas i mörkret om problemets svårighet. När allt kommer omkring, om Google offentliggjorde hur många sidor det har indexerat och hur många datorer det har i sina datacenter runt om i världen, skulle sökkonkurrenter som Yahoo!, Teoma och Mooter veta hur mycket kapital de behövde skaffa för att ha en hopp om att förskjuta kungen på toppen av kullen.

Google har ibland haft svårt att hålla sin historia rak. När vice vd för teknik Urs Hoelzle höll ett föredrag om Googles Linux-kluster vid University of Washington i november 2002, upprepade han den siffran på 1 000 frågor per sekund - men han sa att åtgärden gjordes klockan 02:00 den 25 december. , 2001. Hans poäng, uppenbar för alla i rummet, är att till och med i november 2002 gjorde Google mycket mer än 1 000 frågor per sekund, men hur många fler var det någons gissning.

Fakta kan sippra fram. Förra Thanksgiving rapporterade New York Times att Google hade passerat gränsen på 100 000 servrar. Om det är sant betyder det att Google driver kanske det största nätet av datorer på planeten. Det enkla faktum att de kan bygga och driva datacenter av den storleken är häpnadsväckande, säger Peter Christy, medgrundare av NetsEdge Research Group, ett marknadsundersöknings- och strategiföretag i Silicon Valley. Christy, som har arbetat i branschen i mer än 30 år, är förvånad över omfattningen av Googles system och företagets kompetens att driva dem. Jag tror inte att det finns någon i närheten.

Det är denna förmåga att bygga och driva otroligt täta kluster som är lika mycket som allt annat hemligheten bakom Googles framgång. Och anledningen, förklarar Marissa Mayer, företagets chef för konsumentwebbprodukter, har att göra med hur Google startade på Stanford.

Istället för att skaffa några snabba datorer och köra dem till max, förklarade Mayer vid ett rekryteringsevenemang på MIT, att grundarna Sergey Brin och Larry Page fick nöja sig med hand-me-downs från Stanfords datavetenskapliga avdelning. De gick till lastkajen för att se vem som fick nya datorer och frågade sedan om de kunde ha de gamla, föråldrade maskinerna som de nya ersatte. Sålunda, från allra första början, tvingades Brin och Page utveckla distribuerade algoritmer som kördes på ett nätverk av inte särskilt tillförlitliga maskiner.

Idag är denna filosofi inbyggd i företagets DNA. Google köper de billigaste datorerna som de kan hitta och packar in dem i rack och rack i sina sex (eller fler) datacenter. Datorer är någorlunda pålitliga, men om du har tusen av dem kommer en att misslyckas varje dag, sa Hoelzle. Så om du bara kan köpa 10 procent extra är det fortfarande billigare än att köpa en mer pålitlig maskin.

Att arbeta på Google, berättade en ingenjör nyligen för mig, är det närmaste du kan komma att ha en obegränsad mängd datorkraft till ditt förfogande.

Öppenhetens rike

Det finns ett annat företag som har fulländat konsten att köra ett enormt antal datorer med en jämförelsevis liten personal. Det företaget är Akamai.

Akamai är inte ett känt ord nu, men det kom upp på förstasidorna när företaget offentliggjordes i november 1999 med vad som vid den tiden var det fjärde mest framgångsrika börsintroduktionen i historien. Akamais aktie skjutit i höjden och gjort miljardärer av dess grundare. Under åren som följde har Akamai dock hamnat i svåra tider. Det var inte bara dot-com-kraschen som orsakade betydande uppsägningar och övergivandet av företagets kontor i Kalifornien: Akamais medgrundare och tekniska chef Danny Lewin var ombord på American Airlines Flight 11 den 11 september och dödades när planet flögs in i flygplanet. World Trade Center. Företagets moral var förstörd.

Akamais nätverk fungerar på samma komplexitetsskala som Googles. Även om Akamai bara har 14 000 maskiner, finns dessa servrar på 2 500 olika platser utspridda över hela världen. Servrarna används av företag som CNN och Microsoft för att leverera webbsidor. Precis som Googles servrar används av praktiskt taget alla på Internet idag, så är det också Akamais.

På grund av sin skala har både Akamai och Google varit tvungna att utveckla verktyg och tekniker för att hantera dessa maskiner, felsöka prestandaproblem och hantera fel. Det här är inte programvara som ett företag kan köpa från hyllan - de kräver mödosam intern utveckling. Det är i själva verket mjukvara som är en av Akamais viktigaste konkurrensfördelar.

Ja, några andra organisationer kör också stora kluster av datorer. Både NASAs Ames Research Center och Virginia Tech har stora kluster ägnade åt vetenskaplig beräkning. Men det finns viktiga skillnader mellan dessa system och de kluster som både Google och Akamai har skapat. De vetenskapliga systemen finns på en enda plats, inte spridda över hela världen. De är i allmänhet inte direkt exponerade för Internet. Och kanske viktigast av allt är att de vetenskapliga systemen inte tillhandahåller en varutjänst till hundratals miljoner internetanvändare varje dag: Google och Akamai måste leverera 100 procent drifttid. Det är lätt att gå ut och köpa 10 000 datorer - allt du behöver är kontanter. Det är mycket svårare att få alla dessa datorer att fungera tillsammans som en enda tjänst som stöder miljontals samtidiga användare.

För att vara rättvis så finns det viktiga skillnader mellan Google och Akamai-skillnader som säkerställer att Google inte kommer att bryta sig in i Akamais verksamhet när som helst snart, och inte heller Akamai kommer att flytta in i Googles. Båda företagen har utvecklat infrastruktur för att köra massivt parallella system, men applikationerna som de kör ovanpå dessa system är olika. Googles primära applikation är en sökmotor. Akamai, däremot, har utvecklat ett system för att leverera webbsidor, strömmande media och en mängd andra standardiserade Internetprotokoll.

En annan viktig skillnad, säger Christy, är att Akamai har haft väldigt svårt att skapa en tydlig affärsmodell som fungerar, medan Google har varit otroligt framgångsrikt. Akamai har därför börjat leta efter nya sätt att sälja tjänster som bara ett massivt distribuerat nätverk kan leverera. Företaget har kämpat för lönsamhet och letat aggressivt efter nya möjligheter för sin teknologi. Detta kan vara anledningen till att Akamai, till skillnad från Google, var villig att bli intervjuad för den här artikeln.

Vi började med grundläggande bitleveransobjekt, foton, banners, annonser, säger Tom Leighton, Akamais chefsforskare. Vi gör det lokalt. Gör det fort. Gör det tillförlitligt. Gör webbplatserna bättre.

Nu utvecklar Akamai tekniker för att låta kunder köra sina applikationer direkt på företagets distribuerade servrar. Leighton säger att 25 av Akamais största kunder har gjort detta. Systemet kan hantera plötsliga överspänningar, vilket gör det idealiskt för fall där det är omöjligt att förutse efterfrågan.

Till exempel, säger Leighton, användes Akamais nätverk för att hantera en tangentbordstävling sponsrad av Logitech. Med tanke på att dess tävling kan vara populär, skapade Logitech en utarbetad serie regler som försäkrade att bara så många tangentbord skulle ges bort till varje stat och inom en given tidsperiod. Men Logitech underskattade kraftigt hur många som skulle klicka sig in i tävlingen. Tidigare har sådana underskattningar gjort att mycket uppmärksammade internetevenemang som Victoria's Secrets webbsändning kraschat, frustrerat miljontals webbsurfare och generat företaget. Men inte den här gången: Logitechs tävling gick på Akamais nätverk utan problem.

Logitech kunde förstås ha försökt bygga systemet själv. Den kunde ha designat och testat en server som kan hantera 100 samtidiga användare. Den servern kan kosta $5 000. Då kunde Logitech ha köpt 20 av dessa servrar för $100 000 och placerat dem i ett datacenter. Men ett enda datacenter kan bli överbelastat, så det kan vara mer meningsfullt att placera 10 av dem i ett datacenter på östkusten och 10 i ett annat datacenter på västkusten. Ändå kunde det systemet bara hantera 2 000 samtidiga användare: det kan vara bättre att köpa 100 servrar, för en total kostnad av 500 000 $, och placera dem på 10 olika datacenter. Men även om de hade gjort det här, så skulle ingenjörerna på Logitech inte ha haft något sätt att veta om systemet faktiskt skulle ha fungerat när det testades – och de skulle ha investerat en enorm summa pengar i teknik som inte skulle har behövts efter händelsen.

Och tävlingar är inte det enda som kan köras på Akamais nätverk. Praktiskt taget alla program som är skrivna i programmeringsspråket Java kan köras på företagets infrastruktur. Systemet kan hantera bolåneansökningar, kataloger och elektroniska kundvagnar. Akamai driver till och med backend för Apples iTunes 99-cents musiktjänst.

Kanske för att Akamai är så stolt över systemet som det har byggt, är företaget väldigt öppet om nätverkets tekniska detaljer. Dess nätverksdriftscenter i Cambridge, MA, har en glasvägg så att besökare kan se en stor skärm med statistik. När jag besökte företaget i januari stod det på skärmen att Akamai tjänade 591 763 träffar per sekund, med 14 372 processorer online, 14 563 gigahertz total processorkraft och 650 terabyte totalt lagringsutrymme. Den 14 april hade antalet hoppat till en topphastighet på 900 000 träffar per sekund och 43,71 miljarder förfrågningar levererade under en 24-timmarsperiod. (Akamai skulle inte avslöja antalet processorer online eftersom det siffran är en del av dess kvartalsrapport, som kommer att släppas den 28 april. Men det har inte förändrats mycket, berättade företagets talesperson för mig.)

Mail och skala

Om vi ​​ser fram emot har några affärsmöjligheter uppenbar attraktion för både Google och Akamai. Båda företagen kan till exempel ta sin erfarenhet av att bygga storskaliga distribuerade kluster för att skapa ett massivt backupsystem för småföretag och hem-PC-användare. Eller de kan ta över hanteringen av hemdatorer och förvandla dem till smarta terminaler som kör applikationer på fjärrservrar. Detta skulle låta PC-användare slippa slitet med att administrera sina egna maskiner, installera nya applikationer och hålla antivirusprogram uppdaterade.

Och så finns det e-post. Redan den 1 april meddelade Google att de skulle gå in i e-postbranschen för konsumenter med ett oortodoxt pressmeddelande: Sökning är nummer två onlineaktivitet - e-post är nummer ett: 'Heck, Yeah', säger Googles grundare.

Sedan dess har Google fått stor publicitet för den annonserade utformningen av sitt Gmail-erbjudande (Google Mail). Den kostnadsfria tjänsten lovar konsumenterna en gigabyte e-postlagring (mer än hundra gånger lagringsutrymmet som erbjuds av andra webbmailleverantörer), häpnadsväckande sökning genom e-postarkiv och löftet att konsumenterna aldrig kommer att behöva radera ett e-postmeddelande igen. Först trodde många att tillkännagivandet var ett aprilskämt - en gigabyte per användare verkade bara vara för mycket lagringsutrymme. Men eftersom de allra flesta användare inte kommer att använda så mycket lagringsutrymme, är vad Googles löfte egentligen säger att Google kan köpa nya hårddiskar snabbare än vad Internetanvändarna kan fylla upp dem. [ Redaktörens anmärkning: Googles förslag att finansiera Gmail genom att visa annonser baserade på innehållet i användarnas e-post har fått stor kritik från en mängd olika integritetsaktivister. Tidigare denna månad cirkulerade ett antal integritetsaktivister ett brev där de bad Google att inte lansera Gmail förrän dessa integritetsproblem hade lösts. Simson Garfinkel undertecknade brevet som en supporter efter att denna artikel skrevs men innan den publicerades.]

Googles infrastruktur verkar väl lämpad för distributionen av en tjänst som Gmail. Förra sommaren publicerade Google ett tekniskt dokument som heter The Google File System (GFS), som uppenbarligen är den underliggande teknologin som utvecklats av Google för att tillåta höghastighetsreplikering och tillgång till data i hela dess kluster. Med GFS kan varje användares e-post replikeras mellan flera olika Google-kluster; när användare loggar in på Gmail kunde deras webbläsare automatiskt dirigeras till det närmaste kluster som hade en kopia av deras meddelanden.

Det här är svår teknik att få rätt - och exakt den typ av system som Akamai har utvecklat de senaste sex åren. Faktum är att det i princip inte finns någon anledning till varför Akamai inte skulle kunna distribuera ett liknande storskaligt e-postsystem ganska enkelt på sina egna servrar. Ingen anledning, det vill säga förutom företagets filosofi.

Leighton tror inte att Akamai skulle gå in i någon verksamhet som krävde att företaget skulle ha direktkontakt med slutanvändare. Mer troligt, säger han, skulle Akamai tillhandahålla infrastrukturen till något annat företag som skulle vara i stånd att göra fakturering, kundsupport och marknadsföring till slutanvändare. Vårt fokus är att sälja in i företaget, säger han.

George Hamilton, analytiker på Yankee Group som täcker företagsdatorer och nätverk, håller med. Hamilton kallar idén om att Google ska konkurrera med Akamai långsökt. Men Google kan anlita Akamai för att komplettera Googles teknologibehov, säger han.

Ändå verkar ett sådant partnerskap osannolikt - åtminstone på ytan. Google kanske köper Akamai, på det sätt som företaget köpte Pyra Labs i februari 2003 för att förvärva Pyras personliga webbpubliceringssystem Blogger. Men Akamai, med sin öppenhetskultur, verkar inte vara en bra match med hemlighetsfulla Googles. Sedan är det faktum att 20 procent av Akamais intäkter nu kommer direkt från Microsoft, enligt Akamais kvartalsrapport från november 2003. Googles rivalitet med Microsoft i internetsökning (och nu i e-post) har kommenterats flitigt i pressen; det är osannolikt att företaget skulle vilja arbeta så nära med en så nära Microsoft-partner.

Ted Schadler, vice VD på marknadsundersökningsföretaget Forrester, säger att det är möjligt att föreställa sig att de två företagen konkurrerar eftersom de båda går efter samma möjlighet i massiv, distribuerad datoranvändning. I den meningen har de samma vision. De måste bygga ut mycket av samma teknik eftersom den inte finns. De måste lära sig många av samma lektioner och utveckla massor av samma teknologier och affärsmodeller.

Schadler säger att Akamai och Google båda är exempel på vad han kallar programmerbara affärskanaler på Internet. Dessa kanaler är företag som erbjuder stor infrastruktur som kan erbjuda högkvalitativa tjänster på Internet till hundratals miljoner användare med en knapptryckning. Google och Akamai är sådana företag, men det är även Amazon.com, eBay och till och med Yahoo!. De är alla tjänster som möjliggör affärsverksamhetsgrundande tjänster som [kan] skalas på ett säkert sätt, säger Schadler.

Om jag vore en bettingman, tillägger Schadler, skulle jag säga att Google är mycket mer intresserad av att betjäna kunden och Akamai är mer intresserad av att tillhandahålla infrastrukturen – det är detaljhandel kontra grossist. Det kommer att finnas massor och massor av dessa detaljhandelsorienterade tjänster.

Om det stämmer kan Google plötsligt finna sig i att konkurrera med ett företag som, liksom Google själv, verkade komma från ingenstans. Förutom den här gången skulle det företaget inte behöva ta reda på något av knepen med att driva den massiva infrastrukturen själv.

Och det förklarar varför Google är så hemlighetsfullt.

Dölj