Akamais algoritmer

Du gör matten. Tom Leighton, professor vid MIT:s Laboratory for Computer Science, eller LCS, äger nästan 10 miljoner aktier i Akamai Technologies, ett företag som han var med och grundade i augusti 1998. I oktober förra året blev Akamai börsnoterad, med priser vid börsintroduktionen (IPO) ) från 26 USD per aktie; vid slutet av dagen hade investerare bjudit priset upp till 145 USD per aktie. En månad senare såldes aktien för 327 dollar per aktie. Oavsett hur mycket matteångest du kan ha, förstår du poängen - Tom Leighton hade blivit en mycket rik man.

En akademiker vars expertis är i parallella algoritmer och tillämpad matematik, Leighton är vid första anblicken en osannolik kandidat för en Internet tweeds-to-riches framgångssaga. Men vid närmare granskning är det helt vettigt. I flera år har Leighton granskat hur komplexa nätverk fungerar och hur de kan optimeras. Så, för fem år sedan, när Tim Berners-Lee (uppfinnaren av World Wide Web) kom ner i korridoren på LCS och letade efter sätt att bättre hantera det eskalerande trafikflödet på Internet, var Leighton och hans besättning av doktorander en självklarhet plats att komma in på.

Den här historien var en del av vårt septembernummer 2000

• Se resten av frågan
• Prenumerera

Under de kommande åren försökte Leighton och en blandning av MIT-studenter och studenter komma på ett bättre sätt att hantera och distribuera innehåll över webben. I början av 1998 gick gruppen, som inkluderade doktorand Daniel Lewin (som tillsammans med Leighton och Jonathan Seelig, en student vid MIT:s Sloan School, fortsatte med att grunda Akamai), deltog i MIT $50K Entrepreneurship Competition. Laget var finalist men vann inte. Ändå kom riskkapitalisterna och knackade på. Och resten är internethistoria. Idag driver företaget ett världsomspännande nätverk med mer än 4 000 servrar som distribuerar webbinnehåll till kunder som Yahoo!, CNN och C-SPAN; om en PC-användare till exempel begär videostreaming från C-SPANs webbplats, hjälper Akamais servrar till att leverera det innehållet, och undviker därmed flaskhalsar på C-SPANs centraliserade webbplats. Det distribuerade nätverket gör innehållsleverans över webben snabbare och mer tillförlitlig.

Trots att han träffade IPO-jackpotten visar den mjuka MIT-professorn (för närvarande tjänstledig från LCS) få tydliga tecken på materiell framgång. Vid Akamais nya huvudkontor intill MIT-campus, upptar Leighton, företagets chefsforskare, ett blygsamt hörnkontor som övervakar en labyrint av bås. Det är mycket en professors kontor, och Leighton talar i tålmodiga och exakta ord från någon som är van att förklara hur saker fungerar. TR Senior Editor David Rotman gick nyligen över för en lektion om att hantera trafik på dagens Internet.

TR: När kom det upp för dig att du kunde använda algoritmer för att optimera innehållsleverans på webben?
LEIGHTON: Första gången jag någonsin tänkte på Internet var 1995. Mitt kontor [på MIT:s LCS] ligger längst ner i korridoren från Tim Berners-Lee och Web Consortium. Med tiden pratade vi om några av de problem som internet står inför. Det är den här typen av storskaliga nätverksproblem som vår grupp arbetade med och som jag har ett långsiktigt intresse för. Så vi tog oss an några av dem som forskningsprojekt.

TR: På sätt och vis är internet verkligen den ultimata nätverksutmaningen, eller hur?
LEIGHTON: Ja. Det är rätt.

TR: Vad var problemet som du började med 95?
LEIGHTON: Vi tittade på sätt att hantera blixtstockning och hotspotting. Det är där många människor går till en sida åt gången och svämmar över sajten och tar ner nätverket runt den - och gör alla olyckliga.

TR: Kan du förklara vilken teknik du har utvecklat?
LEIGHTON: Idag är vi förmodligen ett av världens största distribuerade nätverk. På en hög nivå serverar vi innehåll eller hanterar applikationer för slutanvändare, och vi gör det från servrar som är nära slutanvändarna. Close är något som förändras dynamiskt, baserat på nätverksförhållanden, serverprestanda och belastning. Eftersom vi är nära kan vi undvika många av de upphängningar, förseningar och paketförluster som du kan uppleva om du är långt borta. Förut fick du vanligtvis din interaktion med en central webbplats. Och det var vanligtvis långt borta. Nu har du vanligtvis många av dina interaktioner - inte alla, men mycket - med en Akamai-server som är nära dig och som väljs i realtid.

TR: Vilka är knepen och utmaningarna för att få detta distribuerade system att fungera?
LEIGHTON: Det är ett extremt svårt område; du kan inte gå och bara kasta ett gäng servrar där ute och få dem alla att fungera med varandra. Servrarna själva kommer att misslyckas. Processorer kommer att misslyckas. Internet har alla möjliga egna problem och fellägen. Så alla dessa typer av saker måste byggas in i den algoritmiska metoden. Hur utvecklar man en decentraliserad algoritm med ofullkomlig information som fortfarande kommer att fungera? Det är en stor utmaning. Men det är helt klart vad du måste göra. Du kan inte ha någon central punkt för fel, annars kommer systemet att falla. Jag kan inte komma på en komponent eller en hårdvara som inte har misslyckats någon gång eller någonstans. Så det är givet [att du behöver ett distribuerat system].

När en kund kommer till en av våra kunder och letar efter innehåll måste vi ta reda på var den kunden är, vilken av våra platser i det ögonblicket som är bäst att betjäna kunden från och vilka belastningsförhållanden som är, så att vi inte överbelasta något. Vi måste hantera flashmassor som är både geografiska och innehållsspecifika. Vi måste replikera innehållet omedelbart för att hantera någon av dessa typer av problem, men du har inte råd att ha kopior av allt överallt. Du måste fatta dessa beslut och svara kunderna på millisekunder. Vi måste vara automatiska. Och när bitar misslyckas måste du kompensera automatiskt för det.

TR: Är det vad du kallar feltolerant?
LEIGHTON: Ja, och du måste vara feltolerant över alla aspekter. Sedan finns det också de icke-uppenbara sakerna. Som fakturering. Vi levererar miljarder träffar om dagen och vi fakturerar för varje enskild träff. Vi måste ta reda på vems innehåll det var och hur många byte det har, och fakturera dem för det. Utöver det har vi en tjänst som vi erbjuder våra kunder, där de inom 60 sekunder kan se hur många träffar vi har gett dem under de senaste 60 sekunderna. Dessutom kan vi dela upp för våra kunder var träffarna kommer ifrån per land eller stat. Det är ett utmanande algoritmiskt problem. Hur gör man det egentligen? Och få det att fungera med en begränsad mängd hårdvara och resurser?

TR: Hårdvara är inte riktigt nyckeln till detta, eller hur?
LEIGHTON: Det är inte ens en viktig komponent. Jag vill inte förringa våra hårdvarupartner, men nyckeln här är algoritmen och mjukvaruinfrastrukturen. Det är kritiskt.

TR: Vad är din konkurrens när det gäller att erbjuda ett distribuerat nätverk för innehållsleverans?
LEIGHTON: Det finns egentligen inte mycket där ute. Vi är i en tid då det finns många affärsplaner och det finns många historier. Det finns inte mycket i vägen för riktiga tjänster tillgängliga idag. I stort sett den enda konkurrenten i vårt område är Digital Island, som nyligen förvärvade Sandpiper [Networks]. Det finns andra som har annonserat [affärsplaner] men som inte aktivt bär trafik ännu. En av sakerna som utmärker Akamai är mängden forskning och ingenjörskonst och FoU-insatser som gick åt till att designa systemet. Det är inte bara att kasta en massa lådor där ute. Det finns företag som har försökt göra det utan något distribuerat system. De företag som annonserade tjänster baserade på det tillvägagångssättet för två eller tre år sedan är inte fortfarande i affärer. Att göra det fungerade inte.

TR: Vilka är de kommande utmaningarna för tekniken? Är det för att leverera innehåll snabbare?
LEIGHTON: Det är en komponent. Vi försöker hålla löftet om internet. Det finns tanken att det pågår en enorm revolution när det gäller Internet. Samtidigt finns det frustration på grund av begränsningarna. Det vi försöker göra är att göra internet mer användbart. Och en del av det är att göra den snabbare och mer pålitlig. En annan komponent, något relaterad, är att möjliggöra leverans av mer berikande, mer möjliggörande innehåll. Om vi ​​kan göra streaming bättre, och i det här fallet är inte hastigheten så mycket problemet, det är bandbredden och inte har paketförlust, du kommer att få en mycket bättre bild på din skärm; du kommer att göra mer med det, och fler människor kommer att använda det för att förmedla innehåll och information. Och det är ovärderligt för att berika kraften på internet.

Men allt är inte pressande bitar. Akamai erbjuder tjänster för funktioner som Internetkonferenser som möjliggör till exempel distansutbildning. Med dessa tjänster kan innehållsleverantörer eller företagskunder effektivt leverera innehåll och interagera med små eller stora publiker på webben genom liveljud och video; det finns funktioner för att dela presentationer, publikundersökningar och moderera meddelanden.

TR: När du introducerar en ny funktion som konferens, till exempel, vilka krav ställer den på nätverket?
LEIGHTON: Hur ska du implementera det? Hur kommer du att integrera det i denna massiva distribuerade plattform? Hur ska du underhålla det för tusentals kunder? Du har tusentals kunder och hundratals miljoner människor som kommer åt dessa kunder, och vi sitter mitt emellan. Och allt måste fungera av sig självt. Du kan inte apa runt. Att leverera konferenser låter enkelt. Men det är inte så enkelt när du pratar om den här typen av skala. När folk tänker på streaming tänker de på en enda källa där innehållet kommer ifrån, och sedan förgrenar det sig i ett träd via Internet. De platserna kan gå sönder och då har alla de människorna nedströms ingen tur. Vi har utvecklat ett helt nytt sätt att gå till väga så att det inte finns någon kritisk punkt av misslyckande. Om källan dör är du fast. Men när [innehållet] är borta från källan, replikerar vi det och sprider det i hela systemet. Så det är inte ett träd.

TR: Vad ser det ut som?
LEIGHTON: Det är svårt att beskriva. Sättet att tänka på det är att mellan källan och destinationen har du flera överföringar som pågår så att du kan förlora innehåll på dessa vägar; du kan ha paketförlust på någon eller alla av dem, men vid slutpunkten har du tillräckligt med information som kommer in från dessa platser så att du kan rekonstruera signalen. Så om något dödas längs vägen, som att en stig dödas, påverkas ingen.

TR: Vi har alla upplevt frustrationer med videostreaming. Vad kommer det att krävas när det gäller tekniken för att göra den mer pålitlig? När kommer vi att kunna se webbsändningar lika enkelt som TV på helskärm?
LEIGHTON: För att videostreaming ska bli mer tillförlitlig behöver du en innehållsdistributionstjänst för att leverera bitarna på ett tillförlitligt sätt till kanten av nätverket, och sedan måste du ha en pålitlig sista mils anslutning till Internet. Om du vill ha högkvalitativ video är det bättre att ha en högbandbreddsanslutning till Internet. Det kommer fortfarande att dröja innan du kan få videoströmmar av TV-kvalitet på bred basis.

Vi har visat en megabit-per-sekund livestream. Faktum är att vi nyligen skickade tusentals strömmar på en megabit per sekund till livekunder som fick tillgång till ett huvudtal vid konferensen av Steve Jobs [VD för Apple Computer]. Detta är en viktig milstolpe för Internet. Med den tekniken får du en videoström av mycket hög kvalitet. Om den sista milen är bredband, är du redo att gå. En sak vi jobbar med är bandbreddsprofilering. Tanken är att automatiskt detektera bandbredden för den sista milen. Har klienten en bredbandsanslutning, ett 28K-modem, eller är det smalbands-en mobiltelefon eller något? Sedan levererar vi innehållet som en funktion av det. Så om du upptäcker att klienten har hög bandbredd får de versionen med hög bandbredd - den streamade versionen i motsats till den statiska versionen. Eller vid smal bandbredd får du en tryckt version i motsats till grafiken.

TR: Webbens natur verkar förändras med funktioner som videostreaming och konferenser. Vad kommer Akamai att arbeta med om fem år? Hur tror du att internet kommer att se ut då?
LEIGHTON: Saker och ting går så fort, det är verkligen svårt att förutse. Människor som försöker förutsäga slutar med att äta upp sina ord. Jag tror att vi bara är i början av internetrevolutionen. Jag tror inte att vi ens har börjat tänka på allt vi kan göra på internet. Jag kan inte säga dig vad som kommer att bli den heta tjänsten om fem år. Jag vet inte. Jag hoppas då att till exempel kvaliteten på streaming är mycket bättre. Att det är en del av vardagen. Åtminstone skulle jag förvänta mig att den typiska webbupplevelsen skulle bli rikare, effektivare och mer pålitlig än den är idag.

TR: Du ses av många som en modell för en akademiker som gör det stort som entreprenör i den nya ekonomin. Vad säger du till dem som vill efterlikna din framgång?
LEIGHTON: Jag hade aldrig en strävan att bli entreprenör. Jag älskar akademiker och var med och grundade Akamai eftersom vi kände att det var det bästa sättet att överföra vår teknologi från en forskningsmiljö till praktiken. Det kändes riktigt skönt att ta tekniken, speciellt tekniken från ett universitet, och göra skillnad med den. Det är förmodligen den största belöningen. Det tar ofta 10 till 20 år för en teknik på ett universitet att verkligen visa sig i praktiken. Och den här gången kan vi minska den tiden dramatiskt. Jag är mycket nöjd med att skriva ett papper som bara fem personer läser. Ganska smarta människor kommer att läsa den, och jag får en kick av det. Det är vad jag ägnat hela mitt liv åt. Men det här är något med en chans att göra skillnad.

TR: Saknar du någonsin de dagar då du, som du uttryckte det, ägnade din tid åt att skriva papper som kanske fem personer kunde läsa och förstå?
LEIGHTON: Ja, även om jag inte har så mycket tid att tänka på det.

Dölj