211service.com
Superdator smälter Twitter i realtid
Att bestämma de mest inflytelserika användarna av Twitter är förmodligen inte vad skaparna av Cray XMT superdator hade i åtanke när de designade sin maskin. Men när du packar så mycket beräkningsvärme, går du dit de svåra problemen är. Twitter, Facebook och resten av den sociala webben har blivit dagens motsvarighet till vattenkylaren, om än med en automatisk transcriptionist närvarande. Och att bearbeta all data som samtal genererar visar sig vara ett mycket svårt problem.
Cray XMT superdator med tillstånd Cray
Till exempel, i februari 2010, inkluderade Facebook 400 miljoner aktiva användare med i genomsnitt 120 vänanslutningar vardera, som alla tillsammans delade 5 miljarder bitar av information under en enda månad.
För att ta reda på vem som är influencer i ett så massivt socialt nätverk måste man skapa en gigantisk social graf, där varje användare är ett hörn och kopplingarna mellan dem är linjer. Att rangordna användare i en sådan graf kräver en bestämning av deras centralitet. Det vill säga hur många andra människor som är anslutna till dem, och hur många som är anslutna till dem, och så vidare, tills du kommer till stammen av trädstrukturen som ligger bakom kopplingen på en tjänst som Twitter.
Det visar sig att detta inte är den sortens problem som lätt hanteras ens av de vanliga arbetsstationerna i den vetenskapliga superdatorvärlden – de GPGPU-drivna superdatorerna som utnyttjar de grafikkretsar som vanligtvis används för att rendera frodiga 3D-miljöer i videospel. Dessa GPGPU-arbetsstationer tillåter helt enkelt inte tillräckligt med kontroll över hur många processer som körs parallellt för att effektivt churna genom sociala grafer lika stora som den som representeras av Twitter eller Facebook.
Det är därför David Ediger från Georgia Tech, med hjälp av en lång lista med medarbetare , vände sig till 128-CPU Cray XMT inrymt vid Pacific Northwest National Laboratory. XMT är en favorit bland superdator-hot-rodders och uber-nördar som uppskattar dess finkorniga, massivt flertrådiga avstämbarhet. Denna maskin trycks vanligtvis i drift för att lösa problem som Hierarchical Bayesian Modeling for Text Analysis eller analysera stabiliteten i USA:s elnät , men Ediger hade det med att tänka på varje herrelös tanke från en enda dags värde Twitter brandslang .
The Cray gjorde kort med Twitter och gjorde sig av med en hel dags anslutningar på mindre än en timme. Resultaten kommer att överraska ingen – på Twitter retweetas en liten del av källorna brett, mestadels regering och media, medan resten av tjänsten antingen är människor som pratar i små grupper eller bokstavligen pratar med sig själva.
Poängen är dock att att kasta en finjusterad Cray som kör Edigers anpassade programvara – GraphCT – på Twitter gjorde det möjligt för forskarna att smälta tjänsten i ungefär som realtid. Vilket är exakt den sortens förmåga som underrättelsebyråer, marknadsförare och kanske till och med Twitter själv skulle vilja ha.
