Grafikchips hjälper till att bearbeta stora datamängder på millisekunder

Ny programvara kan använda grafikprocessorerna som finns på vanliga datorer för att bearbeta dataströmmar snabbare än vad som normalt är möjligt, vilket öppnar upp för nya sätt att visuellt utforska allt från Twitter-inlägg till politiska donationer.

Regnmakare : Ny visualiseringsteknik berättar bara om millisekunder för att förvandla tiotals eller hundratals miljoner datapunkter till kartor och animationer som det här exemplet som visar frekvensen av ordet regn i tweets över hela landet.

Känd som MapD , eller massivt parallell databas, uppnår den nya tekniken stora hastighetsvinster genom att lagra data i det inbyggda minnet på grafikprocessorer (GPU) istället för i centrala processing units (CPUs), som är konventionellt. Att använda ett enda högpresterande GPU-kort kan göra databehandlingen upp till 70 gånger snabbare.

Just nu demonstreras prototyptekniken på tweets; den kan visa hur ett meme sprider sig i realtid på regionala eller världskartor (se Visualisera Big Data i millisekunder på billiga datorer). Många storskaliga Twitter-visualiseringar – inklusive animerade kartor och diagram – tar flera sekunder eller längre tid att bearbeta data innan de kan visas. Med MapD kan en användare justera söktermer och andra parametrar – som tidsram eller geografisk region – och se en ny visualisering direkt, utan att behöva vänta på att varje ny karta och animering ska beräknas och laddas.

Detta offentligt gränssnitt kan användas för att visualisera 50 miljoner geokodade tweets som postats mellan 28 september och 6 oktober. Verktyget låter användare utforska olika söktermer, undersöka breda geografiska trender och zooma in på varje tweet. För var och en av de 30 bildrutor per sekund som den genererar vid animering av Twitter, skannar Map-D alla tweets som har laddats på GPU:erna och konstruerar visualiseringar som kartor över hur ordanvändning – som kan inkludera omnämnanden av ett produktnamn eller en nyhet — sprider sig över en region eller runt om i världen i realtid.

De [befintliga Twitter-visualiseringar] vi känner till är 'konserverade' - baserade på tidigare beräkningar av en karta eller bild, snarare än att de är verkligt interaktiva, säger Samuel Madden , en professor i datavetenskap vid MIT. Vi har byggt en ny typ av databassystem. Den kommer att besvara och även kartlägga varje förfrågan genom att skanna igenom varje tweet i databasen, vilket kan göras på bara några millisekunder. Systemet kan hålla takten även om databasen har hundratals miljoner tweets.

Tekniken skapades förra året av Todd Mostak, då en doktorand i Mellanösternstudier från Harvard, som var frustrerad över den tröga bearbetning han stötte på när han försökte knäcka sociala mediers datauppsättningar från Egypten och på andra håll i Mellanöstern. Genom att bygga ett verktyg för att utforska datamängder som detta på ett verkligt interaktivt sätt, med latenser mätta i millisekunder snarare än sekunder eller minuter, hoppas vi kunna ta bort en beräkningsflaskhals från processen med hypotesformulering, testning och förfining, säger Mostak.

Tekniken kan göra det lättare att få insikter från Twitters enorma informationskälla. Att kombinera folkräkningsdata med tweets kan till exempel visa hur omnämnandet av ordet McDonald's i geotaggade tweets relaterar till variabler som inkomst eller arbetslöshetsnivåer.

En early adopter kommer att vara Sunlight Foundation , som främjar öppenhet i kampanjfinansiering. Den organisationen matar 22 år av amerikanska statliga och federala kampanjdonationsdata till MapD, vilket kommer att tillhandahålla sätt att snabbt variera visualiseringar som bryter ner mer än 20 miljoner donationer enligt givare, region, förtroendevald och andra parametrar. Varje ny typ av fråga kommer att generera en ny visualisering på bara millisekunder.

Med befintliga metoder kan det ta sekunder för en visualisering att laddas, eftersom det tar så lång tid att söka efter informationen i en databas. Snabbare åtkomst gör det möjligt för forskare att testa hypoteser och förfina visualiseringar snabbare. Det kan göra stora datamängder mer användbara. Många bärbara datorer innehåller till och med ganska kraftfulla GPU:er – tillräckligt snabba för att dramatiskt påskynda den interaktiva utforskningen av måttliga datamängder på till exempel 20 miljoner tweets, säger Mostak.

MapDs teknologi lovar att göra nya typer av realtidsfrågor möjliga, säger Bob Lannon, utvecklare på Sunlight Labs , som utvecklar dataanalysverktyg för Sunlight Foundation. Snart kommer du snabbt att kunna utforska stora mängder data och pivotera, filtrera och sammanfatta det på sätt som inte tidigare var tillgängliga. Vi är spännande att se vad det kan betyda för våra användare.

Nvidia, en av de ledande tillverkarna av grafikprocessorer, planerar att demonstrera MapD på mer än en miljard tweets med åtta grafikprocessorer vid en kommande konferens. Forskarna planerar också att göra en gemensam demo med Gnip, den ledande återförsäljaren av sociala mediadata från källor som Twitter, Foursquare och Facebook. Elaine Ellis, en taleskvinna för Gnip, sa att företaget inte var redo att prata om samarbetet.

Twitter rapporterade nyligen att det har 215 miljoner aktiva användare varje månad som sänder mer än 400 miljoner tweets per dag. Av dessa innehåller cirka sju miljoner tweets GPS-taggar för geolokalisering, vanligtvis från mobila enheter. Att kunna visualisera massiva strömmar av geografiskt identifierbara sociala medier och mobiltelefondata i realtid kan få kraftfulla konsekvenser för epidemiologi och katastrofhantering (se Big Data från billiga telefoner).

Förutom att använda grafikkretsar arbetar Madden och Mostak med forskare från Intel för att låta MapD dra nytta av företagets nya massivt parallella processorer samt de vanliga X86-processorerna som driver de flesta datorer.

Dölj