De 70 onlinedatabaserna som definierar vår planet

Tillbaka i april tittade vi på en ambitiös europeisk plan för att simulera hela planeten. Tanken är att utnyttja de enorma mängder data som genereras av finansmarknader, hälsojournaler, sociala medier och klimatövervakning för att modellera planetens klimat, samhällen och ekonomi. Visionen är att ett sådant system kan hjälpa till att förstå och förutse kriser innan de inträffar så att regeringar kan vidta lämpliga åtgärder i förväg.

Det finns många utmaningar här. Ingen har ännu den datorkraft som krävs för en sådan uppgift, inte heller finns det modeller som exakt kan modellera ännu mycket mindre system. Men innan något av det är möjligt måste forskarna samla in de ekonomiska, sociala och tekniska data som behövs för att mata denna maskin.

Idag får vi en storslagen rundtur i denna utmaning av Dirk Helbing och Stefano Balietti vid Swiss Federal Institute of Technology i Zürich. Helbing är drivkraften bakom detta projekt och mannen som kommer att leda det om han får den 1 miljard euro han behöver från EU-kommissionen.

Det visar sig att det redan finns många datakällor som kan ge det nödvändiga bränslet för att driva Helbings Earth Simulator. Tidigare har insamling av data om mänsklig aktivitet till stor del hindrats av ekonomiska, tekniska och etiska frågor, säger Helbing och Balietti. Så är det inte längre.

Även om bra data från samhällsvetenskapliga experiment har varit svåra att få tag på tidigare, översvämmas forskare för närvarande av det tack vare en ny generation av labbexperiment, webbexperiment och studiet av massiva onlinespel för flera spelare.

Dessa och andra sysselsättningar producerar nu enorma mängder data, av vilka många är fritt tillgängliga på webben.

Naturligtvis är en av farorna med ett sådant tillvägagångssätt att alla etiska frågor sannolikt kommer att översvämmas av denna flodvåg av siffror. Detta måste åtgärdas snarast. Medan Helbing och kollegor skriver övertygande om de potentiella fördelarna med en Earth Simulator, är det svårt att tro att de har tänkt lika mycket på de potentiella riskerna.

Så för att stimulera denna debatt, återger jag här Helbings lista över webbplatser som är potentiella datakällor för en Earth Simulator. Det ger fascinerande, om än nervigt, läsning:

Internet och historiska ögonblicksbilder
Internetarkiv / Wayback-maskin
Internetarkivet erbjuder permanent tillgång för forskare, historiker, forskare, personer med funktionsnedsättning och allmänheten till historiska samlingar som finns i digitalt format. Internetarkivet grundades 1996 och innehåller nu texter, ljud, rörliga bilder och programvara samt arkiverade

Wikipedia
Wikipedia är det mest kända uppslagsverket som redigerats i samarbete. Eftersom varje ändring lagras kan webbsidors historik erbjuda en detaljerad ämnesbaserad översikt över de viktigaste referenserna från det förflutna.

Kunskapscentrumen
En samling länkar till andra resurser för att hitta webbsidor som de brukade existera förr.

När sedan
Whenago ger snabb tillgång till historisk information om vad som hände i det förflutna en viss dag.

World Digital Library
World Digital Library (WDL) gör tillgängligt på Internet, gratis och i flerspråkigt format, betydande primärmaterial från länder och kulturer runt om i världen.

Motorer för informationssökning
Freebase
Freebase är ett öppet, Creative Commons-licensierat arkiv med strukturerad data från mer än 12 miljoner enheter. Det tillhandahåller samarbetsverktyg för att länka samman enheter och hålla dem uppdaterade.

Wolfram Alpha Computational Knowledge Engine
Ett försök att beräkna vad som helst kan beräknas om vad som helst. Det syftar till att tillhandahålla en enda källa som alla kan lita på för definitiva svar på faktafrågor.

Textutvinning på webben
Google Trender
Google Trends visar visuell statistik om hur ofta sökord har sökts på Google över tid. Google Trender visar också hur ofta ämnen har dykt upp i Google Nyheter och i vilka geografiska regioner folk har sökt efter dem mest.

Google influensatrender
Google Flu Trends använder samlad Google-sökningsdata för att uppskatta influensaaktivitet. Data tillgänglig för nedladdning också.

Observatoriet
Observatorium-projektet fokuserar på komplex nätverksdynamik på Internet, och föreslår att övervaka dess utveckling i realtid, med det allmänna målet att bättre förstå processerna för kunskapsgenerering och opinionsdynamik.

Vi mår bra
En databas med flera miljoner mänskliga känslor, skördade från bloggar och sociala sidor på webben. Med hjälp av en serie lekfulla gränssnitt kan känslorna sökas och sorteras över ett antal demografiska segment. Webb-API tillgängligt också.

CyberKänslor
CyberEmotions-projektet fokuserar på kollektiva känslors roll för att skapa, bilda och bryta upp ecommunities. Det gör det tillgängligt för nedladdning av tre datauppsättningar som innehåller nyheter och kommentarer från BBC News forum, Digg och MySpace, endast för akademisk forskning och först efter att ett ansökningsformulär har skickats in.

Social datadelning
Länkad data
Länkad data handlar om att använda webben för att koppla samman relaterad data som inte tidigare var länkad, eller att använda webben för att minska hindren för att länka data som för närvarande är länkad med andra metoder.

Dataverse nätverksprojekt
Dataverse Network är en applikation för att publicera, dela, referera, extrahera och analysera forskningsdata. Det underlättar att göra data tillgänglig för andra och gör det möjligt att replikera andras arbete. Forskare och dataförfattare får kredit, förlag och distributörer får kredit, anslutna institutioner får kredit.

Data360
Data360 är en öppen källkod, gemensam och gratis webbplats. Webbplatsen är värd för en gemensam och delad databas, som alla personer eller organisationer som är engagerade i neutralitet och partiskhet (vilket betyder låt data tala), kan använda för presentationer och visualiseringar.

Snurra
Swivel är en webbplats där människor delar rapporter om diagram och siffror. Det är gratis för offentlig data och tar ut en månadsavgift för personer som vill använda det privat.

Många ögon
Ett IBM-initiativ som låter användare ladda upp sina datauppsättningar och använda en samling verktyg för att få meningsfulla visualiseringar från dem. Varje visualisering lagras offentligt på en dedikerad sida, där användare kan kommentera, betygsätta och tagga den. Återanvändning av uppgifterna är möjlig och uppmuntras.

Konfliktdata
CSCW-data om väpnad konflikt
CSCW och Uppsala Conflict Data Program (UCDP) vid institutionen för freds- och konfliktforskning, Uppsala universitet, har samarbetat i framtagandet av en datauppsättning av väpnade konflikter, både interna och externa, under perioden 1946 till idag. För närvarande är förmodligen det mest omfattande datauppsättningsarkivet som finns tillgängligt, särskilt för historiska data.

WarViews
Målet med WarViews-projektet är att skapa ett lättanvänt front-end för utforskning av GIS-data om konflikter. Det kan köras i en webbläsare eller så kan det visas med Google Earth.

Följande är inbördeskrigsspecifika datamängder med ytterligare empirisk information:
Etnisk grupp platsdatauppsättning
Etniska maktbalanser datauppsättning
Samling av uppdaterade datamängder och kodböcker från Uppsala Conflict Data Program (UCDP) .

ACLED
ACLED (Armed Conflict Location and Events Dataset) ingår delvis i PRIO-datasetet och är designat för disaggregerad konfliktanalys och kriskartläggning. Denna datauppsättning kodar platsen för alla rapporterade konflikthändelser i 50 länder i utvecklingsländerna. Data kodas för närvarande från 1997 till 2009 och projektet fortsätter att uppdatera konfliktinformation för afrikanska stater till självständighetsåret.

CERAC
Conflict Analysis Resource Center är värd för flera gränsöverskridande konfliktdatauppsättningar och några datauppsättningar från vissa länder. Förvar har också datauppsättningar av politisk instabilitet och konflikt.

Cross-National Time-Series Data Archive
Cross-National Time-Series Data Archive tillhandahåller årliga data för en rad länder från 1815 till idag. Det är ofta citerat, det är en av de ledande dataseten om politiskt våld, enligt Robert Bates vid Harvard University. Det är möjligen den mest använda händelsedataset enligt Henrik Urdal, International Peace Research Institute, Oslo (PRIO).

Landsspecifika arkiv: Irak , Afghanistan
Samling av datauppsättningar av terrordåd .

Data inom ekonomi och finans
Bloomberg
Internationell realtidsdataleverantör för beslutsfattare inom finans, näringsliv och regering.

Maddison Data
Historisk statistik om BNP och befolkningsdata.

UNCTAD statistik
UNCTAD Handbook of Statistics online tillhandahåller tidsserier av ekonomiska data och utvecklingsindikatorer, i vissa fall så långt tillbaka som till 1950; onlinedatabasen för varuprisstatistik; UNCTAD-TRAINS på Internet (handelsanalys och informationssystem) för handelskontrollåtgärder samt importflöden efter ursprung för över 130 länder; databasen för utländska direktinvesteringar (FDI).

OECD:s statistikportal
Stor samling datauppsättningar som täcker ekonomi, demografi. Utdrag är fritt tillgängliga, full åtkomst kräver prenumeration.

EUROSTAT
Detaljerad statistik om EU och kandidatländerna, och olika statistiska publikationer till salu.

Var är George?
Rumsligt spårningssystem för amerikanska och kanadensiska dollar.

Eurobilltracker
Rumsligt spårningssystem för eurosedlar.

Vetenskapliga samarbetsdata
ISI Web of Knowledge
Omfattande informationskälla inom vetenskap, samhällsvetenskap, konst och humaniora. Den omfattar flera datamängder, bland vilka följande kanske är de mest anmärkningsvärda:
Journal Citation Reports. Det tillåter en att utvärdera och jämföra tidskrifter med hjälp av citatdata från över 7 500 vetenskapliga och tekniska tidskrifter;
Web of Science. Den består av sju databaser som innehåller information samlad från tusentals vetenskapliga tidskrifter, böcker, bokserier, rapporter, konferenser och mer.

Google Scholar
Google Scholar är en sökmotor specialiserad på vetenskaplig litteratur. Den indexerar olika källor (artiklar, böcker, abstrakt, avhandling, etc.) från flera discipliner och sorterar dem efter antal citat, författare och tidskrifts påverkan.

Scholarometer
Scholarometer är ett socialt verktyg för att underlätta citeringsanalys och hjälpa till att utvärdera effekten av en författares publikationer. Det fungerar som en mjukvaruplugin för webbläsaren Firefox.

Scopus
Scopus är en mycket stor abstrakt- och citeringsdatabas med forskningslitteratur. Det är endast tillgängligt för registrerade användare.

Levande vetenskap
Living Science är ett globalt vetenskapsobservatorium i realtid baserat på publikationer som skickats till arXiv.org. Den täcker realtid (dagliga) inlämningar av publikationer inom så olika områden som fysik, astronomi, datavetenskap, matematik och kvantitativ biologi. För närvarande uppdateras innehållet dynamiskt varje dag. Living Science är ett kraftfullt analysverktyg för att identifiera omfattningen och effekten av vetenskapligt arbete över hela världen.

Samhällsvetenskap
ICPSR vid University of Michigan
ICPSR erbjuder mer än 500 000 digitala filer som innehåller samhällsvetenskapliga forskningsdata. Representerade discipliner inkluderar statsvetenskap, sociologi, demografi, ekonomi, historia, gerontologi, straffrätt, folkhälsa, utrikespolitik, terrorism, hälso- och sjukvård, tidig utbildning, utbildning, ras- och etniska minoriteter, psykologi, juridik, missbruk och mental hälsa och mer.

UK Data Center vid University of Essex
Storbritanniens största samling av digital forskningsdata inom samhällsvetenskap och humaniora.

Berkeleys UC DATA-arkiv
UC DATAs datainnehav finns främst inom områdena politisk, social och hälsovetenskap.

Ekonomiska och sociala datatjänsten (ESDS)
Ekonomiska och sociala datatjänsten (ESDS) är en nationell datatjänst som ger tillgång till och stöd för ett brett utbud av viktiga ekonomiska och sociala data, både kvantitativa och kvalitativa, som spänner över många discipliner och teman. Den innehåller en karta över ytterligare datamängder från flera europeiska länder.

CESSDA
Breda datainsamlingar inklusive sociologiska undersökningar, valstudier, longitudinella studier, opinionsundersökningar och folkräkningsdata. Bland materialet finns internationella och europeiska data som European Social Survey, Eurobarometers och International Social Survey Programme.

Gapminder-data
Gapminder är en populär teknik och webbapplikation för korsvisualisering av trender i tidsserier av data. Det öppnar också ett arkiv med flera datamängder om olika socioekonomiska indikatorer.

World Value Survey
World Value Survey tillhandahåller data om värderingar och kulturella förändringar i samhällen över hela världen.

Urban data
Global Urban Observatory databas
Global Urban Observatory (GUO) erbjuder policyorienterade urbana indikatorer, statistik och annan urban information.

Urban Observatory
USA-baserade datauppsättningar om rikedom, innovation och brottslighet i städer.

Trafikdata
körkort
Programmet Next Generation Simulation (NGSIM) initierades av United States Department of Transportation (US DOT). Programmet utvecklade en kärna av öppna beteendealgoritmer till stöd för trafiksimulering och samlade in högkvalitativa primära spår- och banadata avsedda att stödja forskning och testning av de nya algoritmerna.

Schweiziska federala vägkontoret FEDRO
Swiss Federal Roads Office erbjuder en omfattande översikt över trafikflöden i Schweiz. Data samlas in av permanenta automatiska trafikräkningsstationer och kompletteras med regelbunden manuell kontroll sedan 1961.

Trafikdata
Syftet med projektet International Traffic Database (ITDb) är att tillhandahålla trafikdata till olika grupper (forskare, praktiker, offentliga enheter) i ett format som passar deras specifika behov, allt från rå mätdata till statistisk analys. ITDb främjar ett flexibelt format för tillhandahållande av trafikdata baserat på användarbehov och standardvanor.

Clearinghus för transportdata
Clearinghuset för transportdata i German Aerospace Center är den första kontaktpunkten för en snabb överblick över tillgängliga data. Den riktar sig både till organisationer som samlar in transportrelevant data och de som vill använda resultaten av sådan forskning. Den information som erbjuds inkluderar utarbetande av detaljerad metadata om datamängderna, samt anteckningar om möjliga användningar och källor.

Dessutom Regiolab Delft
Regionlab-delft-initiativet startade strax efter 2000 som ett gemensamt projekt ledd av TU Delft i samarbete med Delfts kommun, TRAIL-forskarskolan, provinsen Sydholland, transportministeriet och flera industripartners. Den arkiverade datamängden består av över 6 år av 1 minuts medelhastighet och sammanlagd flödesdata från tätt placerade induktiva slingor på motorvägsnätet i provinsen södra Holland och annan data från korsningskontroller, registreringsskyltskameror och mycket mer.

RITA
Research and Innovative Technology Administration (RITA) vid US Department of Transportation erbjuder flera datauppsättningar om sjöfart, frakt, flygbolag, passagerare etc. trafikstatistik.

ETH Travel Data Archive (ETHTDA)
ETH Travel Data Archive (ETHTDA) är en virtuell plattform som tillåter slutanvändare att bläddra i arkiverad resedata över webben och möjliggör enkel statistisk analys.

Metropolitan Travel Survey Archive
Metropolitan Travel Survey Archive för att lagra, bevara och göra allmänt tillgängliga, via Internet, resenkäter utförda av storstadsområden, stater och orter.

Infoblu
Infoblu är ett privat företag som tillhandahåller trafikövervakningstjänster i realtid för Italien. Alla tjänster är tillgängliga mot en avgift.

Öppna kartor
Google kartor
Världsberömd karttjänst. Den erbjuder flera tilläggstjänster såsom: Street View, användaruppladdat innehåll (foton, kommentarer och betyg) och personliga överlagringar via tjänstens api.

OpenStreetMap
OpenStreetMap (av UCL) är en gratis redigerbar karta över hela världen. OpenStreetMap låter dig visa, redigera och använda geografiska data på ett samarbetssätt från var som helst på jorden.

Tracksource Brasilien
Tracksource är ett samarbetsprojekt som syftar till att skapa och distribuera gratis kartor över Brasilien.

Logistikdata
Nationell hushållsreseundersökning
National Household Travel Survey (NHTS) samlar in data om både långdistansresor och lokala resor av den amerikanska allmänheten. Den gemensamma undersökningen samlar in reserelaterade data som färdsätt, längd, avstånd och syfte med resan. Den samlar också in demografiska, geografiska och ekonomiska data för analysändamål. Det är en del av RITA.

Varuflödesundersökning
Commodity Flow Survey (CFS) är den primära källan till data på nationell och statlig nivå om inhemska fraktförsändelser från amerikanska anläggningar inom gruvdrift, tillverkning, grossisthandel, hjälpföretag och utvalda detaljhandelsbranscher. Data tillhandahålls om typer, ursprung och destinationer, värden, vikter, transportsätt, distansfrakt och tonmil av varor som skickas. Det är en del av RITA och det genomförs vart femte år (senaste provtagningen 2007).

Klimatdata
Julich
Klimatdata från Julich Research Center.

Google.org
Google introducerar sina datadrivna filantropiska projekt, bland annat två miljösatellitobservatorier:
Earth Engine: för att övervaka trender i världens avskogning;
the Crisis Response: för övervakning av oljeutsläppet från Deep Horizons sjönk plattform.

Reality mining
Reality Mining
Beteendedata samlad in från 100 mobiltelefoner under 9 månader. Inkluderar både närhets- och telefonanvändningsstatistik. Två anonymiserade datauppsättningar tillgängliga: en användare (MySQL) och global (Matlab).

Andra öppna datainitiativ
Data.gov
Bred samling av offentliga amerikanska datamängder tillgängliga för forskning.

Data.gov.uk
Bred samling av offentliga datauppsättningar i Storbritannien tillgängliga för forskning.

Gräver i data
Lanserat av National Science Foundation (NSF), erbjuder den en samling olika dataförråd.

Guardian Data Blog
Datajournalistikinitiativ som publicerar datauppsättningar av allmänt intresse (främst Storbritanniens relevanta) tillsammans med deras analys. Några samarbeten med datavisualiseringskonstnärer finns också.

Googles offentliga data
Google erbjuder flera stora datamängder med olika socioekonomiska indikatorer i världen och tillhandahåller verktyg för enkel visualisering.

Ref: arxiv.org/abs/1012.0178 : Från social datautvinning till att prognostisera socioekonomiska kriser

Dölj