211service.com
Datautvinning avslöjar historiska händelser i statliga arkivregister
Studiet av politisk historia genomgår en revolution. Drivkraften bakom denna förändring är tillgången till elektroniska register över statlig verksamhet och möjligheten att siffra denna data på sätt som aldrig tidigare varit möjliga.
Historiker har omedelbar tillgång till samtida nyhetsrapporter om viktiga världshändelser. Men dessa rapporter måste kalibreras genom att jämföra dem med dåtidens myndigheters register, som kan skilja sig åt på viktiga och okända sätt. Men dessa register offentliggörs vanligtvis inte förrän några år senare. Det stora antalet statliga dokument gör denna process svår eftersom det är alltför lätt för forskare att förbise något väsentligt.
Så ett automatiserat sätt att söka efter viktiga händelser i dessa regeringsregister skulle vara oerhört användbart.
Datautvinning avslöjar ökningen av statlig kommunikation under hösten i Saigon (överst) men lite av betydelse relaterat till Finland (nederst).
Idag säger Yuanjun Gao vid Columbia University i New York och några kompisar att de har utvecklat en uppsättning statistiska verktyg som kan göra det här jobbet. De har testat tekniken på amerikanska myndigheters elektroniska dokument som släppts av National Archives och jämfört resultaten med samtida nyhetsposter.
Arbetet möjliggörs av att det amerikanska utrikesdepartementet har lagrat hemligstämplad kommunikation elektroniskt sedan 1973. Många av dokumenten från 1973 till 1977 är nu allmänt tillgängliga och består av 1,4 miljoner avsekretessbelagda kablar och metadata kopplade till 0,4 miljoner dokument levereras i diplomatväska.
Dessa elektroniska poster är alla tilldelade taggar relaterade till deras ämne. Så kommunikation relaterade till Sydvietnam är taggad VS, de som är relaterade till United Nationals General Assembly taggade UNGA, till Finland taggade FI, och så vidare.
Det gör det möjligt för forskare att spåra kommunikation relaterade till specifika ämnen utan att känna till detaljerna i själva meddelandena.
Att plotta antalet meddelanden över tid avslöjar några intressanta mönster. Till exempel avslöjar den en ökning av kommunikationer relaterade till Sydvietnam i april 1975 vid tiden för Saigons fall.
Kommunikation relaterade till FN:s generalförsamling ökar med jämna mellanrum motsvarande datumen för församlingarna som äger rum varje år. Detta mönster inkluderar en ytterligare topp i april-maj 1974 som motsvarar en särskild FN-session som kallades av Algeriet för att diskutera dess krav på stöd för en ny internationell ekonomisk ordning.
Däremot visar etiketterna förknippade med Finland mellan 1973 och 1977 inga toppar eller speciella mönster, vilket återspeglar nationens stabilitet vid den tiden.
Stora toppar är relativt lätta att se visuellt, men Gao och co har utvecklat verktyg för att upptäcka dem automatiskt och rangordna deras betydelse genom att jämföra dem med bakgrundsnivån av aktivitet vid den tiden.
Det gör att teamet kan ta fram en rankning av de 30 mest betydande händelserna under denna period.
Alla dessa toppar motsvarar inte viktiga världshändelser. Till exempel, de två mest betydande topparna relaterar till administrativa frågor som transport och ändringar av viseringssystemet.
Men rankningen finner en lång rad andra viktiga händelser, såsom Carter-administrationens prioritering av mänskliga rättigheter, Egyptens president, Anwar Sadats överraskande besök i Israel 1977, den sydostasiatiska båtfolkskrisen 1975-76, Yom 1973 Kippurkriget och Portugals tillbakadragande från Angola 1975-76 osv.
Det är intressant arbete som borde förändra hur historiker och samhällsvetare gör sitt arbete. Och det här är bara början. Den här typen av automatiserade metoder kan också visa hur människor använde taggningsprocessen vid den tiden, hur ofta misstag gjordes och om vissa typer av meddelanden kan ha försvunnit.
Och när mer detaljerade elektroniska register släpps kommer forskare att kunna utveckla mer avancerade sätt att bryta dem. Den politiska historien kommer aldrig att bli densamma.
Ref: arxiv.org/abs/1712.07319 : Gruvevenemang med avklassificerade diplomatiska dokument