Maskinlärande algoritm kan visa om statshemligheter är korrekt klassificerade

Det amerikanska utrikesdepartementet genererar cirka två miljarder e-postmeddelanden varje år. En betydande del av dessa innehåller känslig eller hemlig information och måste därför sekretessbeläggas, en process som är tidskrävande och kostsam. Bara under 2015 spenderade det 16 miljarder dollar för att skydda sekretessbelagd information.

Men tillförlitligheten av denna klassificeringsprocess är oklart. Ingen vet om reglerna för klassificering av information tillämpas konsekvent och tillförlitligt. Det finns faktiskt en betydande tvist om vad som ens utgör information som bör sekretessbeläggas.

Dessutom är det lätt att föreställa sig att mänskliga misstag spelar en betydande roll i felklassificeringen av officiella hemligheter. Men ingen vet hur betydande dessa fel kan vara.

Idag förändras det tack vare Renato Rocha Souzas arbete vid den brasilianska tankesmedjan Fundação Getulio Vargas i Rio De Janeiro och kollegor vid Columbia University i New York. Dessa killar har använt en maskininlärningsalgoritm för att studera över en miljon avklassificerade kablar från utrikesdepartementet från 1970-talet.

Deras arbete ger en aldrig tidigare skådad inblick i karaktären hos officiella hemligheter, hur människor tillämpar reglerna och hur ofta fel smyger sig in i processen för att avslöja känslig information eller dölja på annat sätt ofarliga detaljer. Algoritmerna avslöjar också misstänkta mönster i hur kablar försvinner.

Teamet började med en korpus på en miljon kablar, som de laddade ner från U.S. National Archives i form av XML-filer. Varje kabel är ett textmeddelande som utbyts mellan utrikesdepartementet och en diplomatisk beskickning i ett främmande land, till exempel en ambassad eller ett konsulat.

Kablarna är märkta som hemliga, konfidentiella, begränsad officiell användning eller som oklassificerade. Hemlig information definieras som att den har potential att allvarligt skada den nationella säkerheten, konfidentiell information definieras som att den har potential att orsaka skada men inte allvarlig skada. Kategorien Begränsad officiell användning var odefinierad på 1970-talet och är fortfarande kontroversiell än idag.

Kablarna innehåller även annan information. Varje meddelande har ett datum, en avsändare och mottagare, ett ämne och naturligtvis meddelandetexten.

Souza och co använde en mängd olika metoder för maskininlärning för att fastställa hur dessa faktorer korrelerar med klassificeringsetiketten. Och efter att ha upptäckt denna korrelation testade de sedan algoritmen för att se hur väl den kunde förutsäga om en given kabel var klassificerad eller inte.

Resultaten ger intressant läsning. Souza och co säger att själva meddelandet är den bästa indikatorn på om en kabel är klassificerad. Av alla funktioner var den relativa frekvensen av olika ord i kroppen den mest användbara för att identifiera känslig information, säger de. Sändar- och mottagardata är också en bra indikator på känslighetsnivån men kan leda till att algoritmen klassificerar många kablar som inte klassificerades som sådana som var det. Med andra ord leder detta till en hög andel falska positiva resultat.

När maskininlärningsalgoritmen kombinerar de olika typerna av metadata i sina beslut kan den upptäcka cirka 90 procent av de kablar som är klassificerade, med en falsk positiv andel på bara 11 procent. Och Souza och co säger att det borde gå att göra bättre om kablar som fortfarande är klassade ingick.

Falska positiva och falska negativa är i sig intressanta. Det här är kablar som maskinen förutspådde skulle klassificeras men inte var det och vice versa. I många fall avslöjade maskinen kablar som hade felklassificerats av människor. Ett exempel är en kabel om den japanska regeringens känslighet över amerikanska inspektioner av dess kärnkraftsanläggningar. Den här kabeln var oklassificerad, men borde ha varit det eftersom texten avslöjar att den ursprungligen var konfidentiell, säger forskarna.

En begränsning av data är att många kablar har gått förlorade, till synes på grund av problem med att konvertera dem till ett elektroniskt format. Den kanske mest intressanta aspekten av detta arbete är att det antyder att dessa meddelanden kan ha försvunnit av andra skäl.

En ledtråd är i vilken takt meddelandena försvann, som skiljer sig åt för klassificerade och oklassificerade kablar. Elektroniska meddelanden som klassificerats som 'hemliga' hade mer än tre gånger större sannolikhet att försvinna jämfört med meddelanden för oklassificerad och begränsad officiell användning, säger Souza och co.

Dessutom överlever metadata som är kopplade till kablarna ofta när det elektroniska meddelandet har försvunnit. Hur detta kunde ha hänt är ett pussel.

Dessutom, om meddelandena gick förlorade när de konverterades från ett format till ett annat, skulle de med största sannolikhet försvinna när utrikesdepartementet satte upp sitt nya datalagringssystem. Det är anmärkningsvärt att de flesta av dessa [saknade] kablar inte daterar till när utrikesdepartementet först satte upp systemet, när man kunde förvänta sig att det skulle ha varit felsökningssätt att tillförlitligt överföra data mellan olika hårdvaru- och mjukvaruplattformar, säger teamet.

Arbetet har viktiga implikationer för balansen mellan transparens och sekretess. Maskiner kan helt klart hjälpa till att övervaka praxis att klassificera data. Men de kan inte göra detta bättre i genomsnitt än de databaser som de lär sig från. Om dessa innehåller fel, vilket utrikesdepartementets kablar uppenbarligen gör, kommer maskinerna oundvikligen att hamstras.

Men en intressant fråga är om den data som denna typ av maskininlärning avslöjar i sig bör klassificeras om den avslöjar beteendemönster som kan vara skadliga för det nationella intresset. Till exempel kan den hastighet med vilken konfidentiell information felaktigt märks som oklassificerad vara användbar för en främmande makt som försöker samla hemligstämplad information från oklassificerade kablar.

Det är klart att det finns mer att göra. Souza och co säger att trots utrikesdepartementets enorma utgifter för att skydda hemligstämplad information finns det lite eller ingen publicerad forskning om klassificeringens konsistens. Det finns inte heller någon större förståelse för hur mycket den här typen av maskininlärning kan avslöja.

Kanske sker allt detta arbete bakom stängda dörrar. Å andra sidan kanske inte.

Ref: arxiv.org/abs/1611.00356 : Använda artificiell intelligens för att identifiera statshemligheter

Dölj