211service.com
Vem behöver demokrati när man har data?
Så här reglerar Kina med hjälp av data, AI och internetövervakning. 20 augusti 2018
Foto av två övervakningskameror bredvid ett porträtt av Mao Zedong.
1955 publicerade science fiction-författaren Isaac Asimov en novell om ett experiment i elektronisk demokrati, där en enda medborgare, utvald att representera en hel befolkning, svarade på frågor som genererades av en dator som heter Multivac. Maskinen tog dessa uppgifter och beräknade resultatet av ett val som därför aldrig behövde ske. Asimovs historia utspelade sig i Bloomington, Indiana, men idag byggs en uppskattning av Multivac i Kina.
För varje auktoritär regim finns det ett grundläggande problem för centrum att ta reda på vad som händer på lägre nivåer och i samhället, säger Deborah Seligsohn, en statsvetare och Kinaexpert vid Villanova University i Philadelphia. Hur styr man effektivt ett land som är hem för en av fem människor på planeten, med en allt mer komplex ekonomi och samhälle, om man inte tillåter offentlig debatt, civil aktivism och valfeedback? Hur samlar man in tillräckligt med information för att faktiskt fatta beslut? Och hur kan en regering som inte bjuder in sina medborgare att delta fortfarande skapa förtroende och böja offentligt beteende utan att sätta poliser på varje tröskel?
Den här historien var en del av vårt septembernummer 2018
- Se resten av frågan
- Prenumerera
Hu Jintao, Kinas ledare från 2002 till 2012, hade försökt lösa dessa problem genom att tillåta en blygsam demokratisk upptining, vilket tillåtit vägar för klagomål att nå den härskande klassen. Hans efterträdare, Xi Jinping, har vänt den trenden. Istället förlitar sig hans strategi för att förstå och svara på vad som händer i en nation med 1,4 miljarder på en kombination av övervakning, AI och big data för att övervaka människors liv och beteende i minsta detalj.
Det hjälper att ett par tumultartade år i världens demokratier har fått den kinesiska politiska eliten att känna sig allt mer berättigad att stänga ute väljare. Utvecklingar som Donald Trumps val, Brexit, framväxten av högerextrema partier över hela Europa och Rodrigo Dutertes skräckvälde på Filippinerna understryker vad många kritiker ser som de problem som är inneboende i demokrati, särskilt populism, instabilitet och betänkligt personligt ledarskap.
Sedan han blev generalsekreterare för det kinesiska kommunistpartiet 2012 har Xi lagt fram en rad ambitiösa planer för landet, många av dem förankrade i teknik – inklusive ett mål att bli världsledande inom artificiell intelligens år 2030. Xi har efterlyst cybersuveränitet för att förbättra censuren och hävda full kontroll över det inhemska internet. I maj berättade han vid ett möte med den kinesiska vetenskapsakademin att teknik var nyckeln till att uppnå det stora målet att bygga en socialistisk och moderniserad nation. I januari, när han talade till nationen på tv, innehöll bokhyllorna på båda sidor om honom både klassiska titlar som Das Kapital och några nya tillägg, inklusive två böcker om artificiell intelligens: Pedro Domingos’s Mästaralgoritmen och Brett King's Augmented: Life in the Smart Lane .
Ingen regering har en mer ambitiös och långtgående plan för att utnyttja kraften hos data för att förändra hur den styr än den kinesiska regeringen, säger Martin Chorzempa från Peterson Institute for International Economics i Washington, DC. Till och med vissa utländska observatörer som tittar på långt håll kan frestas att undra om sådan datadriven styrning erbjuder ett hållbart alternativ till den allt mer dysfunktionella valmodellen. Men att förlita sig för mycket på teknikens visdom och data medför sina egna risker.
Data istället för dialog
Kinesiska ledare har länge velat utnyttja allmänhetens känslor utan att öppna dörren för het debatt och kritik av myndigheterna. Under större delen av den kejserliga och moderna kinesiska historien har det funnits en tradition av missnöjda människor från landsbygden som reser till Peking och arrangerar små demonstrationer som offentliga framställare. Tanken var att om lokala myndigheter inte förstod eller brydde sig om deras klagomål, skulle kejsaren kunna visa bättre omdöme.
Under Hu Jintao såg några medlemmar av kommunistpartiet en begränsad öppenhet som ett möjligt sätt att avslöja och fixa vissa typer av problem. Bloggar, antikorruptionsjournalister, människorättsadvokater och onlinekritiker som lyfte fram lokal korruption drev den offentliga debatten mot slutet av Hus regeringstid. Tidigt under sin mandatperiod fick Xi en daglig genomgång av allmänhetens oro och störningar från sociala medier, enligt en tidigare amerikansk tjänsteman med kunskap om saken. Under de senaste åren har framställare kommit till huvudstaden för att uppmärksamma skandaler som olagliga markbeslag från lokala myndigheter och förorenat mjölkpulver.
Men polisen stoppar i allt högre grad framställare från att någonsin nå Peking. Nu kräver tåg nationella ID för att köpa biljetter, vilket gör det enkelt för myndigheterna att identifiera potentiella 'bråkmakare' som de som har protesterat mot regeringen tidigare, säger Maya Wang, senior Kinaforskare för Human Rights Watch. Flera framställare berättade för oss att de har blivit stoppade vid tågperronger. Bloggare, aktivister och advokater tystas också systematiskt eller fängslas, som om data kan ge regeringen samma information utan några av frihetsproblemen.
En Shanghai-startups demo av sitt system för ansiktsigenkänning.
Tanken på att använda nätverksteknik som ett styrmedel i Kina går tillbaka till åtminstone mitten av 1980-talet. Som Harvard-historikern Julian Gewirtz förklarar, när den kinesiska regeringen såg att informationsteknologi höll på att bli en del av det dagliga livet, insåg den att den skulle ha ett kraftfullt nytt verktyg för både att samla information och kontrollera kulturen, för att göra kineserna mer 'moderna' och mer 'styrbara' - som har varit ständiga besatthet av ledarskapet. Efterföljande framsteg, inklusive framsteg inom AI och snabbare processorer, har fört den visionen närmare.
Så vitt vi vet finns det ingen enda huvudritning som kopplar samman teknik och styrning i Kina. Men det finns flera initiativ som delar en gemensam strategi för att samla in data om människor och företag för att informera beslutsfattande och skapa system med incitament och bestraffningar för att påverka beteendet. Dessa initiativ inkluderar statsrådets sociala kreditsystem från 2014, 2016 års cybersäkerhetslag, olika experiment på lokal nivå och privata företag inom social kredit, smarta stadsplaner och teknikdrivet polisarbete i den västra regionen Xinjiang. Ofta involverar de partnerskap mellan regeringen och Kinas teknikföretag.
Det mest långtgående är det sociala kreditsystemet, även om en bättre översättning på engelska kan vara systemet för förtroende eller rykte. Regeringsplanen, som omfattar både människor och företag, listar bland sina mål uppbyggnaden av uppriktighet i regeringsärenden, kommersiell uppriktighet och rättslig trovärdighet. (Alla i Kina har en tant som har blivit lurad. Det finns ett legitimt behov av att ta itu med ett sammanbrott i allmänhetens förtroende, säger Paul Triolo, chef för geoteknikpraktiken på konsultföretaget Eurasia Group.) Hittills är det ett pågående arbete, men olika piloter förhandsgranskar hur det kan fungera 2020, när det ska vara fullt implementerat.
Algoritmen tros lyfta fram misstänkta beteenden som att besöka en moské eller att äga för många böcker.
Svarta listor är systemets första verktyg. Under de senaste fem åren har Kinas domstolssystem publicerat namnen på personer som inte har betalat böter eller följt domar. Enligt nya regler för sociala krediter delas denna lista med olika företag och statliga myndigheter. Människor på listan har blivit blockerade från att låna pengar, boka flyg och bo på lyxhotell. Kinas nationella transportföretag har skapat ytterligare svarta listor för att straffa förare för beteende som att blockera tågdörrar eller slå slagsmål under en resa; lagöverträdare är spärrade från framtida biljettköp i sex eller 12 månader. Tidigare i år debuterade Peking med en serie svarta listor för att förbjuda oärliga företag från att tilldelas framtida statliga kontrakt eller markbidrag.
Några lokala myndigheter har experimenterat med sociala kreditpoäng, även om det inte är klart om de kommer att ingå i den nationella planen. Den norra staden Rongcheng, till exempel, tilldelar en poäng till var och en av sina 740 000 invånare, rapporterade Foreign Policy. Alla börjar med 1 000 poäng. Om du donerar till en välgörenhetsorganisation eller vinner ett statligt pris får du poäng; om du bryter mot en trafiklag, till exempel genom att köra berusad eller köra fort genom ett övergångsställe, förlorar du poäng. Människor med bra poäng kan få rabatter på vintervärmeleveranser eller få bättre villkor på bolån; de med dåliga poäng kan förlora tillgången till banklån eller befordran i statliga jobb. Stadshuset visar affischer med lokala förebilder, som har visat dygd och fått höga poäng.
Tanken med social kredit är att övervaka och hantera hur människor och institutioner beter sig, säger Samantha Hoffman från Mercator Institute for China Studies i Berlin. När en överträdelse har registrerats i en del av systemet kan det utlösa svar i andra delar av systemet. Det är ett koncept utformat för att stödja både ekonomisk utveckling och social förvaltning, och det är i sig politiskt. Vissa paralleller till delar av Kinas plan finns redan i USA: en dålig kreditvärdering kan hindra dig från att ta ett bostadslån, medan en fällande dom avbryter eller upphäver din rösträtt, till exempel. Men de är inte alla anslutna på samma sätt - det finns ingen övergripande plan, påpekar Hoffman.
En av de största farhågorna är att eftersom Kina saknar ett oberoende rättsväsende, har medborgarna ingen möjlighet att ifrågasätta falska eller felaktiga anklagelser. Vissa har funnit att deras namn lagts till på svarta listor för resor utan meddelande efter ett domstolsbeslut. Framställare och undersökande journalister övervakas enligt ett annat system, och personer som har gått in på drogrehab bevakas av ännu ett annat övervakningssystem. Teoretiskt sett är narkotikaanvändardatabaserna tänkt att radera namn efter fem eller sju år, men jag har sett många fall där det inte hände, säger Wang från Human Rights Watch. Det är oerhört svårt att någonsin ta dig själv från någon av dessa listor.
Enstaka raseriutbrott på nätet pekar på allmänhetens förbittring. Nyheter om att en student hade blivit nekad av en högskola på grund av att hennes far fanns med på en svartlista för krediter tände nyligen en löpeld av onlineilska. Kollegiets beslut hade inte officiellt sanktionerats eller beordrats av regeringen. Snarare, i sin entusiasm för att stödja den nya policyn, hade skoladministratörerna helt enkelt tagit dem till vad de såg som den logiska slutsatsen.
Systemets opacitet gör det svårt att utvärdera hur effektiva experiment som Rongchengs är. Partiet har pressat ut nästan alla kritiska röster sedan 2012 och riskerna med att utmana systemet – även på relativt små sätt – har växt. Vilken information som finns tillgänglig är djupt felaktig; systematisk förfalskning av data om allt från BNP-tillväxt till vattenkraftsanvändning genomsyrar kinesisk regeringsstatistik. Australian National University-forskaren Borge Bakken uppskattar att officiella brottssiffror, som regeringen har ett tydligt incitament att tona ned, kan representera så lite som 2,5 procent av allt kriminellt beteende.
I teorin kan datadriven styrning hjälpa till att lösa dessa problem – kringgå snedvridningar för att tillåta centralregeringen att samla in information direkt. Det har till exempel varit tanken bakom att införa luftkvalitetsmonitorer som skickar data tillbaka till centrala myndigheter snarare än att förlita sig på lokala tjänstemän som kan vara i fickan av förorenande industrier. Men många aspekter av god förvaltning är för komplicerade för att tillåta den typen av direkt övervakning och istället förlita sig på data som matats in av samma lokala tjänstemän.
Den kinesiska regeringen släpper dock sällan prestandadata som utomstående kan använda för att utvärdera dessa system. Ta kamerorna som används för att identifiera och skämma ut jaywalkers i vissa städer genom att projicera deras ansikten på offentliga skyltar, samt för att spåra muslimernas bönevanor i västra Kina. Deras noggrannhet är fortfarande ifrågasatt: i synnerhet, hur väl kan ansiktsigenkänningsprogram som tränas på hankinesiska ansikten känna igen medlemmar av eurasiska minoritetsgrupper? Dessutom, även om datainsamlingen är korrekt, hur kommer regeringen att använda sådan information för att styra eller motverka framtida beteende? Polisalgoritmer som förutsäger vem som sannolikt kommer att bli kriminell är inte öppna för offentlig granskning, och inte heller statistik som skulle visa om brottslighet eller terrorism har ökat eller minskat. (Till exempel, i den västra regionen Xinjiang visar den tillgängliga informationen bara att antalet personer som gripits av polisen har ökat dramatiskt och ökat med 731 procent från 2016 till 2017.)
I staden Xiangyang projicerar kameror kopplade till teknik för ansiktsigenkänning bilder av jaywalkers, med namn och ID-nummer, på en skylt.
Det är inte tekniken som skapade policyerna, men tekniken utökar kraftigt de typer av data som den kinesiska regeringen kan samla in om individer, säger Richard McGregor, senior fellow vid Lowy Institute och författare till Partiet: Kinas kommunistiska härskares hemliga värld . Internet i Kina fungerar som en privatdriven digital underrättelsetjänst i realtid.
Algoritmisk polisverksamhet
Skriver i Washington Post tidigare i år kallade Xiao Qiang, en professor i kommunikation vid University of California, Berkeley, Kinas dataförbättrade styrning till en digital totalitär stat. De dystopiska aspekterna visas tydligast i västra Kina.
Xinjiang (New Territory) är det traditionella hemmet för en kinesisk muslimsk minoritet känd som uigurer. I takt med att ett stort antal hankinesiska migranter har bosatt sig i – vissa säger koloniserat – regionen, har arbetet och de religiösa möjligheterna som den lokala uiguriska befolkningen erbjuds minskat. Ett resultat har varit ett ökat våld där både Han och uigurer har varit måltavla, inklusive ett upplopp 2009 i huvudstaden Urumqi, då 200 personer enligt uppgift dog. Regeringens svar på ökande spänningar har inte varit att hålla offentliga forum för att inhämta synpunkter eller politiska råd. Istället använder staten datainsamling och algoritmer för att avgöra vem som sannolikt kommer att begå framtida våldshandlingar eller trots.
Xinjiangs regering anställde ett privat företag för att designa de prediktiva algoritmerna som bedömer olika dataströmmar. Det finns inget offentligt register eller ansvar för hur dessa beräkningar är uppbyggda eller viktade. De människor som lever under det här systemet vet i allmänhet inte ens vad reglerna är, säger Rian Thum, en antropolog vid Loyola University som studerar Xinjiang och som har sett statliga upphandlingsmeddelanden som utfärdats i samband med uppbyggnaden av systemet.
I den västra staden Kashgar är många av familjens hem och butiker på huvudgatorna nu klädda och de offentliga torgen är tomma. När jag besökte 2013 stod det klart att Kashgar redan var en segregerad stad – Han- och Uigur-befolkningen bodde och arbetade i olika delar av staden. Men på kvällarna var det också en livlig och ofta stökig plats, där ljuden av böneropet blandades med dansmusik från lokala klubbar och samtalen från gubbar som satt ute sent i plaststolar på uteplatserna. Idag är staden kusligt tyst; det offentliga livet i grannskapet har nästan försvunnit. Emily Feng, journalist för Ekonomiska tider , besökte Kashgar i juni och publicerade bilder på Twitter av de nyligen lediga gatorna.
Anledningen är att enligt vissa uppskattningar har mer än en av tio uiguriska och kazakiska vuxna i Xinjiang skickats till taggtrådsringade omskolningsläger – och de som är kvar på fri fot är rädda.
Under de senaste två åren har tusentals checkpoints satts upp där förbipasserande måste visa upp både sitt ansikte och sitt nationella ID-kort för att fortsätta på en motorväg, gå in i en moské eller besöka ett köpcentrum. Uigurer måste installera myndighetsdesignade spårningsappar på sina smartphones, som övervakar deras onlinekontakter och de webbsidor de har besökt. Poliser besöker lokala hem regelbundet för att samla in ytterligare data om saker som hur många människor som bor i hushållet, hur deras relationer med sina grannar är, hur många gånger människor ber dagligen, om de har rest utomlands och vilka böcker de har.
Alla dessa dataströmmar matas in i Xinjiangs offentliga säkerhetssystem, tillsammans med andra register som fångar information om allt från bankhistoria till familjeplanering. Datorprogrammet samlar all data från dessa olika källor och flaggar de som kan bli 'ett hot' mot myndigheter, säger Wang. Även om den exakta algoritmen är okänd, tror man att den kan lyfta fram beteenden som att besöka en viss moské, äga många böcker, köpa en stor mängd bensin eller ta emot telefonsamtal eller e-post från kontakter utomlands. Människor som den flaggar besöks av polisen, som kan ta dem i förvar och placera dem i fängelse eller i omskolningsläger utan några formella anklagelser.
Besökare på Himmelska fridens torg i Peking skannar sina ID vid en checkpoint.
Adrian Zenz, en statsvetare vid Europeiska skolan för kultur och teologi i Korntal, Tyskland, beräknar att interneringsfrekvensen för minoriteter i Xinjiang kan vara så hög som 11,5 procent av den vuxna befolkningen. Dessa läger är utformade för att ingjuta patriotism och få människor att avläsa religiösa övertygelser. (Nya upphandlingsmeddelanden för kremeringsskyddsvakter verkar tyda på att regeringen också försöker utrota traditionella muslimska begravningsmetoder i regionen.)
Medan Xinjiang representerar en drakonisk ytterlighet, börjar medborgare på andra håll i Kina trycka sig tillbaka mot vissa typer av övervakning. Ett internetföretag som strömmade TV-filmer med slutna kretsar online stängde av dessa sändningar efter ett offentligt ramaskri. Staden Shanghai utfärdade nyligen regler för att tillåta människor att bestrida felaktig information som används för att sammanställa sociala kredituppgifter. Det finns stigande krav på integritet från kinesiska internetanvändare, säger Samm Sacks, senior fellow i Technology Policy Program vid CSIS i New York. Det är inte riktigt så fritt för alla som det är gjort för att vara.
Christina Larson är en prisbelönt utrikeskorrespondent och vetenskapsjournalist, som mest skriver om Kina och Asien.