Det som händer i Vegas... fångas på kamera

Polisens användning av ansiktsigenkänning har blivit föremål för mycket granskning. I del tre av vår serie i fyra delar om ansiktsigenkänning tar programledaren Jennifer Strong dig till Sin City, som faktiskt har en av USA:s mest knäppta policyer om när poliser kan fånga din likhet. Hon får också reda på varför kändisar som Woody Harrelson spelar en huvudroll i samtal om denna teknik.

Vi träffas:

• Albert Fox Cahn, Surveillance Technology Oversight Projects (S.T.O.P.) grundare
• Phil Mayor, senior advokat för ACLU Michigan
• Kapten Dori Koren, Las Vegas Police
• Assisterande chef Armando Aguilar, Miami Police

Krediter:

Det här avsnittet rapporterades och producerades av Jennifer Strong, Tate Ryan-Mosley och Emma Cillekens. Vi hade hjälp av Benji Rosen och Karen Hao. Vi är redigerade av Michael Reilly och Gideon Lichfield. Vår tekniska chef är Jacob Gorski.

Hela avsnittet transkription:

Jennifer Strong : Okej så vi är ute och tar en biltur på en av New York Citys mest trafikerade broar, den heter RFK. Och anledningen till att vi gör det här är att transitmyndigheten, MTA har installerat live ansiktsigenkänning. Egentligen är vi på väg att gå under det just nu. Ser du att kameran är riktad mot våra ansikten? De har nu lagt det här över hela staden. Det är i ett antal broar och tunnlar, men anledningen till att vi är på den här är för att det var här allt började och vad det åtminstone gör i teorin, vad det är tänkt att göra är att läsa våra ansikten genom våra vindrutor. Och det som är galet med det här är, ja, det som är galet med det är att ingen visste att det fanns ett test, men det som också är galet med det är när resultatet av det testet läckte ut till pressen förra året. Du vill gissa hur många ansikten som fångades under testperioden? Vad tror du? Det här är Emma Cillekens förresten... min producent.

Emma Cillekens : Jag vet inte som tusentals, kanske, kanske miljoner? Det här är New York City, kanske miljoner.

Jennifer Strong : Nej. Um, de har ingen. Noll procent. Men de gick framåt och de fortsatte med det ändå.

Andrew Cuomo : Den kontantlösa vägtullningen, som egentligen inte handlar om vägtullning. Det handlar egentligen om att sätta in ett elektroniskt system som vi aldrig har haft tidigare.

Jennifer Strong : Det är New Yorks guvernör Andrew Cuomo som talar vid ett evenemang 2018.

Andrew Cuomo : Vad den gör är att den sätts i ett system som läser av varje registreringsskylt som kommer genom den korsningen och rapporterar till polisbilen som är stationerad där inom fem sekunder.

Jennifer Strong : Men det här är inte något tekniskt evenemang, det handlar inte heller om polisarbete. Det firar slutet på reparationerna av en tunnel som förbinder Brooklyn och Manhattan. Du förstår, stadens tunnelbanor och tunnlar svämmade över av saltvatten i efterdyningarna av orkanen Sandy. All elektronik och ledningar måste bytas ut och det gav dem en möjlighet att prova något nytt.

Andrew Cuomo : Vi går nu över till ansiktsigenkänningsteknik, som tar dig till en helt ny nivå där den kan se ansiktet på personen i bilen och köra det mot databaser.

Jennifer Strong : Och de experimenterar med något ännu mer banbrytande än att läsa ansikten eller registreringsskyltar. De försöker läsa folks öron.

Andrew Cuomo : För många gånger kommer en person att vända på huvudet när de ser en säkerhetskamera. Så de experimenterar nu med teknik som bara identifierar en person genom örat tro det eller ej.

Jennifer Strong : Jag heter Jennifer Strong och det här är del tre av vår serie om polis och ansiktsigenkänning. Det här avsnittet tar vi en närmare titt på hur tekniken används i olika städer och träffar några polischefer som hjälper till att fatta dessa beslut.

[Visa introduktion]

Jennifer Strong : Vägar är inte det enda stället som New York Citys transitmyndighet kan experimentera med ansikts-ID, men utan regler för hur det används tenderar vi att ta reda på det i efterhand och ofta av misstag, som när en New York Times-reporter ringde på Twitter något hon sett i tunnelbanan.

Albert Fox Cahn : Så, det här var en monitor uppsatt i Time Squares tunnelbanestation som hade dessa gula rutor runt människors ansikten som indikerar att den använde en minimal ansiktsidentifieringsteknik. Om inte ansiktsbehandling.

Jennifer Strong : Albert Fox Cahn är grundaren av Surveillance Technology Oversight Project. Annars känd som STOP. Han kontaktade transitbyrån, MTA, efter att ha sett den tweeten, men han säger att de inte gav mycket av ett svar.

Albert Fox Cahn : Så vi stämde dem. Och nyligen fick vi ett positivt beslut från en domare i delstaten New York som sa att MTA felaktigt undanhöll information om dessa monitorer utan att ge oss någon förklaring om hur de användes, om det var ansiktsigenkänning inblandat och vad syftet med att sätta upp dem i första hand berodde på att MTA:s motivering för att använda dessa monitorer var 'oroa dig inte.' Dessa är inte ansiktsigenkänning. Vi ville bara skrämma allmänheten att tro att vi hade ansiktsigenkänning så att de inte skulle hoppa över sin biljett.

Jennifer Strong : Men skrämseltaktik är inte de enda han är bekymrad över. Han har bråkat med NYPD om hur de använder denna teknik i ett antal år.

Albert Fox Cahn : Du har den här otroligt kraftfulla tekniken, men den är redan utsatt för vissa typer av fel och vissa typer av fördomar. Och NYPD går igenom och använder på ett sätt som bara gör den risken mer uttalad. Du har dem som matar in dubbelgängarbilder och vi har ingen aning om hur många gånger detta har gjorts.

Jennifer Strong : Det finns till och med ett namn för detta som kallas kändisjämförelsen. För några år sedan sökte utredarna efter en misstänkt som fångades på band och stal öl från en apotek i New York City. Kameran fångade hans ansikte, men inte tillräckligt bra för att ansiktsigenkänningssystemet skulle ge några matchningar. En detektiv märkte att den misstänkte såg ut lite som skådespelaren, Woody Harrelson, och efter att ha kört bilder genom systemet hittade de en matchning. Vi vet inte hur ofta detta händer, men vi vet att det är mer än en gång. I ett annat exempel från NYPD står en New York Knicks-spelare för den misstänkte.

Albert Fox Cahn : Och så att använda en kändis foto för mig, det vill säga, det är väldigt problematiskt att du tillägnar dig någons bild för den här typen av syfte. Dessutom finns det inga bevis för att detta är korrekt.

Jennifer Strong : En annan praxis som han tycker är oroande, polisen manuellt Photoshop-bilder. Du ser att ansiktsigenkänning ofta misslyckas med att känna igen ansikten med slutna ögon. Så vissa polisavdelningar kommer att klistra in öppna ögon på dessa bilder för att få resultat. De ändrar också sina bilder på andra sätt.

Albert Fox Cahn : Om munnen är öppen, kommer du att Photoshopa dem stängda. Om en del av ansiktet är skymt kommer du att se fall där de går på Google-bilder och kopierar och klistras in som en del av en annan bild för att försöka skapa en sammansättning som ansiktsigenkänningsalgoritmen kommer att identifiera som ett livskraftigt mänskligt ansikte. För även om dessa verktyg kan vara otroligt kraftfulla, är de också så ömtåliga och att ens ha ett öga stängt kan räcka för att göra det så att en ansiktsigenkänningsalgoritm faktiskt inte ser ett mänskligt ansikte som det kan matcha.

Jennifer Strong : Dessutom vet vi inte ens vilka verktyg polisen har på vissa ställen, inklusive New York.

Albert Fox Cahn : Men även våra förtroendevalda, vårt kommunfullmäktige vet inte vilka verktyg de använder. Och det är ett hot mot själva demokratin när man har polisen som arbetar utan någon tillsyn, men det gör det också omöjligt att få den sortens offentliga stötande som vi behöver för att börja förbjuda dessa verktyg när vi inte vet att de används i Förstaplatsen.

Jennifer Strong : Men det här håller på att förändras. I somras antog staden lagen om offentlig tillsyn av övervakningsteknik eller POST-lagen. Det kräver att polisen avslöjar grundläggande information om vilka övervakningstekniker de har, hur de fungerar, hur de används och hur ofta de täcker teknik, allt från mobiltelefonposition, spårare, automatiska registreringsskyltläsare, kroppskameror och programvara för övervakning av sociala medier . Och självklart ansiktsigenkänning, men det är inget nytt lagförslag. Den har suttit kvar de senaste tre åren.

Albert Fox Cahn : Ingen av de genomgripande reformerna vi har sett i New York hade varit möjliga utan de otroliga protester och uppror vi har sett runt om i staden, runt om i landet. Det har i grunden förändrat debatten om polisväsendet i den här staden.

Jennifer Strong : ACLU är en annan spelare som arbetar med samma pussel. Det är en ideell organisation fokuserad på individuella rättigheter och friheter. De är uttalade om behovet av reglering av ansikts-ID, särskilt i fallet med Robert Williams, mannen vi träffade i avsnitt ett.

Robert Williams : Jag visste inte att de använder någon typ av ansiktsigenkänning eller något liknande förrän jag pratade med detektiverna som visade mig det, att det var det de brukade gripa mig.

Melissa Williams : Vi trodde inte att det här kunde hända. Vi trodde inte att det var något. Även när jag följde nyheterna om ansiktsigenkänning, och det skulle vara hur det användes. Jag förväntade mig aldrig att polisen skulle dyka upp vid vår tröskel och arrestera min man. Så jag tycker bara att andra borde veta att det kan hända och det hände. Och det ska inte hända.

Jennifer Strong : Han och hans fru Melissa, som du nyss hörde, representeras av Phil Mayor, en senior personaljurist vid ACLU i Michigan.

Phil Major : Herr och fru Williams försvarsadvokat pratar om att det här är första gången under hennes år av att representera åtalade brottslingar som de faktiskt har fått veta att hennes klient identifierades genom ansiktsigenkänningsteknik. Och återigen, det kom inte fram i rätten. Det kom ut för att polisen av misstag sa något. Så jag, jag är bara så säker som jag kan vara på att det finns människor som sitter i fängelse idag dömda för brott som de gjorde stämningsuppgörelser för alla eftersom en dator gjorde samma typ av misstag som den gjorde i Mr Williams fall.

Jennifer Strong : Men verklig skada kan fortfarande göras om en falsk match blir offentlig, även när ingen blir arresterad.

Amara Majed : På morgonen den 25 april, mitt under finalsäsongen, vaknade jag i mitt sovsal av 35 missade samtal som alla frenetiskt informerade mig om att jag felaktigt hade identifierats som en av terroristerna som var inblandade i de senaste påskens attacker mot mitt älskade moderland , Sri Lanka,

Jennifer Strong : Amara Majeed var 22 år gammal och senior vid Brown University när hennes ansikte dök upp på en affisch med namnet på en annan kvinna som anklagades för dessa attacker. Hon hade blivit felaktigt identifierad av en algoritm.

Amara Majed : Det finns inga ord för att beskriva smärtan av att förknippas med sådana avskyvärda attacker på mitt eget hemland och mitt eget folk. Bilderna och inläggen som felaktigt implicerar mig har äventyrat min familjs sinnesfrid och äventyrat våra utökade familjers liv.

Jennifer Strong : Sri Lankas myndigheter bad senare om ursäkt för misstaget, men inte innan hon blev trakasserad, trollad och hotad på sociala medier. Det hela handlar om detta. Policy, transparens och tillsyn av ansikts-ID skiljer sig radikalt från en plats till en annan. Och även när det finns regler för att förhindra att den här typen av saker händer, är de bara så bra som de följs. När vi kommer tillbaka kommer vi att träffa några polisavdelningar som arbetar med det.

[Till]

Jennifer Strong : NYPD släppte sin policy för ansikts-ID redan i mars efter nästan ett decennium av allmänhetens påtryckningar, men andra polisavdelningar har varit mycket mer villiga att engagera allmänheten i detta från början, inklusive i kasinonas land, Las Vegas, där besökare och de som bor där är inga främlingar för att bli övervakade på grund av de enorma summor pengar som passerar genom dessa spelrumsgolv. Poliskapten Dori Koren är befälhavaren som övervakar Las Vegas Strip. Och han berättar för mig om ett högteknologiskt övervakningsrum som låter som att det skulle kunna visas på en av de där polisshowerna. På grund av coronaviruset kan jag inte besöka ledningscentralen personligen. Så han beskriver det för mig.

Dori Koren : Det är lite Hollywoodish och vi gjorde det med flit när det gäller hur vi ville att det skulle kännas. Så tänk dig att gå in i ett stort rum och på den främre väggen, du har den här massiva skärmen, alla typer av kameraflöden som ett övervakningsrum, men lite mer högteknologisk, lite större, lite mer avancerad.

Jennifer Strong : Allt i det här rummet är anslutet. Varningar spelas upp när ljudsensorer upptäcker en skjutning, plus massor av andra saker som poliser kan vara intresserade av att veta om och alla dessa identitetstekniker dyker upp på en stor rutnätskarta. Så människor och händelser kan placeras på en specifik plats i nästan realtid. Och det talar liksom till staden som helhet. Las Vegas är en av landets banbrytande smarta städer, med sensorer inbäddade nästan överallt, ända ner till papperskorgar som kan lukta vad som finns inuti. Och kapten Koren säger att face ID har revolutionerat polisarbetet. Istället för att bara reagera på brott säger han att de kan komma framför dem.

Dori Koren : Ansiktsigenkänning för oss har visat sig vara absolut instrumentell, instrumentell för att rädda liv, instrumentell för att förebygga våldsbrott.

Jennifer Strong : Han säger att det tillåter poliser att identifiera ett mönster av kriminell aktivitet i realtid.

Dori Koren : Ta reda på att det är ett andra rån som just hände i en närbutik och kanske har beskrivningen av den misstänkte som begick rånet med ett skjutvapen samma färg på skjortan som rånet som ägde rum för 10 minuter sedan. Eller samma fordon. Eller samma beteende. Och de försöker fånga upp dessa mönster och sedan skickar de ut det i realtid så att det kan förhindra det tredje rånet eller det fjärde rånet.

Jennifer Strong : Och de pratar gärna om det.

Dori Koren : Vi är övertygade om att vara transparenta. Jag menar att vi, i slutändan, polisen tjänar samhället som de kommer ifrån. Så vi vill se till att de innovativa och avancerade sakerna vi gör, särskilt när det gäller att distribuera teknologier för att bekämpa brottslighet, accepteras av samhället.

Jennifer Strong : Den här typen av öppenhet är sällsynt och inte bara hos brottsbekämpande myndigheter. Privata företag använder också ansiktsigenkänning, ofta utan att berätta för någon. Ett färskt exempel, ansikts-ID-kameror installerades tyst på hundratals Rite Aid-apotek, till stor del i lägre inkomster och icke-vita delar av Los Angeles och New York, enligt Reuters. Och kasinon har använt någon form av ansiktsidentifiering i årtionden för att förebygga bedrägeri, förbättrad säkerhet och till och med för att känna igen spelare vid borden.

Dori Koren : Den privata sektorn har några av de mer avancerade plattformarna för ansiktsigenkänning. Det här är plattformar som spelar in och analyserar människors ansikten i realtid när de korsar kameravyn. Du vill inte lämna bara de privata företagen, allmänheten, som också kommer att inkludera alla dina brottslingar för att ha den bästa och mest avancerade tekniken och lämna brottsbekämpningen med arkaiska verktyg som inte kan göra jobbet i 2000-talet.

Jennifer Strong : Men det betyder inte att han tycker att polisen ska ha fritt spelrum med alla typer av teknik.

Dori Koren : Vi använder inte ansiktsigenkänning på kanten, vilket i princip innebär liveinspelning av bilderna på den kameran för att skanna allas ansikten som kommer över den kameravinkeln. Det gör vi inte. Jag vet inte om brottsbekämpande myndigheter är redo att använda det och jag tror absolut inte att brottsbekämpande myndigheter borde göra det, om inte deras samhälle stöder användningen av den typen av mycket avancerad teknik.

Jennifer Strong : De söker inte heller i sociala medier-bilder efter misstänkta. De gör bara sökningar på någon som har begått ett brott, och om de får en matchning begränsar de dess värde. Det betyder att du inte bara kan gå och arrestera den personen baserat på den matchen. Men att lära mig allt detta innebar att jag fick en överraskning när jag frågade, ändrar du någonsin bilderna så att de fungerar bättre?

Dori Koren : Den aspekten av att ändra bilderna har fått så mycket negativ uppmärksamhet som om polisen gör något fel. Och jag tror inte att allmänheten i allmänhet förstår varför du skulle ändra ett foto. Så svaret på din fråga är, ja, vi ändrar foton som en del av ansiktsigenkänningsprovet. Om något borde vi argumentera för det, inte emot det.

Jennifer Strong : Han säger, i vissa fall, om de inte gjorde det, skulle deras noggrannhet faktiskt minska.

Dori Koren : Genom att ändra fotot, genom att göra det lite ljusare, lite mörkare eller ändra vinkeln ger det oss störst chans att kunna bekräfta resultaten, att kunna testa algoritmen. Vi vill inte gå och följa fel ledning av fel individ. Och så vad vi än behöver göra för att modifiera fotot, för att kunna få de mest exakta resultaten och som jag sa, för oss använder vi en mängd andra kontroller och balanser för att sedan fastställa att det verkligen är den troliga kandidaten.

Jennifer Strong : Koren fortsatte med att säga att de inte sammanfogar andras ansikten med inmatningsfotot, så ingen klistring på öppna ögon till exempel, men det väcker frågan, exakt hur mäter vi exakthet? Och vem får bestämma när och hur denna praxis att modifiera foton är fair play?

Dori Koren : Säkerhet är inte bara fysisk säkerhet, utan det gör det också med en balans mellan privatliv, medborgerliga rättigheter och medborgerliga friheter. Och jag tror att det finns en rätt balans. Det finns ett sätt att göra det. Men samtalet måste vara öppet och folk måste vara öppna på båda sidor för att ha det samtalet. Så framtiden för polisväsendet kan bli mycket bättre med dessa tekniker. Så så länge vi gör det, eller hur.

Jennifer Strong : Det kan inte överskattas hur mycket saker som polisens policy, verktyg, gemenskapsrelationer och offentlig tillsyn varierar från plats till plats. Så denna balans mellan medborgerliga friheter och polisarbete måste uppnås, inte bara i Las Vegas, utan i varje stad i landet. Ändå pratade vi med andra avdelningar och det finns några gemensamma teman. Armando Aguilar är Miamis biträdande polischef och han övervakar brottsutredningsavdelningen.

Armando Aguilar : Det här är ett ovärderligt verktyg för brottsbekämpning, men det är verkligen mycket farligt. Och om du tänker efter så är många av de andra verktygen som brottsbekämpande tjänstemän har i fel händer också mycket farliga. Och så vi ville se till att vi inte bara använder tekniken, utan att vi använder tekniken på ett ansvarsfullt sätt och att vi gjorde det på ett sätt så att människorna som vi betjänade var bekväma med.

Jennifer Strong : De har använt ansiktsigenkänning i någon form sedan 2013.

Armando Aguilar : Vi började och fortsätter att använda ett program som heter FACES, som drivs av Pinellas County Sheriff's Office. Det är ett av länen i Florida och det är en delad databas med alla län i hela staten. Och så vi flyttade i slutet av 2019 till en produkt som heter Clearview AI.

Jennifer Strong : FACES kör ur en statlig databas med foton som Las Vegas och Clearview kör ifrån miljarder foton, skrapade från webben.

Armando Aguilar : Tekniken går snabbare än politiken. Det fanns en tid när tekniken användes här utan en vägledande policy. Och så en gång, um, när jag väl klev in i min nuvarande roll, trodde jag att det var väldigt viktigt att ställa in dessa parametrar och bara se till att vi var ansvariga i vår användning av tekniken.

Jennifer Strong : Coronavirus, kastade dem en kurvboll och som allt annat där, blev stadshus virtuella, som det här på Facebook Live.

Rådhusets röst : Vilken data skickar Miami PD eller spåras av Clearview.?

Jennifer Strong : När han utformade sin policy, säger Aguilar att han också träffade ACLU.

Armando Aguilar : De inledde mötet respektfullt med att säga att det inte finns något vi kunde göra som skulle tillfredsställa dem annat än att säga att vi kommer att skrota programmet helt och hållet. Men eftersom de visste att det sannolikt inte skulle hända, hade de omkring sju eller åtta mycket giltiga farhågor som de uppmärksammade oss på. Och vi höll faktiskt med dem och vi införlivade var och en av dem i vår policy.

Jennifer Strong : De sätter också gränser för vem som kan använda den.

Armando Aguilar : Så vad vi också gjorde var för att se till att vi skulle begränsa möjligheterna till missbruk, vi begränsade antalet användare. Så alla som behöver få någons bild körd genom Clearview eller genom FACES måste skicka en förfrågan till vårt brottscenter i realtid.

Jennifer Strong : Han såg till att alla Clearview-konton som erbjöds till polisen i Miami avbröts. Och han krympte antalet personer som har tillgång.

Armando Aguilar : Det är mycket lättare att kontrollera när du har ett dussin personer som arbetar på samma enhet jämfört med personer som är utspridda över hela polisavdelningen med 1 800 medlemmar som använder programmet.

Jennifer Strong : Med dessa nya riktlinjer, även om ett foto hittar en matchning, ger det ingen sannolik anledning att gå och arrestera.

Armando Aguilar : Så nu har vi den här matchen, men kan vi sätta den personen i en fotografisk uppställning och även låta ett ögonvittne identifiera dem? Finns det fingeravtrycksbevis? Finns det DNA-bevis? Kan den utredande kriminalpolisen eller tjänstemannen göra en identifiering själv efter, efter att ha granskat videon och efter att ha undersökt fotografiet, eh, det vill säga, som laddades upp i systemet. Så det är inte bara automatiskt, 'Hej, den här personen kom upp som en 99% matchning. Låt oss gå och hämta dem. Bara för att någon ringer in ett tips och säger: Hej, jag tror att det är min granne, Bobby, så griper vi inte Bobby.

Jennifer Strong : Och än en gång, jag ville veta om de någonsin manipulerar sina bilder innan de kör dem genom programvaran för att öka oddsen att få en match.

Armando Aguilar : Nej, vi, vi manipulerar inte på något sätt vårt sondfotografi, vilket återigen är fotografiet som vi laddar upp till, in i systemet, vi, vi använder vad som är tillgängligt och vi kommer antingen på en matchning eller så gör vi det 't.

Jennifer Strong : De deltar inte heller i kändisar för att hjälpa till att hitta en misstänkt eller övervaka personer i realtid. Och de tänkte också på hur face ID kan inkräkta på konstitutionella rättigheter.

Armando Aguilar : Kanske om vi en dag har protester utanför polisstationen, som blev väldigt verkliga under de senaste månaderna, vill vi inte använda den här tekniken för att bara gå och identifiera demonstranter eller protestorganisatörer. Människor vill leva livet högt och posta varje vaken ögonblick av sitt liv på sociala medier, eh, och även be om integritet. Och så säkert ställer många av oss in våra personliga sociala mediekonton till privata inställningar. Och så jag vill se till att alla är medvetna om att det här systemet inte på något sätt bryter in i dina privata inställningar. Så det här söker bara på internet och sociala medier efter de bilder som är tillgängliga för alla att se. Och så allt utöver det skulle vara ett tydligt brott mot, eh, av människors Fjärde Tilläggsrättigheter. Och, och det är något som, eh, vi varken har förmågan att göra, eh, eller intresset av att göra.

Jennifer Strong : Så, vad han säger är att vi är ansvariga för att skydda vår egen integritet på webben. Och vi har möjlighet att göra Facebook-inställningar till privata, men att använda standardinställningar på sociala medier är inte riktigt samma sak som att gå in på en polisavdelning och tillhandahålla en massa bilder som ger bort massor av personlig information. Och detta är en del av det som gör samtycke online riktigt törstig.

Jennifer Strong: Nästa avsnitt möter vi grundaren av det ryska företaget bakom vad som kan vara världens största ansikts-ID-system i realtid, som syftar till att inte bara fungera på personer som bär masker, utan också berätta om de bärs ordentligt och läsa din bils körkort. tallrik samtidigt.

Jennifer Strong: Oroar du dig någonsin för att någon kan ta allt ditt hårda arbete och använda det för att bygga en värld du egentligen inte vill leva i? Följ med oss ​​när vi avslutar den här miniserien genom att utforska vägen framåt och undersöka hur policy kan se ut.

Jennifer Strong: Det här avsnittet rapporterades och producerades av mig, Tate, Ryan-Mosley och Emma Cillekens. Vi hade hjälp av Benji Rosen och Karen Hao. Vi är redigerade av Michael Reilly och Gideon Lichfield. Vår tekniska chef är Jacob Gorski. Tack för att du lyssna. Jag är Jennifer Strong.

Dölj