211service.com
Lögndetektorer har alltid varit misstänkta. AI har förvärrat problemet.
Nicholas Ortega
Innan polygrafen förklarade honom skyldig arbetade Emmanuel Mervilus för ett matoljeföretag i hamnen i Newark, New Jersey. Han tjänade 12 dollar i timmen på att flytta lådor, men det räckte inte. Hans bror och syster var för unga för att arbeta, och hans mamma kämpade en dyr kamp mot cancer. Hans chef i hamnen hade dock sagt till honom att han var näst på tur för befordran till en teknikerposition, som skulle komma med en höjning till $25 i timmen.
Mervilus väntade fortfarande på den här kampanjen den 19 oktober 2006, när han och en vän stannade till vid en Dunkin' Donuts i närliggande Elizabeth, New Jersey. Några minuter senare, när de gick på gatan, gick två poliser fram till dem och anklagade dem för att några minuter tidigare ha rånat en man med kniv, utanför en närliggande tågstation.
Offret hade identifierat Mervilus och hans vän på avstånd. Mervilus var desperat för att bevisa sin oskuld och erbjöd sig att göra ett polygraftest. Polisen gick med på det, men dagarna precis innan testet dog Mervilus mamma. Han var upprörd och orolig när polisen spände fast honom vid enheten. Han misslyckades på provet, bad att få göra det igen och fick avslag.
Efter att Mervilus vidhöll sin oskuldsförklaring, gick hans fall till rättegång. Löjtnanten som hade administrerat polygrafen vittnade i rätten att apparaten var en pålitlig sanningsindikator. Han hade aldrig i sin karriär, sa han, sett ett fall där någon visade tecken på bedrägeri, och [det senare] kom ut att de var sanningsenliga. En jury dömde Mervilus – påverkades, fann en appellationsdomstol senare, av felplacerad tro på polygrafen. Domaren dömde honom till 11 års fängelse.
Tron på att bedrägeri kan upptäckas genom att analysera människokroppen har blivit förankrad i det moderna livet. Trots många studier som ifrågasätter giltigheten av polygrafen, utförs mer än 2,5 miljoner undersökningar med enheten varje år, och polygraftester är en industri på 2 miljarder dollar. Amerikanska federala myndigheter inklusive justitiedepartementet, försvarsdepartementet och CIA använder alla enheten vid screening av potentiella anställda. Enligt 2007 års siffror från justitiedepartementet använde mer än tre fjärdedelar av alla stadspoliser och sheriffavdelningar också lögndetektorer för att undersöka anställningar.
Men polygrafmaskiner är fortfarande för långsamma och besvärliga att använda vid gränsövergångar, på flygplatser eller på stora grupper av människor. Som ett resultat har en ny generation lögndetektorer baserade på artificiell intelligens dykt upp under det senaste decenniet. Deras förespråkare hävdar att de är både snabbare och mer exakta än polygrafer.
I verkligheten är det psykologiska arbetet som ligger bakom dessa nya AI-system ännu tunnare än forskningen som ligger till grund för polygrafen. Det finns få bevis för att resultaten de producerar kan lita på. Ändå är det modernitetsfaner som AI ger dem att föra dessa system till inställningar som polygrafen inte har kunnat tränga igenom: gränsövergångar, privata anställningsintervjuer, låneundersökningar och försäkringsbedrägerikrav. Företag och regeringar börjar lita på dem för att fatta beslut om pålitligheten hos kunder, anställda, medborgare, invandrare och internationella besökare. Men vad händer om lögn är alldeles för komplex för att någon maskin ska kunna identifiera på ett tillförlitligt sätt, oavsett hur avancerad dess algoritm är?
Inkvisitorer i det forntida Kina bad misstänkta lögnare att stoppa ris i munnen för att se om de saliverade. De Romarnas bedrifter , en medeltida antologi av moraliska fabler, berättar historien om en soldat som lät sin kontorist mäta sin frus puls för att ta reda på om hon var otrogen.
En engelsk översättning av Romarnas bedrifter , eller Deeds of the Romans, en samling berättelser som ursprungligen publicerades på latin i slutet av 1200-talet eller början av 1300-talet. Wikimedia commons
När USA gick in i första världskriget var William Marston, en forskare vid Harvard, banbrytande för användningen av maskiner som mätte blodtrycket för att försöka fastställa bedrägeri. Några år senare, inspirerad av Marstons arbete, utvecklade John Augustus Larson, en polis som just avslutat sin doktorsexamen i fysiologi vid University of California, Berkeley, en maskin som han kallade ett cardio-pneumo psykogram, som gav kontinuerliga avläsningar av en patientens blodtryck, puls och andningsfrekvens. Dessa avläsningar, hävdade Larson, var en ännu bättre proxy för bedrägeri än enbart blodtryck.
Larson använde först maskinen för att undersöka en stöld i en sovsal för kvinnor i Berkeley, och inom ett år hade den använts för att döma en man i San Francisco som anklagades för att ha mördat en präst. På 1930-talet sålde en av Larsons skyddslingar en bärbar version till polisavdelningar runt om i landet och lade till en sensor som mätte förändringar i galvanisk hudrespons - ju mer en person svettades, desto mer ledande skulle huden vara. På 1970-talet tog miljontals anställda inom den privata sektorn regelbundna polygrafprov på uppdrag av sina arbetsgivare.
De flesta polygraftester idag har samma grundläggande struktur som Larsons: examinatorn ställer en rad frågor för att mäta en patients normala fysiologiska tillstånd, och tittar på medan maskinen transkriberar dessa mätningar som vågformslinjer på en sida eller en skärm. Granskaren letar sedan efter plötsliga toppar eller fall i dessa nivåer när försökspersonen svarar på frågor om misstänkta brott eller känslor.
Men psykologer och neuroforskare har kritiserat polygrafen nästan sedan det ögonblick då Larson avslöjade sin uppfinning för allmänheten. Även om vissa lögnare kan uppleva förändringar i hjärtfrekvens eller blodtryck, finns det få bevis för att sådana förändringar konsekvent korrelerar med bedrägeri. Många oskyldiga människor blir nervösa under förhör, och praktiserade lögnare kan undertrycka eller framkalla förändringar i sin kropp för att lura testet. Polygrafer kan också bli slagen förbi bita sig i tungan , trampa på en stift, eller tänker på sin värsta rädsla . Enheterna riskerar alltid att plocka upp förvirrande variabler även i kontrollerade laboratorieexperiment, och i verkligheten är de fortfarande mindre tillförlitliga: eftersom brottslingar som klarade provet nästan aldrig berättar för polisen att de var skyldiga, och eftersom oskyldiga misstänkta ofta ger falska erkännanden efter att ha misslyckats med tester finns det inget sätt att säga hur bra de faktiskt fungerade.
Leonarde Keeler, en skyddsling till polygrafuppfinnaren John Larson, administrerade testet till Bruno Hauptmann, som arresterades, dömdes och avrättades för kidnappningen av Charles Augustus Lindbergh Jr. Hauptmann vidhöll sin oskuld till sin död. Allmängods
På grund av dessa begränsningar har polygraftester länge varit otillåtna i de flesta amerikanska domstolar om inte båda parter samtycker till att de inkluderas. Federal lag har hindrat privata arbetsgivare från att polygrafera sina anställda sedan 1988 (med undantag för de i känsliga jobb, som beväpnade vakter eller läkemedelsdistributörer, och för vissa anställda som misstänks för stöld eller bedrägeri). American Psychological Association varnar, De flesta psykologer är överens om att det finns få bevis för att polygraftester exakt kan upptäcka lögner, och en rapport från 2003 från National Academy of Sciences, som återspeglar tidigare statlig forskning, fann att enheten upptäcker lögnare i takter långt över slumpen. , men långt under perfektion; rapportens huvudförfattare sa då att nationell säkerhet är för viktig för att överlåtas till ett så trubbigt instrument.
Men instrumentet behöver kanske inte vara så trubbigt. Det är löftet som ges av ett växande antal företag som är ivriga att sälja lögndetektionsteknik till både regeringar och kommersiella industrier. Kanske, säger de, vissa komplexa mönster av beteendetics skulle kunna signalera att ljuga mer tillförlitligt än bara en förhöjd puls eller blodtryck. Och kanske kan en sofistikerad algoritm upptäcka dessa mönster.
Från 1969 till 1981 bröt en seriemördare med smeknamnet Yorkshire Ripper unga kvinnor i norra England, dödade minst 13 och försökte döda minst sju andra. Polisen intervjuade och släppte honom nio olika gånger medan hans mordförsök fortsatte. Hans sista offer var Jacqueline Hill, en 20-årig student vid University of Leeds, som dödades i november 1980. Några månader senare fångade polisen honom äntligen när han förberedde sig för att döda en prostituerad i närliggande Sheffield.
När Janet Rothwell anlände till University of Leeds hösten 1980, bodde hon i sovsalen bredvid Hill's. Hon fann sig själv hemsökt av Hills mord.
Hon tog bussen från universitetsbiblioteket ungefär samtidigt som jag, sa Rothwell, och hon mördades efter att hon klev av bussen. Rothwell fick senare veta hur lång tid det tog att fånga mördaren. Jag undrade, mindes hon, kunde en dator flagga någon form av inkongruens i beteendet för att larma polisen?
Rothwell gick så småningom vidare till forskarskolan vid Manchester Metropolitan University (MMU) i slutet av 1990-talet. Hon träffade Zuhair Bandar, en irakisk-brittisk föreläsare som arbetar på datavetenskapsavdelningen. Bandar hade nyligen haft ett eureka-ögonblick när ett marknadsföringsföretag hade bett honom att skapa en rudimentär enhet för att mäta konsumenternas intresse för produkter de såg på en skärm.
Ett FBI-foto av en kvinna som tar en polygraf. Federal Bureau of Investigation
De skulle ge kunden en handhållen enhet, sa Bandar, och om de godkänner trycker de på 1; om de inte gillar det trycker de på 2. Jag tänkte, varför behöver vi handhållna enheter om det redan finns uttryck i deras ansikten? Bandar bad Rothwell att stanna på MMU efter sin mastersexamen för att doktorera och hjälpa honom att designa mjukvara som kunde analysera ansikten för att extrahera information. Bedräglighet, tänkte de, var inte mindre påvisbar än glädje eller ilska. Alla skulle skapa någon form av inkongruens – beteendemönster, vare sig de är verbala eller icke-verbala, som en dator kan urskilja.
Rothwell tränade ett neuralt nätverk i början av 2000-talet för att spåra ansiktsrörelser som att blinka och rodna, och matade sedan datorn med några dussin klipp av människor som svarade på samma uppsättning frågor ärligt och oärligt. För att avgöra vad lögnarna hade gemensamt undersökte datorn en individs ansiktsrörelser, relationerna mellan dessa rörelser och relationerna mellan dessa relationer, och kom fram till en teori som var för komplex för att formulera på normalt språk. När systemet väl tränats på detta sätt kunde systemet använda sin kunskap för att klassificera nya ämnen som vilseledande eller sanningsenliga genom att analysera förändringar ruta för ruta i deras uttryck.
I en studie från 2006 gjordes systemet, kallat Silent Talker, för att gissa om ett ämne ljög eller talade sanning. Den uppnådde aldrig mer än 80 % noggrannhet medan Rothwell arbetade med den – och den har inte heller gjort det väsentligt bättre i något som forskargruppen har publicerat sedan dess. Rothwell berättade också för mig att det gick sönder helt om en deltagare bar glasögon, och hon påpekade att du måste komma ihåg att ljusförhållandena var desamma och att intervjuerna baserades på den iscensatta stölden. Men även i de tidiga stadierna, minns Rothwell, var Bandar angelägen om att ha en kommersiell produkt; han och en kollega presenterade henne en gång en video med en kvinna som misstänks ha varit otrogen mot sin man och bad henne låta Silent Talker analysera den, precis som i Romarnas bedrifter .
Rothwell hade sina reservationer. Jag kunde se att programvaran, om den fungerade, potentiellt kunde vara påträngande, sa hon. Jag tror inte att något system någonsin skulle kunna vara 100%, och om [systemet] gör fel kan risken för relationer och livet vara katastrofal. Hon lämnade universitetet 2006; efter utbildning till audionom fick hon ett jobb på ett sjukhus på Isle of Jersey, där hon fortfarande bor.
MMU släppte ett pressmeddelande 2003 där de presenterade tekniken som en ny uppfinning som skulle göra polygrafen föråldrad. Jag blev lite chockad, sa Rothwell, för jag kände att det var för tidigt.
Den amerikanska regeringen gjorde många satsningar på teknik för bedrägeriupptäckt under de första åren efter 9/11, med Department of Homeland Security (DHS), Department of Defense (DoD) och National Science Foundation som alla spenderade miljontals dollar på sådan forskning . Dessa byråer finansierade skapandet av en kiosk som heter AVATAR vid University of Arizona. AVATAR, som analyserade ansiktsuttryck, kroppsspråk och människors röster för att tilldela försökspersoner ett 'trovärdighetspoäng', testades på amerikanska flygplatser. I Israel hjälpte DHS under tiden till att finansiera en startup som heter WeCU ('we see you), som sålde en screeningkiosk som skulle utlösa fysiologiska reaktioner bland dem som döljer något, enligt en 2010 artikel i Fast Company . (Företaget har sedan dess lagt ner.)
Bandar började försöka kommersialisera tekniken. Tillsammans med två av sina elever, Jim O’Shea och Keeley Crockett, införlivade han Silent Talker som ett företag och började söka kunder, inklusive både polisavdelningar och privata företag, för sin psykologiska profileringsteknologi. Silent Talker var en av de första AI-lögndetektorerna som kom ut på marknaden. Enligt företaget användes förra året teknik från Silent Talker som en del av iBorderCtrl, ett EU-finansierat forskningsinitiativ som testade systemet på volontärer vid gränserna i Grekland, Ungern och Lettland. Bandar säger att företaget nu är i samtal om att sälja tekniken till advokatbyråer, banker och försäkringsbolag, och tar med sig tester i arbetsplatsintervjuer och bedrägerikontroller.
Bandar och O'Shea ägnade år åt att anpassa kärnalgoritmen för användning i olika miljöer. De försökte marknadsföra det till polisavdelningar i Manchester och Liverpools storstadsområde. Vi pratar med mycket seniora personer informellt, berättade företaget för brittisk publikation Ingenjören 2003 och noterade att deras syfte var att pröva detta i riktiga intervjuer. En vitbok från 2013 O'Shea publiceras på hans hemsida föreslog att Silent Talker skulle kunna användas för att skydda våra styrkor vid utlandsplacering från Green-on-Blue ('Insider') attacker. (Termen grön-på-blå används ofta för att hänvisa till attacker avghanska soldater i uniform gör mot sina dåvarande allierade.)
Teamet publicerade också experimentella resultat som visar hur Silent Talker kan användas för att upptäcka förståelse såväl som upptäckt. I en studie från 2012, den första som visade Silent Talker-systemet som används i fält, arbetade teamet med en icke-statlig hälso- och sjukvårdsorganisation i Tanzania för att registrera ansiktsuttrycken hos 80 kvinnor när de gick onlinekurser om HIV-behandling och kondomanvändning. Tanken var att avgöra om patienterna förstod behandlingen de skulle få - som introduktionen till studien noterar är bedömningen av deltagarnas förståelse under processen för informerat samtycke fortfarande ett kritiskt område av oro. När teamet korsrefererade AI:s gissningar om huruvida kvinnorna förstod föreläsningarna med sina poäng på korta prov efter föreläsningen, fann de att det var 80 % korrekt när det gällde att förutsäga vem som skulle klara och vem som skulle misslyckas.
Algoritmen som tränas i Manchester skulle, enligt pressmeddelandet, leverera effektivare och säkrare landgränsövergångar och bidra till att förebygga brott och terrorism.
Tanzania-experimentet var det som ledde till att Silent Talker inkluderades i iBorderCtrl. 2015 mailade Athos Antoniades, en av organisatörerna av det begynnande konsortiet, O’Shea och frågade om Silent Talker-teamet ville gå med i en grupp företag och polisstyrkor som ansökte om ett EU-bidrag. Under tidigare år hade den växande fordonstrafiken in i EU överväldigat agenter vid unionens gränsländer, och som ett resultat erbjöd EU 4,5 miljoner euro (5 miljoner dollar) till alla institutioner som kunde leverera effektivare och säkrare landgränsövergångar ... och på så sätt bidra till att förebygga brott och terrorism. Antoniades trodde att Silent Talker kunde spela en avgörande roll.
När projektet slutligen tillkännagav en offentlig pilot i oktober 2018 var Europeiska kommissionen snabb med att presentera framgångssagan för systemets unika tillvägagångssätt för upptäckt av bedrägeri i ett pressmeddelande , och förklarar att tekniken analyserar resenärers mikrogester för att ta reda på om intervjupersonen ljuger. Algoritmen som tränades i Manchester skulle, fortsatte pressmeddelandet, leverera effektivare och säkrare landgränsövergångar och bidra till att förebygga brott och terrorism.
Programmets underliggande algoritm, berättade O'Shea för mig, kan användas i en mängd andra miljöer - reklam, analys av försäkringskrav, screening av jobbsökande och anställdbedömning. Hans överväldigande tro på dess visdom var svår för mig att dela med mig av, men även när han och jag pratade i telefon, höll Silent Talker redan på att undersöka volontärer vid EU:s gränsövergångar; företaget hade nyligen startat som ett företag i januari 2019. Så jag bestämde mig för att åka till Manchester för att se själv.
Silent Talkers kontor ligger ungefär en mil bort från Manchester Metropolitan University, där O’Shea nu är universitetslektor. Han har tagit över den dagliga utvecklingen av tekniken från Bandar. Företaget är baserat på en kontorspark med blinka-och-du-missar-det i ett bostadsområde, på samma gata som en kebabrestaurang och mittemot en fotbollsplan. Inuti är Silent Talkers kontor ett enkelrum med några datorer, skrivbord med portföljer på och förklarande affischer om tekniken från tidigt 2000-tal.
När jag besökte företagets kontor i september satte jag mig ner med O’Shea och Bandar i ett konferensrum i korridoren. O’Shea var sträng men lätt rufsig, flintskallig förutom några hårtussar och ett Van Dyke-skägg. Han inledde samtalet med att insistera på att vi inte skulle prata om iBorderCtrl-projektet, och kallade senare dess kritiker för felinformerade. Han talade om kraften i systemets AI-ramverk i långa, digressiva tangenter, och citerade då och då datorpionjären Alan Turing eller språkfilosofen John Searle.
Maskiner och människor har båda intentionalitet - övertygelser, önskningar och avsikter om objekt och tillstånd i världen, sade han och försvarade systemets beroende av en algoritm. Därför kräver komplicerade applikationer att du ger ömsesidig vikt åt bådas idéer och avsikter.
O’Shea demonstrerade systemet genom att låta det analysera en video av en man som svarar på frågor om huruvida han stal $50 från en låda. Programmet lade en gul ruta runt mannens ansikte och två mindre rutor runt hans ögon. När han pratade flyttade en nål i hörnet av skärmen från grönt till rött när han gav falska svar och tillbaka till en måttlig orange när han inte pratade. När intervjun var över genererade programvaran en graf som plottade sannolikheten för bedrägeri mot tiden. I teorin visades detta när han började och slutade ljuga.
När han pratade flyttade en nål i hörnet av skärmen från grönt till rött när han gav falska svar och tillbaka till en måttlig orange när han inte pratade.
Systemet kan köras på en traditionell bärbar dator, säger O'Shea, och användare betalar cirka 10 USD per minut av analyserad video. O'Shea berättade för mig att mjukvaran gör en preliminär lokal bearbetning av videon, skickar krypterad data till en server där den analyseras ytterligare och sedan skickar resultatet tillbaka: användaren ser en graf över sannolikheten för bedrägeri överlagd längst ner av videon.
Enligt O’Shea övervakar systemet runt 40 fysiska kanaler på en deltagares kropp – allt från hastigheten med vilken man blinkar till huvudvinkeln. Det ger varje nytt ansikte en teori om bedrägeri som den har utvecklat genom att titta på en träningsdatauppsättning av lögnare och sanningssägare. Genom att mäta ett försökspersons ansiktsrörelser och hållningsförändringar många gånger per sekund, letar systemet efter rörelsemönster som matchar de som delas av lögnarna i träningsdatan. Dessa mönster är inte så enkla som ögon som snärtar mot taket eller ett huvud som lutar åt vänster. De är mer som mönster av mönster, mångfacetterade relationer mellan olika rörelser, för komplexa för en människa att spåra - ett typiskt drag hos system för maskininlärning.
AI:s uppgift är att avgöra vilka typer av rörelsemönster som kan förknippas med bedrägeri. Psykologer säger ofta att man borde ha någon form av modell för hur ett system fungerar, sa O’Shea till mig, men vi har ingen fungerande modell, och vi behöver inte en. Vi låter AI:n ta reda på det. Men han säger också att motiveringen för kanalerna i ansiktet kommer från akademisk litteratur om bedrägeriernas psykologi. I en 2018 års tidning om Silent Talker , säger dess skapare att deras programvara förutsätter att vissa mentala tillstånd associerade med vilseledande beteende kommer att driva en intervjupersons [icke-verbala beteende] när de bedrar. Bland dessa beteenden finns kognitiv belastning, eller den extra mentala energi som det påstås ta för att ljuga, och dupningsglädje, eller nöjet en individ påstås få av att berätta en framgångsrik lögn.
Paul Ekman, en psykolog vars teori om 'mikro-uttryck' är mycket omtvistad, har konsulterat för otaliga amerikanska statliga myndigheter. Wikimedia / Momopuppycat
Men Ewout Meijer, professor i psykologi vid Maastricht University i Nederländerna, säger att skälen för att tro att sådana beteenden är universella i bästa fall är instabila. Tanken att man kan hitta kontrollanta beteendeläckor i ansiktet har rötter i Paul Ekmans arbete, en amerikansk psykolog som på 1980-talet förordade en nu känd teori om mikrouttryck, eller ofrivilliga ansiktsrörelser som är för små för att kontrollera. Ekmans forskning gjorde honom till en bästsäljande författare och inspirerade tv-kriminaldramat Ljug för mig . Han konsulterade för otaliga amerikanska statliga myndigheter, inklusive DHS och DARPA. Med hänvisning till nationell säkerhet har han hållit forskningsdata hemliga. Detta har lett till en kontroversiell debatt om huruvida mikrouttryck ens har någon mening.
Silent Talkers AI spårar alla typer av ansiktsrörelser, inte Ekman-specifika mikrouttryck. Vi dekomponerade dessa ledtrådar på hög nivå i vår egen uppsättning mikrogester och tränade AI-komponenter för att kombinera dem till meningsfulla indikativa mönster, skrev en talesperson för företaget i ett mejl. O'Shea säger att detta gör det möjligt för systemet att upptäcka bedrägligt beteende även när en person bara tittar sig omkring eller flyttar sig i en stol.
Mycket beror på om du har en teknisk fråga eller en psykologisk fråga, säger Meijer och varnar för att O'Shea och hans team kanske söker sig till teknik för att få svar på psykologiska frågor om bedrägeriernas natur. Ett AI-system kan överträffa människor när det gäller att upptäcka [ansiktsuttryck], men även om det skulle vara fallet, säger det dig fortfarande inte om du kan dra slutsatser från dem om någon är vilseledande ... bedrägeri är en psykologisk konstruktion. Inte bara finns det ingen konsensus om som uttryck korrelerar med bedrägeri, tillägger Meijer; det finns inte ens konsensus om huruvida dom gör. I ett mejl sa företaget att sådan kritik inte är relevant för Silent Talker och att statistiken som används inte är lämplig.
TV-dramat Ljug för mig baserades delvis på Ekmans mikrouttrycksteori. Fox studios
Dessutom påpekar Meijer att algoritmen fortfarande kommer att vara värdelös vid gränsövergångar eller i anställningsintervjuer om den inte har tränats på en datauppsättning som är så mångsidig som den den kommer att utvärdera i verkligheten. Forskning visar att ansiktsigenkänningsalgoritmer är sämre på att känna igen minoriteter när de har tränats på uppsättningar av övervägande vita ansikten, något O’Shea själv medger. En talesperson för Silent Talker skrev i ett e-postmeddelande, Vi genomförde flera experiment med mindre varierande urvalsstorlekar. Dessa summerar till hundratals. Några av dessa är akademiska och har publicerats [sic], några är kommersiella och är konfidentiella.
Men all publicerad forskning som styrker Silent Talkers noggrannhet kommer från små och partiella datamängder: i 2018 års tidning, till exempel, innehöll en träningspopulation på 32 personer dubbelt så många män som kvinnor och endast 10 deltagare av asiatisk/arabisk härkomst, med inga svarta eller latinamerikanska ämnen. Även om programvaran för närvarande har olika inställningar för att analysera män och kvinnor, sa O'Shea att han inte var säker på om den behövde inställningar för etnisk bakgrund eller ålder.
Efter att pilotprojektet för iBorderCtrl tillkännagavs 2018, fördömde aktivister och politiker programmet som en orwellsk expansion av övervakningsstaten utan motstycke. Sophie in 't Veld, en holländsk ledamot av Europaparlamentet och ledare för mitten-vänsterpartiet Demokraterna 66, sa i ett brev till EU-kommissionen att Silent Talker-systemet kan bryta mot de grundläggande rättigheterna för många gränsöverskridande resenärer och att organisationer som Privacy International fördömde det som en del av en bredare trend mot att använda ogenomskinliga och ofta bristfälliga automatiserade system för att bedöma, bedöma och klassificera människor. Oppositionen verkade överraska iBorderCtrl-konsortiet: även om Europeiska kommissionen till en början hävdade att iBorderCtrl skulle utveckla ett system för att påskynda gränsövergångar, säger en talesman nu att programmet var ett rent teoretiskt forskningsprojekt. Antoniades berättade för en nederländsk tidning i slutet av 2018 att bedrägeriupptäcktssystemet i slutändan kanske inte kommer in i designen, men när detta skrivs talade Silent Talker fortfarande om sitt deltagande i iBorderCtrl på sin hemsida .
Hur ofta kritiker som Wilde än avslöjar det, kommer drömmen om en perfekt lögndetektor helt enkelt inte att dö, speciellt när den översköljs av AI-glansen.
Silent Talker är en ny version av det gamla bedrägeriet, menar Vera Wilde, en amerikansk akademiker och integritetsaktivist som bor i Berlin och som hjälpte till att starta en kampanj mot iBorderCtrl. På vissa sätt är det samma bedrägeri, men med sämre vetenskap. I ett polygraftest letar en granskare efter fysiologiska händelser som tros vara korrelerade med bedrägeri; i ett AI-system låter examinatorer datorn själv räkna ut sambanden. När O’Shea säger att han inte har en teori så har han fel, fortsätter hon. Han har en teori. Det är bara en dålig teori.
Hur ofta kritiker som Wilde än avslöjar det, kommer drömmen om en perfekt lögndetektor helt enkelt inte att dö, speciellt när den översköljs av AI-glansen. Efter att DHS spenderat miljontals dollar på att finansiera bedrägeriforskning vid universitet på 2000-talet, försökte man skapa sin egen version av en beteendeanalysteknik. Detta system, kallat Future Attribute Screening Technology (FAST), syftade till att använda AI för att leta efter kriminella tendenser i en persons ögon- och kroppsrörelser. (En tidig version krävde att intervjupersonerna ställde sig på en Wii Fit-balansbräda för att mäta förändringar i kroppsställning.) Tre forskare som talade off the record för att diskutera hemliga projekt sa att programmet aldrig kom igång – det fanns för mycket oenighet inom avdelningen över om man ska använda Ekmans mikrouttryck som riktlinje för beteendeanalys. Avdelningen avvecklade programmet 2011.
Trots misslyckandet med FAST visar DHS fortfarande intresse för lögndetektionstekniker. Förra året, till exempel, tilldelade det ett kontrakt på 110 000 $ till ett personalföretag för att utbilda sina tjänstemän i att upptäcka bedrägeri och framkalla svar genom beteendeanalys. Andra delar av regeringen lägger under tiden fortfarande sin vikt bakom AI-lösningar. Army Research Laboratory (ARL) har för närvarande ett kontrakt med Rutgers University för att skapa ett AI-program för att upptäcka lögner i salongsspelet Mafia, som en del av ett större försök att skapa något som ett Google Glass som varnar oss för ett par ficktjuvar i den fullsatta basaren, enligt Purush Iyer, ARL-divisionschefen som ansvarar för projektet. Nemesysco, ett israeliskt företag som säljer programvara för AI-röstanalys, berättade för mig att dess teknik används av polisavdelningar i New York och sheriffer i mellanvästern för att intervjua misstänkta, samt av inkassosamtal för att mäta gäldenärernas känslor på telefonsamtal.
Den omedelbara och potentiellt farliga framtiden för AI-lögndetektering ligger inte hos regeringar utan på den privata marknaden. Politiker som stöder initiativ som iBorderCtrl måste i slutändan stå till svars för väljarna, och de flesta AI-lögndetektorer kan uteslutas från domstol under samma juridiska prejudikat som styr polygrafen. Privata företag möter dock färre begränsningar när det gäller att använda sådan teknik för att screena arbetssökande och potentiella kunder. Silent Talker är ett av flera företag som hävdar att de erbjuder ett mer objektivt sätt att upptäcka avvikande eller bedrägligt beteende, vilket ger kunderna en riskanalysmetod som går utöver kreditbetyg och profiler i sociala medier.
Programvaran genererar ett stort antal falska positiva resultat.
Ett Montana-baserat företag som heter Neuro-ID genomför AI-analys av musrörelser och tangenttryckningar för att hjälpa banker och försäkringsbolag att bedöma bedrägerisken, och ger lånsökande ett förtroendepoäng på 1 till 100. I en video visade företaget mig när en kund gjorde En låneansökan online tar extra tid att fylla i fältet för hushållsinkomst, flytta runt musen medan du gör det, systemet tar med det i dess trovärdighetspoäng. Den är baserad på forskning från företagets grundande forskare som hävdar att de visar en korrelation mellan musrörelser och känslomässig upphetsning: ett papper som hävdar att bedräglighet kan öka det normaliserade rörelseavståndet, minska rörelsehastigheten, öka svarstiden och resultatet i fler vänsterklick. Företagets egna tester avslöjar dock att programvaran genererar ett stort antal falska positiva resultat: i en fallstudie där Neuro-ID behandlade 20 000 ansökningar för en e-handelswebbplats, var det färre än hälften av de sökande som fick lägst poäng (5 till 10) visade sig vara bedrägliga, och endast 10 % av de som fick poäng från 20 till 30 utgjorde en bedrägerisk. Enligt företagets eget medgivande flaggar programvaran sökande som kan visa sig vara oskyldiga och låter företaget använda den informationen för att följa upp hur det vill. Det finns inget sådant som beteendebaserad analys som är 100% korrekt, sa en talesman till mig. Det vi rekommenderar är att du använder detta i kombination med annan information om sökande för att fatta bättre beslut och fånga upp [bedrägliga klienter] mer effektivt.
Converus, en Utah-baserad startup, säljer programvara som heter EyeDetect som mäter utvidgningen av ett försökspersons elever under en intervju för att upptäcka kognitiv belastning. Liksom Silent Talker utgår verktyget från premissen att ljuga är mer kognitivt krävande än att berätta sanningen. Enligt a 2018 artikel i Wired har polisavdelningar i Salt Lake City och Columbus, Georgia, använt EyeDetect för att undersöka arbetssökande. Converus berättade också för Wired att McDonald's, Best Western, Sheraton, IHOP och FedEx använde sin programvara i Panama och Guatemala på ett sätt som skulle ha varit olagligt i USA.
I ett uttalande det gav mig, citerade företaget till få studier som visar att EyeDetect uppnår cirka 85 % noggrannhet när det gäller att identifiera lögnare och sanningssägare, med prover på upp till 150 personer. Bolagets VD Todd Mickelsen säger att hans företags algoritm har tränats på hundratusentals intervjuer. Men Charles Honts, professor i psykologi vid Boise State University som också sitter i Converus rådgivande styrelse, sa att dessa resultat inte bevisade att man kunde lita på EyeDetect i fältintervjuer. Jag tycker att EyeDetect-systemet är riktigt intressant, men å andra sidan använder jag det inte, sa han till mig. Jag tror att databasen fortfarande är relativt liten, och den kommer mestadels från ett laboratorium. Tills det har utökats och andra människor har replikerat det, skulle jag vara ovilligt att använda det i fält.
Forskare från University of Arizona som utvecklade AVATAR-systemet har också startat ett privat företag, Discern Science, för att marknadsföra sin egen teknik för bedrägeriupptäckt. Discern, som lanserades förra året, säljer en sex fot hög kiosk som liknar den ursprungliga AVATAR; enligt en artikel i Financial Times har företaget ingått ett joint venture-avtal med en partner inom flygindustrin för att sälja verktyget till flygplatser. Systemet åtgärder ansiktsrörelser och röststress för att osynligt samla information från ämnet på samtalsavstånd, enligt reklammaterial. Liksom Silent Talker och Converus hävdar Discern att tekniken på ett tillförlitligt sätt kan upptäcka omkring 85 % av lögnare och sanningssägare, men återigen, dess resultat har aldrig replikerats oberoende. Minst en av ingångarna som kiosken använder har varit upprepat visad att vara opålitlig . (Honts noterade vidare att det nästan inte finns något stöd för analys av ansiktsrörelser som AVATARs och Silent Talkers - det har varit så många misslyckanden att replikera där, sa han.)
Alla som berättar att de har en enhet som är en direkt lögndetektor är en charlatan.
På frågan om det vetenskapliga stödet för företagets kiosk, betonade Discern-forskaren Judee Burgoon att de bara gör bedömningar, inte bindande bedömningar om sanning och lögn. System som AVATAR och Silent Talker, sa hon, kan inte direkt mäta bedrägeri och tillade att alla som säger att de har en enhet som är en direkt lögndetektor är en charlatan. Men i marknadsföringsmaterial presenterar Discern verktyget som en pålitlig lögndetektor: företagets webbplats påståenden att det kan hjälpa till att avslöja dolda planer och att dess algoritmer har vetenskapligt bevisats för att upptäcka bedrägeri snabbare och mer tillförlitligt än något alternativ.
Appellationsdomstolen lämnade Emmanuel Mervilus fällande dom 2011, släppte honom från fängelset och beordrade en ny rättegång; han hade avtjänat mer än tre år av sitt straff. Vid den andra rättegången, 2013, övervägde jurymedlemmarna i bara 40 minuter innan de frikände honom. Om det inte vore för polygrafen och den ihärdiga tron på dess riktighet, hade han kanske aldrig satt sin fot i en rättssal första gången. Mervilus har stämt de poliser som ursprungligen arresterade och förhörde honom och hävdade att de kränkte hans rätt till rättegång genom att använda polygrafprov som de visste var felaktiga för att säkra en fällande dom. Ärendet kommer att gå vidare till en förlikningskonferens den 13 mars.
Även om den utbredda användningen av Silent Talker och liknande system inte leder till fler fällande domar av oskyldiga människor som Mervilus, kan det fortfarande bidra till att skapa en ny sorts social shibboleth, som tvingar människor att genomgå trovärdighetsbedömningar innan de hyr en bil eller tar ut ett lån.
I en domstol måste du lämna över materiella bevis, som ditt hår och ditt blod, säger Wilde. Men du har också rätt att tiga, rätt att inte tala emot dig själv. Mervilus valde att ta polygraftestet på antagandet att det, som ett DNA-test, skulle visa att han var oskyldig. Och även om enheten fick det fel, var det inte själva maskinen som skickade honom till fängelse. Det var juryns övertygelse att testresultaten var mer trovärdiga än fakta i fallet.
Grundförutsättningen för AI lögndetektion är att lögner är till för att ses med rätt verktyg. Psykologer vet fortfarande inte hur giltigt det påståendet är, men under tiden kan tron på dess giltighet vara tillräckligt för att diskvalificera förtjänta sökande till jobb och lån och för att förhindra oskyldiga människor från att korsa nationella gränser. Löftet om ett fönster in i andras inre liv är för frestande för att gå ifrån, även om ingen kan vara säker på hur tydligt det fönstret är.
Det är löftet om tankeläsning, säger Wilde. Du kan se att det är falskt, men det är vad de säljer.