Revisorer testar anställningsalgoritmer för partiskhet, men det finns ingen enkel lösning

AI-revisioner kan förbise vissa typer av partiskhet, och de verifierar inte nödvändigtvis att ett anställningsverktyg väljer ut de bästa kandidaterna för ett jobb.

Simon Simard

förbi

• Hilke Schellmann arkivsida

11 februari 2021

Jag är hemma och spelar ett tv-spel på min dator. Mitt jobb är att pumpa upp en ballong i taget och tjäna så mycket pengar som möjligt. Varje gång jag klickar på Pump expanderar ballongen och jag får fem virtuella cent. Men om ballongen poppar innan jag trycker på Samla försvinner alla mina digitala intäkter.

Efter att ha fyllt 39 ballonger har jag tjänat 14,40 USD. Ett meddelande visas på skärmen: Du håller fast vid ett konsekvent tillvägagångssätt i högrisksituationer. Egenskap uppmätt: Risk.

Det här spelet är ett i en serie gjord av ett företag som heter Pymetrics, som många stora amerikanska företag anlitar för att granska arbetssökande. Om du ansöker till McDonald's, Boston Consulting Group, Kraft Heinz eller Colgate-Palmolive kan du bli ombedd att spela Pymetrics' spel.

Medan jag spelar mäter ett system med artificiell intelligens egenskaper inklusive generositet, rättvisa och uppmärksamhet. Om jag faktiskt skulle söka en tjänst skulle systemet jämföra mina poäng med de anställda som redan arbetar i det jobbet. Om min personlighetsprofil återspeglade de egenskaper som är mest specifika för personer som är framgångsrika i rollen, skulle jag gå vidare till nästa anställningsstadium.

Fler och fler företag använder AI-baserade anställningsverktyg som dessa för att hantera floden av ansökningar de tar emot – särskilt nu när det finns ungefär dubbelt så många arbetslösa i USA som före pandemin. En enkät av över 7 300 personalchefer över hela världen av Mercer, ett kapitalförvaltningsföretag, fann att andelen som sa att deras avdelning använder prediktiv analys hoppade från 10 % 2016 till 39 % 2020.

Stills of Pymetrics kärnprodukt, en svit med 12 AI-baserade spel som företaget säger kan urskilja en arbetssökandes sociala, kognitiva och känslomässiga egenskaper.

PYMETRI

Som med andra AI-applikationer har forskare dock funnit att vissa anställningsverktyg producerar partiska resultat — oavsiktligt gynna män eller personer från vissa socioekonomiska bakgrunder, till exempel. Många förespråkar nu större transparens och mer reglering. Särskilt en lösning föreslås gång på gång: AI-revisioner.

Förra året betalade Pymetrics ett team av datavetare från Northeastern University för att granska dess anställningsalgoritm. Det var en av de första gångerna ett sådant företag hade begärt en tredjepartsrevision av sitt eget verktyg. VD Frida Polli sa till mig att hon trodde att erfarenheten kunde vara en modell för efterlevnad av en föreslagen lag som kräver sådana revisioner för företag i New York City, där Pymetrics är baserat.

Pymetrics marknadsför sin mjukvara som helt fördomsfri.

Det Pymetrics gör, som tar in en neutral tredje part för att granska, är en riktigt bra riktning att röra sig i, säger Pauline Kim, juridikprofessor vid Washington University i St. Louis, som har expertis inom arbetsrätt och artificiell intelligens. Om de kan driva branschen att bli mer transparent är det ett riktigt positivt steg framåt.

Trots all uppmärksamhet som AI-revisioner har fått, är deras förmåga att faktiskt upptäcka och skydda mot partiskhet fortfarande obevisad. Begreppet AI-revision kan betyda många olika saker, vilket gör det svårt att lita på resultatet av revisioner i allmänhet. De mest rigorösa revisionerna kan fortfarande vara begränsade i omfattning. Och även med obegränsad tillgång till en algoritms inre, kan det vara förvånansvärt svårt att med säkerhet säga om den behandlar sökande rättvist. I bästa fall ger revisioner en ofullständig bild, och i värsta fall kan de hjälpa företag att dölja problematiska eller kontroversiella metoder bakom en revisors godkännandestämpel.

Inuti en AI-revision

Många typer av AI-anställningsverktyg används redan idag. De inkluderar programvara som analyserar en kandidats ansiktsuttryck, ton och språk under videointervjuer samt program som skannar cv, förutsäger personlighet eller undersöker en sökandes sociala medieaktivitet.

Oavsett vilken typ av verktyg de säljer lovar AI-uthyrningsleverantörer i allmänhet att dessa tekniker kommer att hitta bättre kvalificerade och mer mångsidiga kandidater till lägre kostnad och på kortare tid än traditionella HR-avdelningar. Det finns dock väldigt lite bevis för att de gör det, och det är i alla fall inte vad AI-revisionen av Pymetrics algoritm testade för. Istället syftade det till att avgöra om ett visst anställningsverktyg grovt diskriminerar kandidater på grund av ras eller kön.

Christo Wilson på Northeastern hade granskat algoritmer tidigare, inklusive de som driva Ubers höga prissättning och Googles sökmotor . Men tills Pymetrics ringde hade han aldrig jobbat direkt med ett företag som han undersökte.

Wilsons team, som inkluderade hans kollega Alan Mislove och två doktorander, förlitade sig på data från Pymetrics och hade tillgång till företagets datavetare. Revisorerna var redaktionellt oberoende men gick med på att underrätta Pymetrics om eventuella negativa resultat före publicering. Företaget betalade Northeastern $104 465 via ett bidrag , inklusive $64 813 som gick till löner för Wilson och hans team.

Relaterad berättelse

Deepfake porr förstör kvinnors liv. Nu kan lagen äntligen förbjuda det.

Efter år av aktivister som kämpat för att skydda offer för bildbaserat sexuellt våld, tvingar deepfakes äntligen lagstiftare att vara uppmärksamma.

Pymetrics kärnprodukt är en svit med 12 spel som den säger mest är baserade på kognitionsvetenskapliga experiment . Spelen är inte avsedda att vinnas eller förloras; de är utformade för att urskilja en sökandes kognitiva, sociala och känslomässiga egenskaper, inklusive risktolerans och inlärningsförmåga. Pymetrics marknadsför sin mjukvara som helt fördomsfritt . Pymetrics och Wilson beslutade att revisorerna skulle fokusera snävt på en specifik fråga: Är företagets modeller rättvisa?

De baserade definitionen av rättvisa på vad som i dagligt tal kallas fyra-femtedelsregeln, som har blivit en informell anställningsstandard i USA. Equal Employment Opportunity Commission (EEOC) släppte riktlinjer 1978 anger att anställningsförfaranden bör välja ut ungefär samma andel av män och kvinnor, och av personer från olika rasgrupper. Enligt fyra-femtedelsregeln, förklarar Kim, om män gick 100 % av tiden till nästa steg i anställningsprocessen, måste kvinnor passera minst 80 % av tiden.

Om ett företags anställningsverktyg bryter mot fyra-femtedelsregeln kan EEOC ta en närmare titt på dess praxis. För en arbetsgivare är det ingen dålig kontroll, säger Kim. Om arbetsgivare ser till att dessa verktyg inte är grovt diskriminerande, kommer de med all sannolikhet inte att uppmärksamma federala tillsynsmyndigheter.

För att ta reda på om Pymetrics programvara rensade den här stapeln, fick Northeastern-teamet först försöka förstå hur verktyget fungerar.

När en ny kund registrerar sig hos Pymetrics måste den välja ut minst 50 anställda som har lyckats i den roll den vill fylla. Dessa anställda spelar Pymetrics spel för att generera träningsdata. Därefter jämför Pymetrics system data från dessa 50 anställda med speldata från mer än 10 000 personer slumpmässigt utvalda från över två miljoner. Systemet bygger sedan en modell som identifierar och rangordnar de färdigheter som är mest specifika för kundens framgångsrika medarbetare.

För att kontrollera för partiskhet kör Pymetrics denna modell mot en annan datamängd på cirka 12 000 personer (slumpmässigt utvalda från över 500 000) som inte bara har spelat spelen utan också avslöjat sin demografi i en undersökning. Tanken är att avgöra om modellen skulle klara fyra femtedelars test om den utvärderade dessa 12 000 personer.

Om systemet upptäcker någon fördom, bygger och testar det fler modeller tills det hittar en som både förutsäger framgång och producerar ungefär samma godkända frekvenser för män och kvinnor och för medlemmar av alla rasgrupper. I teorin, även om de flesta av en klients framgångsrika anställda är vita män, kan Pymetrics korrigera för partiskhet genom att jämföra speldata från dessa män med data från kvinnor och människor från andra rasgrupper. Vad den letar efter är datapunkter som förutsäger egenskaper som inte korrelerar med ras eller kön men som utmärker framgångsrika medarbetare.

Christo Wilson från Northeastern University

SIMON SIMARD

Wilson och hans team av revisorer ville ta reda på om Pymetrics anti-bias-mekanism faktiskt förhindrar partiskhet och om den kan luras. För att göra det försökte man i princip spela systemet genom att till exempel duplicera speldata från samma vita man många gånger och försöka använda det för att bygga en modell. Resultatet var alltid detsamma: hur deras kod är typ upplagd och hur dataforskarna använder verktyget, det fanns inget uppenbart sätt att lura dem i huvudsak att producera något som var partiskt och få det rensat, säger Wilson.

I höstas delade revisorerna sina resultat med företaget: Pymetrics system uppfyller fyra-femtedelsregeln. Det nordöstra laget publicerade nyligen studien av algoritmen online och kommer att presentera en rapport om arbetet i mars på den algoritmiska ansvarskonferensen FAccT.

Den stora takeawayen är att Pymetrics faktiskt gör ett riktigt bra jobb, säger Wilson.

En ofullkomlig lösning

Men även om Pymetrics mjukvara uppfyller fyra-femtedelsregeln, bevisade inte revisionen att verktyget är fritt från någon som helst partiskhet, och inte heller att det faktiskt väljer ut de mest kvalificerade kandidaterna för något jobb.

Det kändes faktiskt som att frågan som ställdes var mer 'Gör Pymetrics som de säger att de gör?' i motsats till 'Gör de rätt eller rätt sak?' säger Manish Raghavan, doktorand i datavetenskap vid Cornell University, som har publicerat mycket om artificiell intelligens och anställning.

Det kändes effektivt som att frågan som ställdes var mer 'Gör Pymetrics som de säger att de gör?' i motsats till 'Gör de rätt eller rätt sak?'

Till exempel kräver fyra-femtedelsregeln bara att personer från olika kön och rasgrupper ska gå vidare till nästa omgång av anställningsprocessen i ungefär samma takt. Ett AI-anställningsverktyg skulle kunna uppfylla det kravet och fortfarande vara väldigt inkonsekvent när det gäller att förutsäga hur väl människor från olika grupper faktiskt lyckas i jobbet när de väl anställts. Och om ett verktyg förutsäger framgång mer exakt för män än kvinnor, till exempel, skulle det betyda att det faktiskt inte identifierar de bäst kvalificerade kvinnorna, så de kvinnor som anställs kanske inte är lika framgångsrika på jobbet, säger Kim.

En annan fråga som varken fyra-femtedelsregeln eller Pymetrics granskning tar upp är intersektionalitet. Regeln jämför män med kvinnor och en rasgrupp med en annan för att se om de passerar i samma takt, men den jämför inte, säg, vita män med asiatiska män eller svarta kvinnor. Du kan ha något som uppfyller fyra-femtedelsregeln [för] män kontra kvinnor, svarta mot vita, men det kan dölja en partiskhet mot svarta kvinnor, säger Kim.

Pymetrics är inte det enda företaget som har granskat sin AI. HireVue, en annan stor leverantör av programvara för AI-uthyrning, lät ett företag som heter O'Neil Risk Consulting and Algorithmic Auditing (ORCAA) utvärdera en av sina algoritmer. Det företaget ägs av Cathy O'Neil, en dataforskare och författare till Vapen för matematisk förstörelse, en av de mest populära böckerna om AI-bias, som har förespråkat AI-revisioner i flera år.

ORCAA och HireVue fokuserade sin granskning på en produkt: HireVues anställningsbedömningar, som många företag använder för att utvärdera nyligen utexaminerade college. I det här fallet utvärderade inte ORCAA den tekniska designen av själva verktyget. Istället intervjuade företaget intressenter (inklusive en arbetssökande, en AI-etiker och flera ideella organisationer) om potentiella problem med verktygen och gav HireVue rekommendationer för att förbättra dem. Den slutliga rapporten publiceras på HireVues webbplats men kan endast läsas efter att ett sekretessavtal har undertecknats.

Alex Engler, en stipendiat vid Brookings Institution som har studerat AI-anställningsverktyg och som är bekant med båda revisionerna, tror att Pymetrics är den bättre: Det finns en stor skillnad i djupet av analysen som aktiverades, säger han. Men än en gång tog ingen av granskningarna upp om produkterna verkligen hjälper företag att göra bättre anställningsval. Och båda finansierades av bolagen som granskas, vilket skapar lite risk för att revisorn påverkas av att det här är en kund, säger Kim.

Av dessa skäl, säger kritiker, är frivilliga revisioner inte tillräckligt. Datavetare och ansvarsexperter driver nu på för en bredare reglering av AI-anställningsverktyg, såväl som standarder för granskning av dem.

Fyller luckorna

Vissa av dessa åtgärder börjar dyka upp i USA. Redan 2019 introducerade senatorerna Cory Booker och Ron Wyden och representanten Yvette Clarke Algorithmic Accountability Act att göra partiska revisioner obligatoriska för alla stora företag som använder AI, även om lagförslaget inte har ratificerats.

Samtidigt finns det en viss rörelse på delstatsnivå. De AI Video Intervju Act i Illinois, som trädde i kraft i januari 2020, kräver att företag berättar för kandidater när de använder AI i videointervjuer. Städer vidtar också åtgärder - i Los Angeles föreslog stadsfullmäktigeledamoten Joe Buscaino ett rättvist anställningsförslag för automatiserade system i november.

De New York City räkning i synnerhet skulle kunna tjäna som en modell för städer och stater i hela landet. Det skulle göra årliga revisioner obligatoriska för leverantörer av automatiserade anställningsverktyg. Det skulle också kräva att företag som använder verktygen berättar för sökande vilka egenskaper deras system använde för att fatta ett beslut.

Men frågan om hur dessa årliga revisioner faktiskt skulle se ut är fortfarande öppen. För många experter skulle en granskning i linje med vad Pymetrics gjorde inte gå särskilt långt för att avgöra om dessa system diskriminerar, eftersom den granskningen inte kontrollerade intersektionalitet eller utvärderade verktygets förmåga att korrekt mäta de egenskaper som det påstår sig mäta för människor av olika raser och kön.

Och många kritiker skulle vilja se revision utförd av regeringen istället för privata företag, för att undvika intressekonflikter. Det borde finnas en förebyggande reglering så att innan du använder något av dessa system, borde Equal Employment Opportunity Commission behöva granska det och sedan licensiera det, säger Frank Pasquale, professor vid Brooklyn Law School och expert på algoritmisk ansvarighet. Han har i åtanke en förhandsgodkännandeprocess för algoritmiska anställningsverktyg som liknar vad Food and Drug Administration använder med droger.

Än så länge har EEOC inte ens utfärdat tydliga riktlinjer angående anställningsalgoritmer som redan används. Men saker och ting kan börja förändras snart. I december, 10 senatorer skickade ett brev till EEOC och frågade om det har befogenhet att börja övervaka AI-anställningssystem för att förhindra diskriminering av färgade personer, som redan har drabbats oproportionerligt mycket av förluster av arbetstillfällen under pandemin.