Förespråkare för funktionshinders rättigheter är oroliga för diskriminering i AI-anställningsverktyg

Ms Tech | Getty

Din förmåga att få ditt nästa jobb kan bero på hur bra du spelar ett av de AI-drivna spelen som företag gillar AstraZeneca och Postkamrater använder allt oftare i anställningsprocessen.

Vissa företag som skapar dessa spel, som Pymetrics och Arctic Shores, hävdar att de begränsar partiskhet vid anställning. Men AI-anställningsspel kan vara särskilt svåra att navigera för arbetssökande med funktionshinder.

I det senaste avsnittet av MIT Technology Reviews podcast In Machines We Trust utforskar vi hur AI-drivna anställningsspel och andra verktyg kan utesluta personer med funktionshinder. Och medan många människor i USA ser till den federala kommissionen som ansvarar för diskriminering på arbetsmarknaden för att reglera dessa tekniker, har byrån ännu inte agerat.

För att få en närmare titt frågade vi Henry Claypool , en handikapppolitisk analytiker, att spela en av Pymetri s spel. Pymetrics mäter nio färdigheter, inklusive uppmärksamhet, generositet och risktolerans, som vd och medgrundare Frida Polly säger relatera till jobbframgång.

När det arbetar med ett företag som vill anställa nya människor, ber Pymetrics först företaget att identifiera personer som redan lyckas med jobbet det försöker fylla och låter dem spela sina spel. Sedan, för att identifiera de färdigheter som är mest specifika för de framgångsrika anställda, jämför den deras speldata med data från ett slumpmässigt urval av spelare.

När han loggade på fick spelet Claypool att välja mellan en modifierad version – designad för personer med färgblindhet, ADHD eller dyslexi – och en omodifierad version. Den här frågan ställer till ett dilemma för sökande med funktionsnedsättning, säger han.

Rädslan är att om jag klickar på en av dessa kommer jag att avslöja något som diskvalificerar mig för jobbet, och om jag inte klickar på – säg – dyslexi eller vad det nu är som gör det svårt för mig att läsa brev och bearbeta den informationen snabbt, då kommer jag att vara i underläge, säger Claypool. Jag kommer att misslyckas i båda fallen.

Relaterad berättelse

Vi testade AI-intervjuverktyg. Här är vad vi hittade.

En gav vår kandidat ett högt betyg för engelska kunskaper när hon bara talade tyska.

Polli säger att Pymetrics inte berättar för arbetsgivarna vilka sökande som begärde boende i spelet under anställningsprocessen, vilket borde bidra till att förhindra arbetsgivare från att diskriminera personer med vissa funktionshinder. Hon tillade att som svar på vår rapportering kommer företaget att göra denna information mer tydlig så att sökande vet att deras behov av ett boende i spelet är privat och konfidentiellt.

Americans with Disabilities Act kräver att arbetsgivare tillhandahåller rimliga anpassningar till personer med funktionshinder. Och om ett företags anställningsbedömningar utesluter personer med funktionsnedsättning, måste det bevisa att dessa bedömningar är nödvändiga för jobbet.

För arbetsgivare, att använda spel som de som produceras av Arctic Shores kan tyckas mer objektiv. Till skillnad från traditionella psykometriska tester utvärderar Arctic Shores algoritm kandidater utifrån deras val under spelets gång. Men kandidater vet ofta inte vad spelet mäter eller vad de kan förvänta sig när de spelar. För sökande med funktionsnedsättning gör detta det svårt att veta om de ska be om ett boende.

Safe Hammad, CTO och medgrundare av Arctic Shores, säger att hans team är fokuserat på att göra sina bedömningar tillgängliga för så många människor som möjligt. Personer med färgblindhet och hörselnedsättning kan använda företagets mjukvara utan särskilda anpassningar, säger han, men arbetsgivare bör inte använda sådana förfrågningar för att sålla bort kandidater.

Användningen av dessa verktyg kan ibland utesluta människor på sätt som kanske inte är uppenbara för en potentiell arbetsgivare. patty sanchez är sysselsättningsspecialist på MacDonald Training Center i Florida som arbetar med arbetssökande som är döva eller hörselskada. För cirka två år sedan sökte en av hennes kunder jobb på Amazon som krävde en videointervju igenom HireVue .

Sanchez, som också är döv, försökte ringa och begära hjälp från företaget, men kunde inte ta sig igenom. Istället tog hon med sig sin klient och en teckenspråkstolk till anställningsplatsen och övertalade representanter där att intervjua honom personligen. Amazon anlitade sin klient, men Sanchez säger att problem som dessa är vanliga när man navigerar i automatiserade system. (Amazon svarade inte på en begäran om kommentar.)

Att göra anställningsteknik tillgänglig innebär att säkerställa både att en kandidat kan använda tekniken och att de färdigheter den mäter inte orättvist utesluter kandidater med funktionsnedsättning, säger Alexandra Givens , VD för Centrum för demokrati och teknik , en organisation fokuserad på medborgerliga rättigheter i den digitala tidsåldern.

AI-drivna anställningsverktyg misslyckas ofta med att inkludera personer med funktionshinder när de genererar deras utbildningsdata, säger hon. Sådana människor har länge varit utestängda från arbetsstyrkan, så algoritmer som är modellerade efter ett företags tidigare anställningar kommer inte att spegla deras potential.

Även om modellerna skulle kunna ta hänsyn till extremvärden, varierar hur ett funktionshinder uppträder mycket från person till person. Två personer med autism kan till exempel ha väldigt olika styrkor och utmaningar.

När vi automatiserar dessa system, och arbetsgivare strävar efter det som är snabbast och mest effektivt, förlorar de chansen för människor att faktiskt visa sina kvalifikationer och sin förmåga att göra jobbet, säger Givens. Och det är en stor förlust.

Ett hands-off tillvägagångssätt

Statliga tillsynsmyndigheter har svårt att övervaka AI-anställningsverktyg. I december 2020 skrev 11 senatorer ett brev till US Equal Employment Opportunity Commission uttrycker oro över användningen av anställningsteknik efter covid-19-pandemin. Brevet frågade om myndighetens befogenhet att undersöka om dessa verktyg diskriminerar, särskilt mot personer med funktionsnedsättning.

EEOC svarade med ett brev i januari som läcktes till MIT Technology Review . I brevet angav kommissionen att den inte kan undersöka verktyg för AI-uthyrning utan ett specifikt påstående om diskriminering. Brevet beskrev också oro över branschens tveksamhet att dela data och sade att variation mellan olika företags programvara skulle hindra EEOC från att införa några breda policyer.

Jag blev förvånad och besviken när jag såg responsen, säger Roland Behm , en advokat och förespråkare för människor med beteendemässiga hälsoproblem. Hela innehållet i det brevet verkade få EEOC att framstå som mer av en passiv åskådare snarare än en tillsynsmyndighet.

Byrån startar vanligtvis en utredning när en individ lämnar in ett krav om diskriminering. Med AI-anställningsteknik vet dock de flesta kandidater inte varför de avvisades för jobbet. Jag tror att en anledning till att vi inte har sett fler verkställighetsåtgärder eller privata rättstvister på det här området beror på det faktum att kandidater inte vet att de bedöms eller bedöms av en dator, säger Keith Nerd , en EEOC-kommissionär.

Sonderling säger att han tror att artificiell intelligens kommer att förbättra anställningsprocessen, och han hoppas att byrån kommer att ge ut vägledning för arbetsgivare om hur man bäst implementerar den. Han säger att han välkomnar tillsyn från kongressen.

Relaterad berättelse

Revisorer testar anställningsalgoritmer för partiskhet, men det finns ingen enkel lösning

AI-revisioner kan förbise vissa typer av partiskhet, och de verifierar inte nödvändigtvis att ett anställningsverktyg väljer ut de bästa kandidaterna för ett jobb.

Dock, Aaron Rieke , verkställande direktör för Uppgång , en ideell organisation dedikerad till medborgerliga rättigheter och teknik, uttryckte besvikelse över EEOC:s svar: Jag hoppas faktiskt att EEOC under de kommande åren kan vara lite mer aggressiva och kreativa när det gäller att tänka på hur man använder den auktoriteten.

Pauline Kim , juridikprofessor vid Washington University i St. Louis , vars forskning fokuserar på algoritmiska anställningsverktyg, säger att EEOC skulle kunna vara mer proaktiv i att samla in forskning och uppdatera riktlinjer för att hjälpa arbetsgivare och AI-företag att följa lagen.

Behm tillägger att EEOC skulle kunna sträva efter andra vägar för verkställighet, inklusive en kommissionärsavgift, vilket gör det möjligt för kommissionärer att inleda en utredning om misstänkt diskriminering istället för att kräva ett individuellt anspråk (Sonderling säger att han överväger att göra en sådan anklagelse). Han föreslår också att EEOC samråder med opinionsbildningsgrupper för att utveckla riktlinjer för AI-företag som hoppas kunna representera personer med funktionshinder bättre i sina algoritmiska modeller.

Det är osannolikt att AI-företag och arbetsgivare silar bort personer med funktionshinder med flit, säger Behm. Men de har inte spenderat den tid och den ansträngning som krävs för att förstå de system som gör vad som för många människor är livsavgörande beslut: Kommer jag att bli anställd eller inte? Kan jag försörja min familj eller inte?

Dölj