Vi testade AI-intervjuverktyg. Här är vad vi hittade.

Efter mer än ett år av covid-19-pandemin söker miljontals människor efter arbete i USA. AI-driven intervjuprogramvara påstår sig hjälpa arbetsgivare att sålla igenom applikationer för att hitta de bästa personerna för jobbet. Företag som specialiserat sig på denna teknik rapporterade en ökning av verksamheten under pandemin.

Men när efterfrågan på dessa tekniker ökar, så gör det också frågor om deras noggrannhet och tillförlitlighet . I det senaste avsnittet av MIT Technology Reviews podcast In Machines We Trust testade vi mjukvara från två företag som specialiserat sig på AI-jobbintervjuer, MinIntervju och Underlig sak . Och vi hittade variationer i förutsägelser och jobbmatchningspoäng som väcker oro över exakt vad dessa algoritmer utvärderar.

Lära känna dig

MyInterview mäter egenskaper som beaktas i Big Five Personality Test, en psykometrisk utvärdering som ofta används i anställningsprocessen. Dessa egenskaper inkluderar öppenhet, samvetsgrannhet, extroversion, behaglighet och känslomässig stabilitet. Curious Thing mäter också personlighetsrelaterade egenskaper, men istället för Big Five utvärderas kandidater på andra mätvärden, som ödmjukhet och motståndskraft.

Den här skärmdumpen visar vår kandidats matchresultat och personlighetsanalys på MyInterview efter att ha svarat på alla intervjufrågor på tyska istället för engelska.

HELKE SCHELLMANN

Algoritmerna analyserar kandidaternas svar för att fastställa personlighetsdrag. MyInterview sammanställer också poäng som indikerar hur nära en kandidat matchar de egenskaper som identifierats av rekryteringschefer som idealiska för positionen.

För att slutföra våra tester konfigurerar vi först programvaran. Vi laddade upp en falsk platsannons för en kontorsadministratör/forskare på både MyInterview och Curious Thing. Sedan konstruerade vi vår ideala kandidat genom att välja personlighetsrelaterade egenskaper när systemet uppmanade det.

På MyInterview valde vi egenskaper som uppmärksamhet på detaljer och rangordnade dem efter betydelse. Vi valde också ut intervjufrågor, som visas på skärmen medan kandidaten spelar in videosvar. På Curious Thing valde vi egenskaper som ödmjukhet, anpassningsförmåga och motståndskraft.

En av oss, Hilke, sökte sedan tjänsten och genomförde intervjuer för rollen på både MyInterview och Curious Thing.

Vår kandidat genomförde en telefonintervju med Curious Thing. Hon gjorde först en vanlig anställningsintervju och fick 8,5 av 9 för engelska kompetens. I ett andra försök ställde den automatiska intervjuaren samma frågor och hon svarade på var och en genom att läsa Wikipedia-inlägget för psykometri på tyska.

Men Curious Thing gav henne 6 av 9 för engelska kompetens. Hon genomförde intervjun igen och fick samma poäng.

En skärmdump visar vår kandidats engelska kompetenspoäng i Curious Things programvara efter att hon svarat på alla frågor på tyska.

HELKE SCHELLMANN

Vår kandidat vände sig till MyInterview och upprepade experimentet. Hon läste samma Wikipedia-inlägg högt på tyska. Algoritmen gav inte bara en personlighetsbedömning, utan den förutspådde också att vår kandidat skulle matcha 73 % för det falska jobbet, vilket placerade henne i den övre halvan av alla sökande vi hade bett om att söka.

MyInterview ger rekryteringschefer en utskrift av sina intervjuer. När vi granskade vår kandidats utskrift fann vi att systemet tolkade hennes tyska ord som engelska ord. Men utskriften gav ingen mening. De första raderna, som motsvarar svaret ovan, lyder:

|_+_|

Felaktigt

Istället för att poängsätta vår kandidat på innehållet i hennes svar, drog algoritmen personlighetsdrag från hennes röst, säger Clayton Donnelly , en industri- och organisationspsykolog som arbetar med MyInterview.

Men intonation är inte en pålitlig indikator på personlighetsdrag, säger Fred Oswald , professor i industriell organisationspsykologi vid Rice University . Vi kan verkligen inte använda intonation som data för anställning, säger han. Det verkar helt enkelt inte rättvist eller tillförlitligt eller giltigt.

Att använda öppna frågor för att fastställa personlighetsdrag innebär också betydande utmaningar, även när – eller kanske särskilt när – den processen är automatiserad. Det är därför många personlighetstest, som Big Five, ger människor alternativ att välja mellan.

Summan av kardemumman är att det är svårt att ta bort personligheten i denna öppna mening, säger Oswald. Det finns möjligheter för AI eller algoritmer och hur frågorna ställs blir mer strukturerade och standardiserade. Men jag tror inte att vi nödvändigtvis är där när det gäller data, när det gäller designen som ger oss data.

Medgrundare och teknikchef för Curious Thing, Han Xu , svarade på våra resultat i ett e-postmeddelande och sa: Detta är första gången som vårt system testas på tyska, därför en extremt värdefull datapunkt för oss att undersöka och se om det avslöjar något i vårt system.

Bias paradoxen

Prestanda på AI-drivna intervjuer är ofta inte det enda mått som potentiella arbetsgivare använder för att utvärdera en kandidat. Och dessa system kan faktiskt minska partiskhet och hitta bättre kandidater än mänskliga intervjuare gör. Men många av dessa verktyg är inte oberoende testade, och företagen som byggde dem är ovilliga att dela med sig av detaljer om hur de fungerar, vilket gör det svårt för vare sig kandidater eller arbetsgivare att veta om algoritmerna är korrekta eller vilket inflytande de bör ha på anställningen beslut.

Mark Gray , som arbetar på en dansk fastighetsförvaltningsplattform som heter Rätt , började använda AI-videointervjuer under sin tidigare personalroll på elektronikföretaget Airtame . Han säger att han ursprungligen inkorporerade programvaran, producerad av ett tyskt företag som heter Retorik , till intervjuer för att hjälpa till att minska den mänskliga fördomen som ofta utvecklas när rekryteringschefer småpratar med kandidater.

Även om Gray inte baserar anställningsbeslut enbart på Retorios utvärdering, som också bygger på de fem stora egenskaperna, tar han hänsyn till det som en av många datapunkter när han väljer kandidater. Jag tror inte att det är en kul kula för att ta reda på hur man anställer rätt person, säger han.

Grays vanliga anställningsprocess inkluderar ett screeningsamtal och en Retorio-intervju, som han bjuder in de flesta kandidater att delta i oavsett vilket intryck de gjorde i screeningen. Framgångsrika kandidater kommer sedan att gå vidare till ett kompetenstest, följt av en liveintervju med andra medlemmar i teamet.

Relaterad berättelse

LinkedIns jobbmatchande AI var partisk. Företagets lösning? Mer AI.

ZipRecruiter, CareerBuilder, LinkedIn – de flesta av världens största jobbsökningssajter använder AI för att matcha människor med lediga jobb. Men algoritmerna fungerar inte alltid rättvist.

Med tiden, produkter som Retorio och Retorio självt – alla företag borde använda det eftersom det bara ger dig så mycket insikt, säger Gray. Även om det finns några frågetecken och kontroverser inom AI-sfären i allmänhet, tror jag att den större frågan är, är vi en bättre eller sämre karaktärsdomare?

Gray erkänner kritiken kring AI-intervjuverktyg. En undersökning publicerades i februari av Bavarian Public Broadcasting fann att Retorios algoritm bedömde kandidater annorlunda när de använde olika videobakgrunder och tillbehör, som glasögon, under intervjun.

Retorios medgrundare och verkställande direktör, Christopher Hohenberger , säger att även om han inte är medveten om detaljerna bakom journalisternas testmetoder, har företaget inte för avsikt att dess mjukvara ska vara den avgörande faktorn vid anställning av kandidater. Vi är ett hjälpmedel och det används i praktiken även tillsammans med människor på andra sidan. Det är inte ett automatiskt filter, säger han.

Ändå är insatserna så höga för arbetssökande som försöker navigera i dessa verktyg att det säkerligen krävs mer försiktighet. För de flesta handlar det trots allt inte bara om en ny utmaning eller miljö att säkra anställningen – att hitta ett jobb är avgörande för deras ekonomiska överlevnad.

Dölj