Kan du göra en AI som inte är kapabel?

Doug Maloney/Unsplash

Artificiell intelligens har ett välkänt biasproblem, särskilt när det kommer till ras och kön. Du kanske har sett några av rubrikerna: ansiktsigenkänningssystem som misslyckas med att känna igen svarta kvinnor , eller automatiserade rekryteringsverktyg som förbigå kvinnliga kandidater .

Men medan forskare har försökt att ta itu med några av de mest allvarliga frågorna, finns det en grupp människor som de har förbisett: de med funktionshinder. Ta självkörande bilar. Deras algoritmer är beroende av träningsdata för att lära sig hur fotgängare ser ut så att fordonen inte kör över dem. Om träningsdatan inte inkluderar personer i rullstol kan tekniken sätta dessa människor i livsfara.

För Shari Trewin, en forskare i IBM:s ledarskap för tillgänglighet, är detta oacceptabelt. Som en del av en nytt initiativ , hon är nu utforskar nya designprocesser och tekniska metoder för att mildra maskinförspänning mot personer med funktionsnedsättning. Hon pratade med oss ​​om några av utmaningarna – såväl som några möjliga lösningar.

Följande har redigerats för längd och tydlighet.

Varför är rättvisa mot personer med funktionshinder ett annat problem än rättvisa när det gäller andra skyddade egenskaper som ras och kön?

Handikappstatus är mycket mer mångsidig och komplex på det sätt som den påverkar människor. Många system kommer att modellera ras eller kön som en enkel variabel med ett litet antal möjliga värden. Men när det kommer till funktionshinder finns det så många olika former och olika svårighetsgrader. Vissa av dem är permanenta, andra är tillfälliga. Vilken som helst av oss kan gå med i eller lämna denna kategori när som helst i livet. Det är en dynamisk sak.

Ungefär en av fem personer i USA har för närvarande ett funktionshinder av något slag. Så det är väldigt vanligt men svårt att fästa i en enkel variabel med ett litet antal möjliga värden. Det kan finnas ett system som diskriminerar blinda men inte döva. Så att testa för rättvisa blir mycket svårare.

Information om funktionshinder är också mycket känslig. Människor är mycket mer ovilliga att avslöja det än information om kön, ålder eller ras, och i vissa situationer är det till och med olagligt att be om denna information. Så många gånger i informationen är det mycket mindre sannolikt att du vet något om funktionshinder som en person kan ha eller inte kan ha. Det gör det också mycket svårare att veta om du har ett rättvist system.

Jag ville fråga dig om det. Som människor bestämde vi oss för att det bästa sättet att undvika diskriminering av funktionshinder är att inte avslöja funktionshinderstatus. Varför skulle det inte gälla för maskininlärningssystem?

Shari Trewin, forskare på IBM:s tillgänglighetsledarteam med tillstånd av IBM

Ja, det är det första folk tänker på: om systemet inte vet något om individers funktionshindersstatus kommer det säkert att vara rättvist. Men problemet är att funktionsnedsättningen ofta påverkar andra bitar av information som matas in i modellen. Säg till exempel att jag är en person som använder en skärmläsare för att komma åt webben och att jag gör ett onlinetest för en jobbansökan. Om det testprogrammet inte är väldesignat och tillgängligt för min skärmläsare, kommer det att ta mig längre tid att navigera runt på sidan innan jag kan svara på frågan. Om den tiden inte tas med i beräkningen när jag bedömer mig, så är alla som använder samma verktyg med liknande funktionshinder i ett systematiskt underläge – även om systemet inte vet att jag är blind.

Så om det finns så många olika nyanser av funktionshinder, är det faktiskt möjligt att uppnå rättvisa?

Jag tror att den mer allmänna utmaningen för AI-communityt är hur man hanterar extremvärden, eftersom maskininlärningssystem – de lär sig normer, eller hur? De optimerar för normer och behandlar inte extremvärden på något speciellt sätt. Men ofta passar människor med funktionsnedsättning inte normen. Sättet som maskininlärning bedömer människor efter vem den tror att de liknar – även när den kanske aldrig har sett någon som liknar dig – är en grundläggande begränsning när det gäller rättvis behandling av personer med funktionshinder.

Det som skulle fungera mycket bättre skulle vara en metod som kombinerar maskininlärning med någon ytterligare lösning, som logiska regler som är implementerade i ett lager ovanför. Det finns också vissa situationer där mer uppmärksamhet på att samla in en mer varierad datauppsättning definitivt skulle hjälpa. Vissa människor experimenterar med tekniker där man tar ut kärnan i datan och försöker träna för extremvärdena. Andra experimenterar med olika inlärningstekniker som kan optimera bättre för extremvärden snarare än normen.

Jag tror att det är först när man börjar tänka på funktionsnedsättning som man börjar tänka på individernas mångfald och vikten av extremiteter. Om du inte har tillräckligt med könsmångfald i din datauppsättning kan du fixa det. Det är inte så lätt att fixa handikappmångfald.

Hur kommer du över problemet med att människor är privata om sin funktionsnedsättning?

Ja, för att testa ett system för rättvisa, behöver du lite data. Och personer med funktionshinder som tillhandahåller dessa uppgifter är ett socialt nytta, men det är en personlig risk. Personer med funktionshinder är ofta lätta att identifiera även i anonyma uppgifter, bara för att de är så unika. Så hur kan vi mildra det? Vi håller fortfarande på att reda ut det.

Vad är din största oro angående detta problem?

Ofta optimerar AI-system något som inte är välbefinnandet för de människor som påverkas av besluten. Den effekten måste ha mycket mer framträdande plats i designprocessen, så att vi inte bara introducerar ett system som tittar på hur mycket pengar vi sparar eller hur effektivt vi bearbetar människor. Vi behöver nya sätt att mäta system som inkluderar aspekten av påverkan på slutanvändarna, särskilt om det är en missgynnad grupp.

Hur skulle vi göra det?

Att testa för rättvisa är ett sätt att mäta den effekten. Att inkludera den missgynnade gruppen i designprocessen och höra deras oro är en annan. Till och med uttryckligen inkludera något mätvärde för intressenternas tillfredsställelse som du kan mäta genom intervjuer eller undersökningar – sånt.

Vad är du entusiastisk över inom det här forskningsområdet?

AI-teknik förändrar redan världen för personer med funktionshinder genom att ge dem nya funktioner, som applikationer som berättar vad som finns i ditt synfält när du riktar din telefon.

Jag tror att om vi gör det rätt, finns det en verklig möjlighet för AI-system att förbättras på tidigare system som endast är avsedda för människor. Det finns mycket diskriminering och partiskhet och missförstånd av personer med funktionsnedsättning i samhället idag. Om vi ​​kan hitta ett sätt att producera AI-system som eliminerar den typen av partiskhet, då kan vi börja förändra behandlingen av personer med funktionsnedsättning och minska diskrimineringen.

Dölj