Deltagande-tvätt kan bli nästa farliga modefluga inom maskininlärning

Ms Tech | Getty, Unsplash

AI-gemenskapen håller äntligen på att vakna upp till det faktum att maskininlärning kan orsaka oproportionerlig skada för redan förtryckta och missgynnade grupper. Vi har aktivister och arrangörer att tacka för det. Nu letar maskinlärande forskare och forskare efter sätt att göra AI mer rättvist, ansvarsfullt och transparent – ​​men också, nyligen, mer deltagande.

Ett av de mest spännande och välbesökta evenemangen på Internationell konferens om maskininlärning i juli kallades Deltagande förhållningssätt till maskininlärning . Denna workshop utnyttjade samhällets strävan att bygga mer demokratiska, samarbetsvilliga och rättvisa algoritmiska system genom att införliva deltagande metoder i deras design. Sådana metoder tar med dem som interagerar med och påverkas av ett algoritmiskt system i designprocessen – till exempel att be sjuksköterskor och läkare att hjälpa till att utveckla en verktyg för att upptäcka sepsis .

Detta är ett välbehövligt ingripande inom området maskininlärning, som kan vara överdrivet hierarkiskt och homogent. Men det är ingen silverkula: i själva verket kan deltagande-tvättning bli fältets nästa farliga modefluga. Det är vad jag, tillsammans med mina medförfattare Emanuel Moss, Olaitan Awomolo och Laura Forlano, hävdar i vår senaste tidning Deltagande är inte en designfix för maskininlärning .

Att ignorera mönster av systemiskt förtryck och privilegier leder till oansvariga maskininlärningssystem som är djupt ogenomskinliga och orättvisa. Dessa mönster har genomsyrat fältet under de senaste 30 åren. Samtidigt har världen sett den exponentiella tillväxten av ojämlikhet i välstånd och fossilbränsledrivna klimatförändringar. Dessa problem har sina rötter i kapitalismens nyckeldynamik: utvinning. Även deltagande bygger ofta på samma extraktiva logik, särskilt när det kommer till maskininlärning.

Deltagande är inte gratis

Låt oss börja med denna observation: deltagande är redan en stor del av maskininlärning, men på problematiska sätt. Ett sätt är delaktighet som arbete.

Oavsett om deras arbete är erkänt eller inte, spelar många deltagare en viktig roll i att producera data som används för att träna och utvärdera maskininlärningsmodeller. Foton som någon tagit och lagt upp skrapas från webben, och låglönearbetare på plattformar som Amazon Mechanical Turk kommenterar dessa bilder för att göra dem till träningsdata. Vanliga webbplatsanvändare gör också denna kommentar när de slutför en reCAPTCHA. Och det finns många exempel på vad som kallas spökarbete —antropologen Mary Grays term för allt arbete bakom kulisserna som går ut på att få till synes automatiserade system att fungera. Mycket av detta deltagande kompenseras inte ordentligt, och i många fall är det knappt ens erkänt.

Deltagande som konsultation är samtidigt en trend som ses inom områden som stadsdesign, och i allt högre grad också inom maskininlärning. Men effektiviteten av detta tillvägagångssätt är begränsad. Det är i allmänhet kortlivat, utan planer på att etablera meningsfulla långsiktiga partnerskap. Oron för immateriella rättigheter gör det svårt att verkligen undersöka dessa verktyg. Som ett resultat är denna form av deltagande alltför ofta bara performativ.

Relaterad berättelse

Problemen med AI idag sträcker sig århundraden tillbaka i tiden Algoritmisk diskriminering och spökarbete dök inte upp av en slump. Att förstå deras långa, oroande historia är det första steget mot att fixa dem.

Mer lovande är tanken på deltagande som rättvisa . Här arbetar alla medlemmar i designprocessen tillsammans i tätt kopplade relationer med frekvent kommunikation. Deltagande som rättvisa är ett långsiktigt engagemang som fokuserar på att designa produkter som vägleds av människor från olika bakgrunder och samhällen, inklusive funktionshindergemenskapen, som länge har spelat en ledande roll här. Detta koncept har social och politisk betydelse, men kapitalistiska marknadsstrukturer gör det nästan omöjligt att genomföra väl.

Maskininlärning utökar teknikindustrins bredare prioriteringar, som fokuserar på skala och utvinning. Det betyder att deltagande maskininlärning för närvarande är en oxymoron. Som standard har de flesta maskininlärningssystem förmågan att övervaka, förtrycka och tvinga (inklusive i arbetsplats ). Dessa system har också sätt att tillverka samtycke – till exempel genom att kräva att användarna väljer att delta i övervakningssystem för att använda vissa tekniker, eller genom att implementera standardinställningar som avskräcker dem från att utöva sin rätt till privatliv.

Med tanke på det är det ingen överraskning att maskininlärning misslyckas med att ta hänsyn till befintlig kraftdynamik och tar en extraktiv strategi för samarbete. Om vi ​​inte är försiktiga kan deltagande maskininlärning följa AI-etikens väg och bli ännu en modefluga som används för att legitimera i rättvisa.

Ett bättre sätt

Hur kan vi undvika dessa faror? Det finns inget enkelt svar. Men här är fyra förslag:

Erkänn deltagande som arbete. Många människor använder redan maskininlärningssystem under sin vardag. Mycket av detta arbete underhåller och förbättrar dessa system och är därför värdefullt för systemens ägare. För att erkänna detta bör alla användare tillfrågas om samtycke och ges sätt att välja bort alla system. Om de väljer att delta ska de erbjudas ersättning. Att göra detta kan innebära att förtydliga när och hur data som genereras av en användares beteende kommer att användas för utbildningsändamål (till exempel via en banner i Google Maps eller en anmälan om opt-in). Det skulle också innebära att ge lämpligt stöd för innehållsmoderatorer , rättvist kompenserar spökarbetare och utvecklar monetära eller icke-monetära belöningssystem för att kompensera användare för deras data och arbete.

Gör deltagande kontextspecifikt . Istället för att försöka använda en helhetssyn, måste teknologer vara medvetna om de specifika sammanhang där de verkar. Till exempel när man designar en system för att förutsäga ungdoms- och gängvåld , bör teknologer kontinuerligt omvärdera de sätt på vilka de bygger på levd erfarenhet och domänexpertis och samarbeta med människorna de designar för. Detta är särskilt viktigt eftersom sammanhanget för ett projekt förändras över tiden. Att dokumentera även små förändringar i process och sammanhang kan utgöra en kunskapsbas för långsiktigt, effektivt deltagande. Bör till exempel endast läkare konsulteras vid utformningen av ett maskininlärningssystem för klinisk vård, eller ska även sjuksköterskor och patienter inkluderas? Att göra det tydligt varför och hur vissa samhällen var involverade gör sådana beslut och relationer transparenta, ansvarsfulla och handlingsbara.

Planera för långsiktigt deltagande från start. Människor är mer benägna att hålla sig engagerade i processer över tid om de kan dela och få kunskap, i motsats till att få den utvunnen från dem. Detta kan vara svårt att uppnå i maskininlärning, särskilt för proprietära designfall. Här är det värt att erkänna de spänningar som komplicerar långvarigt deltagande i maskininlärning, och inse att samarbete och rättvisa inte skalas på friktionsfria sätt. Dessa värden kräver ständigt underhåll och måste artikuleras om och om igen i nya sammanhang.

Lär dig av tidigare misstag. Mer skada kan göras genom att replikera de sätt att tänka som ursprungligen producerade skadlig teknik. Vi som forskare behöver stärka vår förmåga att tänka lateralt över applikationer och yrken. För att underlätta detta skulle maskininlärnings- och designgemenskapen kunna utveckla en sökbar databas för att belysa misslyckanden i designdeltagande (som t.ex. Sidewalk Labs projekt vid vattnet i Toronto ). Dessa misslyckanden skulle kunna korsreferens med socio-strukturella begrepp (som frågor som rör rasojämlikhet). Denna databas bör täcka designprojekt inom alla sektorer och domäner, inte bara inom maskininlärning, och uttryckligen erkänna frånvaro och extremvärden. Dessa kantfall är ofta de vi kan lära oss mest av.

Det är spännande att se maskinlärande community omfamna frågor om rättvisa och rättvisa. Men svaren bör inte baseras på enbart deltagande. Önskan om en silverkula har plågat tekniksamhället alltför länge. Det är dags att anamma komplexiteten som kommer med att utmana den extraktiva kapitalistiska logiken i maskininlärning.

Mona Sloane är sociolog baserad vid New York University. Hon arbetar med designojämlikhet i samband med AI-design och policy.

Dölj