AI-forskare säger att vetenskapliga utgivare hjälper till att föreviga rasistiska algoritmer

Kategori: Artificiell intelligens Postad 23 juni

Nyheterna: En öppet brev från en växande koalition av AI-forskare ropar ut den vetenskapliga utgivaren Springer Nature för en konferensartikel som den enligt uppgift planerade att inkludera i sin kommande bok Transaktioner på Computational Science & Computational Intelligence . Uppsatsen, med titeln A Deep Neural Network Model to Predict Criminality Using Image Processing, presenterar ett ansiktsigenkänningssystem som påstås kunna förutsäga om någon är kriminell, enligt original pressmeddelande . Den utvecklades av forskare vid Harrisburg University och skulle presenteras vid en kommande konferens.

Kraven: Citerar arbetet med att leda Black AI lärda , avfärdar brevet den vetenskapliga grunden för tidningen och hävdar att teknik för förutsägelse av brott är rasistisk. Den listar också tre krav: 1) för Springer Nature att dra tillbaka sitt erbjudande att publicera studien; 2) att den utfärdar ett uttalande som fördömer användningen av statistiska tekniker såsom maskininlärning för att förutsäga kriminalitet och erkänner dess roll i att stimulera sådan forskning; och 3) för alla vetenskapliga förlag att förbinda sig att inte publicera liknande artiklar i framtiden. Brevet, som skickades till Springer Nature i måndags, skrevs ursprungligen av fem forskare vid MIT, Rensselaer Polytechnic Institute, McGill University och AI Now Institute. På några dagar fick det mer än 600 signaturer och räknas i AI-etik och akademiska gemenskaper, inklusive från ledande personer som Meredith Whittaker, medgrundare av AI Now Institute, och Ethan Zuckerman, tidigare chef för Center for Civic Media på MIT Media Lab.

Varför det är viktigt: Medan brevet belyser ett specifikt dokument, är författarnas mål att visa ett systematiskt problem med hur vetenskaplig publicering uppmuntrar forskare att vidmakthålla oetiska normer. Det är därför vi fortsätter att se rasvetenskap växa fram gång på gång, sa Chelsea Barabas, doktorand vid MIT och en av brevets medförfattare. Det är för att förlagen publicerar det. Den verkliga betydelsen av detta Springer-verk är att det inte är unikt alls, upprepade Theodora Dryer, en postdoktor vid AI Now och en annan medförfattare. Det är symboliskt för ett problem och en kritik som har pågått så, så länge.

Springers svar: Som svar på brevet sa Springer att det inte skulle publicera tidningen. Den tidning du hänvisar till skickades till en kommande konferens för vilken Springer hade planerat att publicera förfarandet, stod det. Efter en grundlig peer review-process avvisades uppsatsen. Harrisburg University också tog ner sitt pressmeddelande , som säger att fakulteten uppdaterar uppsatsen för att ta itu med de uppkomna farhågorna. Harrisburg University och en medförfattare till tidningen nekade en begäran om kommentarer samt en begäran om en kopia av originalet. Brevets undertecknare sa att de kommer att fortsätta att driva på för att deras andra och tredje krav ska uppfyllas.

Den större bilden: Sedan George Floyds död utlöste en internationell rörelse för rasrättvisa, har AI-fältet och teknikindustrin i stort stått inför en uträkning om vilken roll de har spelat för att förstärka strukturell rasism. Under veckan den 8 juni, till exempel, tillkännagav IBM, Microsoft och Amazon alla att deras ansiktsigenkänningsprodukter upphör eller delvis avbröts. Flytten var en kulmen på två år av opinionsbildning från forskare och aktivister för att visa en koppling mellan dessa teknologier och överpolisieringen av minoritetsgrupper. Det öppna brevet är den senaste utvecklingen i denna rörelse mot större etisk ansvarsskyldighet inom AI.

Vi ville verkligen bidra till denna växande rörelse, sa Sonja Solomun, forskningschef för Center for Media, Technology, and Democracy vid McGill University. Särskilt när vi tittar utanför våra fönster och ser vad som händer just nu i USA och globalt, är insatserna bara så höga.

Uppdatering: Efter publicering utfärdade Springer Nature ett uttalande som klargjorde att 'tidningen inte vid något tillfälle accepterades för publicering... Serieredaktörens beslut att avvisa den slutliga tidningen togs tisdagen den 16 juni och meddelades officiellt till författarna måndagen den 22:a juni.'