211service.com
Hur man bekämpar hat online
Dataforskaren Jennifer Chayes tror att vi kan använda beräkningsverktyg för att utrota dåligt beteende online.
27 oktober 2021
Christie Där Klok
Under sin tid på Microsoft och i akademin har Jennifer Chayes kämpat för att använda datavetenskap och datorer för att göra artificiell intelligens mer rättvis och mindre partisk.
Från att hoppa av skolan vid 15 års ålder till att bli en doyen inom datavetenskap vid University of California, Berkeley, har Chayes haft en ganska bra karriär. Hon började på UCLA 1987 som en anställd professor i matematik. Tio år senare lockade Microsoft henne att vara med och grunda sin tvärvetenskapliga forskningsteorigrupp.
Den här historien var en del av vårt novembernummer 2021
- Se resten av frågan
- Prenumerera
Det var i hennes Microsoft-labb i New York City som forskare upptäckte partiskhet i företagets ansiktsigenkänningsprogram, vilket visade att systemet klassificerade vita ansikten mer exakt än bruna och svarta ansikten. Detta fynd fick företaget att tacka nej till ett lukrativt kontrakt med en polisavdelning och börja arbeta för att ta bort partiskheten från sådana algoritmer. De FATE (Fairness, Accountability, Transparency and Ethics in AI) grupp skapades på labbet.
Anil Ananthaswamy frågade Chayes, nu biträdande provost vid Division of Computing, Data Science, and Society och dekanus för School of Information i Berkeley, hur datavetenskap förändrar datoranvändning och andra områden.
F: Hur var det att gå från akademi till industri?
A: Det var en chock. Forskningschefen på Microsoft, Dan Ling, ringde mig för att försöka övertyga mig om att gå på en intervju. Jag pratade med honom i cirka 40 minuter. Och jag sa till slut: Vill du verkligen veta vad som stör mig? Microsoft är ett gäng tonårspojkar, och jag vill inte spendera mitt liv med ett gäng tonårspojkar.
F: Hur reagerade han på det?
A: Han sa, Åh, nej, det är vi inte. Kom och träffa oss. Jag träffade några otroliga kvinnor där när jag besökte, och jag träffade fenomenalt fördomsfria människor som ville prova saker för att förändra världen.
F: Hur har datavetenskap förändrat datoranvändning?
TILL: När vi har fått mer data har datavetenskapen börjat vända sig utåt. Jag tänker på datavetenskap som ett äktenskap mellan datorer, statistik, etik och en domänbetoning eller en disciplinär betoning, vare sig det är biomedicin och hälsa, klimat och hållbarhet, eller mänsklig välfärd och social rättvisa, och så vidare. Det förvandlar datoranvändning.
F: Finns det någon skillnad i hur dataforskare löser problem?
S: Med tillkomsten av all denna data har vi möjlighet att lära av data utan att ha en teori om varför något händer. Speciellt i denna tid av maskininlärning och djupinlärning gör det oss möjligt att dra slutsatser och göra förutsägelser utan en underliggande teori.
F: Kan det orsaka problem?
TILL: Vissa anser att det är ett problem i fall där du har [till exempel] biomedicinsk data. Data förutsäger mycket exakt vad som kommer att fungera och vad som inte kommer att fungera, utan en underliggande biologisk mekanism.
F: Några fördelar?
TILL: Vad data har gjort det möjligt för oss nu, i många fall, är att köra vad en ekonom skulle kalla en kontrafaktisk, där man faktiskt ser slumpmässig variation i data som gör att man kan dra slutsatser utan att göra experimenten. Det är otroligt användbart.
Vill jag verkligen testa olika utbildningar på olika populationer? Eller vill jag se [att] det fanns slumpmässig variation vid något tillfälle som gör att jag kan dra en riktigt bra kausal slutledning, och därför kan jag basera politiken på det?
F: Ser du ett problem med hur data används, särskilt av stora företag?
S: Det finns otaliga problem. Det används inte bara av tekniska företag. Det används av försäkringsbolag. Det används av statliga plattformar, folkhälsoplattformar och utbildningsplattformar. Om du inte uttryckligen förstår vilka fördomar som kan smyga sig på, både i själva datamängderna och i algoritmerna, kommer du sannolikt att förvärra fördomar.
Dessa fördomar smyger sig in [när] det inte finns mycket data. Och det kan också vara korrelerat med andra faktorer. Jag arbetade personligen med att tolka bios och CV automatiskt. Vi får inte använda kön eller ras. Även om jag inte tittar på [dessa] skyddade attribut, finns det många saker [i data] som är proxy för kön eller ras. Om du har gått i vissa skolor, om du växte upp i vissa stadsdelar, om du ägnade dig åt vissa sporter och du hade vissa aktiviteter, är de korrelerade [med kön eller ras].
F: Får algoritmer upp dessa proxyservrar?
TILL: De förvärrar det. Du måste uttryckligen förstå detta, och du måste uttryckligen förhindra det genom att skriva algoritmen.
F: Hur kan vi ta itu med sådana frågor?
TILL: Det finns hela detta område av FATE: rättvisa, ansvarsskyldighet, transparens och etik i AI, vilket är designen av dessa algoritmer och förståelse för vad de är. Men det finns så mycket mer som vi behöver göra.
F: Och datavetenskap hjälper?
S: Detta är absolut datavetenskap. Det finns en del av nätet som kallas manosfären, där mycket hat har sitt ursprung. Det är lite svårt att spåra. Men om du använder naturligt språkbehandling och andra verktyg kan du se var det kommer ifrån. Du kan också försöka bygga gränssnitt som tillåter opinionsbildningsgrupper och andra att hitta detta och hjälpa till att utrota det. Detta går utöver att bara vara rättvis. Detta vänder på tabellen för hur dessa plattformar har tillskansat sig för att öka partiskhet och hat och säga: Vi kommer att använda kraften hos datorer och datavetenskap för att identifiera och mildra hat.