211service.com
Vi är i en mångfaldskris: medgrundare av Black in AI om vad som förgiftar algoritmer i våra liv
Timnit Gebru ser sig omkring i AI-världen och ser nästan ingen som liknar henne. Det är ett problem för oss alla. 14 februari 2018
med tillstånd av timnit brug
Artificiell intelligens är en allt mer sömlös del av vår vardag, närvarande i allt från webbsökningar till sociala medier till hemassistenter som Alexa. Men vad gör vi om denna enormt viktiga teknik är oavsiktligt, men i grunden, partisk? Och vad gör vi om detta enormt viktiga område nästan inte innehåller några svarta forskare? Timnit Gebru tar sig an dessa frågor som en del av Microsofts Fairness, Accountability, Transparency, and Ethics in AI-grupp, som hon gick med i förra sommaren. Hon var också med och grundade Black in AI-evenemanget vid konferensen Neural Information Processing Systems (NIPS) 2017 och var med i styrgruppen för den första Fairness and Transparency-konferensen i februari. Hon pratade med MIT Technology Review om hur partiskhet kommer in i AI-system och hur mångfald kan motverka det.
Hur förvränger bristen på mångfald artificiell intelligens och specifikt datorseende?
Den här berättelsen var en del av vårt marsnummer 2018
- Se resten av frågan
- Prenumerera
Jag kan prata om detta i ett helt år. Det finns en partiskhet för vilken typ av problem vi tycker är viktiga, vilken typ av forskning vi tycker är viktig och vart vi tycker att AI ska ta vägen. Om vi inte har mångfald i vår uppsättning forskare, kommer vi inte att ta itu med problem som de flesta människor i världen står inför. När problem inte påverkar oss, tror vi inte att de är så viktiga, och vi kanske inte ens vet vad dessa problem är, eftersom vi inte interagerar med människorna som upplever dem.
När jag startade Black in AI började jag det med ett par av mina vänner. Jag hade en liten e-postlista innan dess där jag bokstavligen skulle lägga till vilken svart person jag såg i det här fältet i e-postlistan och säga 'Hej, jag heter Timnit. Jag är en svart person nummer två. Hej, svart person nummer ett. Låt oss vara vänner.'
Finns det sätt att motverka bias i system?
Anledningen till att mångfald är väldigt viktigt inom AI, inte bara i datamängder utan även i forskare, är att du behöver människor som bara har den här sociala känslan av hur saker och ting är. Vi befinner oss i en mångfaldskris för AI. Förutom att ha tekniska samtal, samtal om juridik, samtal om etik behöver vi ha samtal om mångfald inom AI. Vi behöver all sorts mångfald inom AI. Och detta måste behandlas som något som är extremt brådskande.
Ur teknisk synvinkel finns det många olika typer av tillvägagångssätt. En är att diversifiera din datamängd och att ha många olika kommentarer av din datamängd, som ras och kön och ålder. När du har tränat en modell kan du testa den och se hur bra den klarar sig av alla dessa olika undergrupper. Men även efter att du har gjort detta är du skyldig att ha någon form av fördom i din datamängd. Du kan inte ha en datauppsättning som perfekt samplar hela världen.
Något jag verkligen brinner för och jag jobbar på just nu är att ta reda på hur man kan uppmuntra företag att ge mer information till användare eller till och med forskare. De borde ha rekommenderat användning, vilka fallgroparna är, hur partisk datamängden är, etc. Så att när jag är en nystartad och jag bara tar din vanliga datamängd eller off-the-shelf-modell och införlivar det i vad jag än gör, jag har åtminstone lite kunskap om vilka typer av fallgropar det kan finnas. Just nu är vi på en plats nästan som vilda västern, där vi egentligen inte har många standarder [om] var vi lägger ut datamängder.
Och sedan finns det bara några saker som du förmodligen inte borde använda maskininlärning för just nu, och vi har inga tydliga riktlinjer för vad dessa saker är. Vi bör säga att om du ska använda maskininlärning för just den här uppgiften, bör noggrannheten för din modell vara minst X, och den bör vara rättvis i detta avseende. Vi har inga riktlinjer för det heller. AI har just nu börjat byggas in i mainstream, till en produkt överallt, så vi är vid ett stup där vi verkligen behöver någon form av konversation kring standardisering och användning.
MED TILLSTÅND AV TIMNIT ANVÄND
Vad har varit drivkraften bakom ditt arbete med Google Street View och annan demografisk forskning?
När vi startade det här projektet var det väldigt lite arbete som gjordes för att försöka analysera kultur med hjälp av bilder. Men vi vet att på nätet är det mesta av vår data i form av bilder. En av våra motiveringar var att visa att man kunde göra sociala analyser med hjälp av bilder.
Detta kan vara mycket användbart i fall där det är riktigt svårt att få undersökningsbaserad data. Det finns platser i världen där infrastrukturen inte finns där och resurserna inte finns för att skicka människor dörr till dörr och samla in [folkräkning] data, [men där] att ha en förståelse för de olika typer av befolkningar som bor i ditt land skulle vara till stor hjälp.
Men återigen, det är just detta som också fick mig att vilja studera rättvisa. För om jag ska fortsätta att göra det här arbetet måste jag verkligen ha en bättre förståelse för de potentiellt negativa följderna. Vilka är konsekvenserna för övervakning? Dessutom, vilka är konsekvenserna för en datauppsättningsbias? I alla typer av datautvinningsprojekt kommer du att ha en partiskhet. Så mitt arbete där var verkligen det som ledde till att jag ville tillbringa lite tid i rättvisegemenskapen för att förstå var fallgroparna kunde finnas.
Vilka frågor hoppas du kunna ta upp med denna första konferens om rättvisa och öppenhet?
Detta är verkligen den första konferensen som tar upp frågorna om rättvisa, ansvarighet, etik och transparens inom AI. Det har hållits workshops på andra konferenser, och mestadels har det hållits workshops på antingen naturligt-språk-bearbetningsbaserade konferenser eller maskininlärningsbaserade konferenser. Det är verkligen viktigt att ha den fristående konferensen eftersom den måste bearbetas av människor från många discipliner som pratar med varandra.
Maskinlärande människor kan inte på egen hand lösa detta problem. Det finns frågor om öppenhet; det finns frågor om hur lagarna ska uppdateras. Om du ska prata om partiskhet i hälso- och sjukvården, vill du prata med [vårdpersonal] om var de potentiella fördomarna kan finnas, och sedan kan du fundera på hur man har en maskininlärningsbaserad lösning.
Vad har du för erfarenhet av att arbeta inom AI?
Det är inte lätt. Jag älskar mitt jobb. Jag älskar den forskning jag jobbar med. Jag älskar fältet. Jag kan inte föreställa mig vad jag annars skulle göra i det avseendet. Som sagt, det är väldigt svårt att vara en svart kvinna på det här området. När jag startade Black in AI började jag det med ett par av mina vänner. Jag hade en liten e-postlista innan dess där jag bokstavligen skulle lägga till vilken svart person jag såg i det här fältet i e-postlistan och säga, Hej, jag heter Timnit. Jag är en svart person nummer två. Hej, svart person nummer ett. Låt oss vara vänner.
Det som egentligen bara fick det att accelerera var [2016] när jag gick till NIPS och någon sa att det var uppskattningsvis 8 500 personer. Jag räknade sex svarta personer. Jag fick bokstavligen panik. Det är det enda sättet jag kan beskriva hur jag kände. Jag såg att detta fält växte exponentiellt och träffade mainstream; det påverkar alla delar av samhället. Samtidigt såg jag också mycket retorik om mångfald och hur många företag tycker att det är viktigt.
Och jag såg en obalans mellan retorik och handling. För sex svarta personer av 8 500 – det är en löjlig siffra, eller hur? Det är nästan noll procent. Jag tänkte, vi måste göra något nu. Jag vill ge en uppmaning till handling till människor som anser att mångfald är viktigt. För det är en nödsituation, och vi måste göra något åt det nu.