Orolig för ditt företags AI-etik? Dessa startups är här för att hjälpa.

Getty

Rumman Chowdhurys jobb brukade involvera mycket översättning. Som ansvarig AI-ledare på konsultföretaget Accenture skulle hon arbeta med kunder som kämpar för att förstå sina AI-modeller. Hur visste de om modellerna gjorde vad de skulle? Förvirringen uppstod ofta delvis på grund av att företagets datavetare, advokater och chefer verkade tala olika språk. Hennes team skulle fungera som mellanhand så att alla parter kunde komma på samma sida. Det var minst sagt ineffektivt: att granska en enda modell kunde ta månader.

Så i slutet av 2020 lämnade Chowdhury sin tjänst för att starta ett eget företag. Kallad Paritet AI , erbjuder det kunderna en uppsättning verktyg som försöker krympa processen till några veckor. Det hjälper dem först att identifiera hur de vill granska sin modell – är det för partiskhet eller för att följa lagar? – och ger sedan rekommendationer för att ta itu med problemet.

Parity är bland en växande skörd av startups som lovar organisationer sätt att utveckla, övervaka och fixa sina AI-modeller. De erbjuder en rad produkter och tjänster från bias-mitigation-verktyg till förklaringsplattformar. Till en början kom de flesta av deras kunder från hårt reglerade branscher som finans och hälsovård. Men ökad forskning och mediauppmärksamhet på frågor om partiskhet , integritet och transparens har flyttat fokus för konversationen. Nya kunder är ofta helt enkelt oroliga för att ta ansvar, medan andra vill framtidssäkra sig i väntan på reglering.

Så många företag står verkligen inför detta för första gången, säger Chowdhury. Nästan alla av dem ber faktiskt om hjälp.

Från risk till påverkan

När man arbetar med nya kunder undviker Chowdhury att använda termen ansvar. Ordet är för squishy och dåligt definierat; det lämnar för mycket utrymme för felkommunikation. Hon börjar istället med ett mer bekant företagsspråk: idén om risk. Många företag har risk- och efterlevnadsarmar och etablerade processer för riskreducering.

AI riskreducering är inte annorlunda. Ett företag bör börja med att överväga de olika saker som det oroar sig för. Dessa kan innefatta juridisk risk, möjligheten att bryta mot lagen; organisatorisk risk, möjligheten att förlora anställda; eller ryktesrisk, möjligheten att drabbas av en PR-katastrof. Därifrån kan den arbeta baklänges för att bestämma hur den ska granska sina AI-system. Ett finansbolag, som verkar under rättvisa utlåningslagar i USA, skulle vilja kontrollera sina utlåningsmodeller för partiskhet för att mildra juridiska risker. Ett telehälsoföretag, vars system tränar på känslig medicinsk data, kan utföra sekretessrevisioner för att minska ryktesrisker.

Parity inkluderar ett bibliotek med föreslagna frågor för att hjälpa företag att utvärdera risken med sina AI-modeller.

PARITET

Paritet hjälper till att organisera denna process. Plattformen ber först ett företag att bygga en intern konsekvensbedömning – i huvudsak en uppsättning öppna enkätfrågor om hur dess verksamhet och AI-system fungerar. Den kan välja att skriva anpassade frågor eller välja dem från Paritys bibliotek, som har mer än 1 000 uppmaningar anpassade från AI-etiska riktlinjer och relevant lagstiftning från hela världen. När bedömningen väl är byggd uppmuntras anställda inom hela företaget att fylla i den utifrån sin arbetsfunktion och kunskap. Plattformen kör sedan deras fritextsvar genom en bearbetningsmodell på naturligt språk och översätter dem med ett öga mot företagets nyckelområden för risker. Paritet fungerar med andra ord som den nya mellanhanden för att få datavetare och jurister på samma sida.

Därefter rekommenderar plattformen en motsvarande uppsättning riskreducerande åtgärder. Dessa kan inkludera att skapa en instrumentpanel för att kontinuerligt övervaka en modells noggrannhet, eller implementera nya dokumentationsprocedurer för att spåra hur en modell tränades och finjusterades i varje steg av dess utveckling. Den erbjuder också en samling ramverk och verktyg med öppen källkod som kan hjälpa, som IBMs AI Fairness 360 för bias övervakning eller Googles modellkort för dokumentation.

Chowdhury hoppas att om företag kan minska tiden det tar att granska sina modeller, kommer de att bli mer disciplinerade när det gäller att göra det regelbundet och ofta. Med tiden hoppas hon att detta också kan öppna dem för att tänka bortom riskreducering. Mitt lömska mål är faktiskt att få fler företag att tänka på effekt och inte bara risk, säger hon. Risk är det språk som människor förstår idag, och det är ett mycket värdefullt språk, men risken är ofta reaktiv och lyhörd. Impact är mer proaktivt, och det är faktiskt det bättre sättet att rama in vad det är som vi borde göra.

Ett ansvarsekosystem

Medan Parity fokuserar på riskhantering, är en annan startup, Fifflare , fokuserar på förklarabarhet. VD Krishna Gade började fundera på behovet av mer transparens i hur AI-modeller fattar beslut samtidigt som han tjänstgjorde som ingenjörschef för Facebooks nyhetsflödesteam. Efter presidentvalet 2016 gjorde företaget en stor intern push för att bättre förstå hur dess algoritmer rankade innehåll. Gades team utvecklade ett internt verktyg som senare blev grunden för Varför ser jag detta? funktion .

Relaterad berättelse

Fem sätt att göra AI till en större kraft för det goda 2021 Det finns mer uppmärksamhet på AI:s inflytande än någonsin tidigare. Låt oss få det att räknas.

Gade lanserade Fiddler kort efter det, i oktober 2018. Det hjälper datavetenskapsteam att spåra sina modellers utvecklande prestanda och skapar rapporter på hög nivå för företagsledare baserat på resultaten. Om en modells noggrannhet försämras med tiden, eller om den visar partiska beteenden, hjälper Fiddler till att felsöka varför det kan hända. Gade ser övervakningsmodeller och förbättrad förklaring som de första stegen för att utveckla och distribuera AI mer avsiktligt.

Arthur , grundat 2019, och Vikter & fördomar , som grundades 2017, är ytterligare två företag som erbjuder övervakningsplattformar. Precis som Fiddler, betonar Arthur förklaringsbarhet och partiskhet, medan Weights & Biases spårar maskininlärningsexperiment för att förbättra forskningen reproducerbarhet . Alla tre företagen har observerat en gradvis förändring av företagens främsta angelägenheter, från laglig efterlevnad eller modellprestanda till etik och ansvar.

Den cyniska delen av mig var i början orolig för att vi skulle se kunder komma in och tro att de bara kunde markera en ruta genom att associera sitt varumärke med någon annan som utför ansvarsfull AI, säger Liz O'Sullivan, Arthurs VP för ansvarsfull AI, som fungerar också som teknikchef för Surveillance Technology Oversight Project, en aktivistorganisation. Men många av Arthurs kunder har försökt tänka bortom bara tekniska korrigeringar av deras förvaltningsstrukturer och tillvägagångssätt för inkluderande design. Det har varit så spännande att se att de verkligen satsar på att göra rätt, säger hon.

O’Sullivan och Chowdhury är också båda glada över att se fler startups som deras komma online. Det finns inte bara ett verktyg eller en sak som du behöver göra för att göra ansvarsfull AI, säger O'Sullivan. Chowdury håller med: Det kommer att bli ett ekosystem.

Dölj