Varför be en AI att förklara sig själv kan göra saker värre

Frogger ska prata MS Tech / Getty

Upol Ehsan tog en gång en provtur i en Uber självkörande bil. Istället för att oroa sig över det tomma förarsätet uppmuntrades oroliga passagerare att titta på en nappskärm som visade vägen från en bils öga: faror utvalda i orange och rött, säkra zoner i kallt blått.

För Ehsan , som studerar hur människor interagerar med AI vid Georgia Institute of Technology i Atlanta, var det avsedda budskapet tydligt: ​​Bli inte förbannad – det är därför bilen gör vad den gör. Men något med den utomjordiska gatubilden lyfte fram det konstiga i upplevelsen snarare än lugnade. Det fick Ehsan att tänka: tänk om den självkörande bilen verkligen kunde förklara sig själv?

Framgången med djupinlärning beror på mixtrande: de bästa neurala nätverken justeras och anpassas för att göra bättre, och praktiska resultat har överträffat teoretisk förståelse. Som ett resultat är detaljerna om hur en tränad modell fungerar vanligtvis okända. Vi har kommit att tänka på dem som svarta lådor.

Oftast är vi okej med det när det kommer till saker som att spela Go eller översätta text eller välja nästa Netflix-program att bli sugen på. Men om AI ska användas för att hjälpa till att fatta beslut inom brottsbekämpning, medicinsk diagnos och förarlösa bilar, måste vi förstå hur den når dessa beslut – och veta när de har fel.

Människor behöver makten att inte hålla med eller förkasta ett automatiserat beslut, säger Iris Howley , en datavetare vid Williams College i Williamstown, Massachusetts. Utan detta kommer människor att trycka tillbaka mot tekniken. Du kan se detta spela ut just nu med allmänhetens svar på ansiktsigenkänningssystem, säger hon.

Ehsan är en del av en liten men växande grupp forskare som försöker göra AI:er bättre på att förklara sig själva, för att hjälpa oss att titta in i den svarta lådan. Syftet med så kallad tolkningsbar eller förklarabar AI (XAI) är att hjälpa människor att förstå vilka funktioner i data som ett neuralt nätverk faktiskt lär sig – och därmed om den resulterande modellen är korrekt och opartisk.

En lösning är att bygga maskininlärningssystem som visar hur de fungerar: så kallad glassbox-i motsats till black-box-AI. Glassbox-modeller är vanligtvis mycket förenklade versioner av ett neuralt nätverk där det är lättare att spåra hur olika databitar påverkar modellen.

Det finns människor i samhället som förespråkar användningen av glassbox-modeller i alla miljöer med hög insats, säger Jennifer Wortman Vaughan , en datavetare på Microsoft Research. Jag håller i stort sett med. Enkla glassbox-modeller kan prestera lika bra som mer komplicerade neurala nätverk på vissa typer av strukturerad data, såsom statistiktabeller. För vissa applikationer är det allt du behöver.

Men det beror på domänen. Om vi ​​vill lära av rörig data som bilder eller text har vi fastnat i djupa – och därmed ogenomskinliga – neurala nätverk. Förmågan hos dessa nätverk att skapa meningsfulla kopplingar mellan ett stort antal olika funktioner är förknippad med deras komplexitet.

Även här kan glassbox maskininlärning hjälpa. En lösning är att ta två pass på data, träna en ofullständig glassbox-modell som ett felsökningssteg för att avslöja potentiella fel som du kanske vill rätta till. När data har rensats kan en mer exakt black-box-modell tränas.

Det är dock en knepig balans. För mycket transparens kan leda till överbelastning av information. I en 2018 stud Y tittade på hur icke-experta användare interagerar med verktyg för maskininlärning, fann Vaughan att transparenta modeller faktiskt kan göra det svårare att upptäcka och korrigera modellens misstag.

Ett annat tillvägagångssätt är att inkludera visualiseringar som visar några nyckelegenskaper hos modellen och dess underliggande data. Tanken är att du kan se allvarliga problem med ett ögonkast. Till exempel kan modellen förlita sig för mycket på vissa funktioner, vilket kan signalera partiskhet.

Dessa visualiseringsverktyg har visat sig vara otroligt populära under den korta tid de har funnits. Men hjälper de verkligen? I den första studien i sitt slag , har Vaughan och hennes team försökt ta reda på det – och avslöjat några allvarliga problem.

Teamet tog två populära tolkningsverktyg som ger en översikt över en modell via diagram och dataplots, och lyfter fram saker som maskininlärningsmodellen tog upp mest under utbildningen. Elva AI-proffs rekryterades från Microsoft, alla olika i utbildning, jobbroller och erfarenhet. De deltog i en låtsasinteraktion med en maskininlärningsmodell utbildad på en nationalinkomstuppsättning hämtad från 1994 års amerikanska folkräkning. Experimentet utformades specifikt för att efterlikna hur dataforskare använder tolkningsverktyg i den typ av uppgifter de ställs inför rutinmässigt.

Det teamet fann var slående. Visst, verktygen hjälpte ibland människor att upptäcka saknade värden i datan. Men denna användbarhet överskuggades av en tendens att övertro och missläsa visualiseringarna. I vissa fall kunde användare inte ens beskriva vad visualiseringarna visade. Detta ledde till felaktiga antaganden om datamängden, modellerna och själva tolkningsverktygen. Och det ingav ett falskt förtroende för verktygen som gjorde deltagarna mer pigga på att distribuera modellerna, även när de kände att något inte stod rätt till. Oroväckande nog var detta sant även när utdata hade manipulerats för att visa förklaringar som inte var meningsfulla.

För att backa upp resultaten från sin studie av små användare genomförde forskarna sedan en onlineundersökning med cirka 200 maskinlärande proffs som rekryterats via e-postlistor och sociala medier. De fann liknande förvirring och felplacerat förtroende.

Än värre var att många deltagare var glada över att använda visualiseringarna för att fatta beslut om hur modellen skulle användas trots att de medgav att de inte förstod matematiken bakom dem. Det var särskilt överraskande att se människor motivera konstigheter i data genom att skapa berättelser som förklarade dem, säger Harmanpreet Kaur vid University of Michigan, medförfattare till studien. Automationsbias var en mycket viktig faktor som vi inte hade beaktat.

Ah, automationsfördomen. Med andra ord, människor är beredda att lita på datorer. Det är inte nytt fenomen . När det kommer till automatiserade system från flygplansautopiloter till stavningskontroller har studier visat att människor ofta accepterar de val de gör även när de uppenbart har fel. Men när detta händer med verktyg utformade för att hjälpa oss undvika just detta fenomen, har vi ett ännu större problem.

Vad kan vi göra åt det? För vissa är en del av problemet med den första vågen av XAI att den domineras av maskinlärande forskare, av vilka de flesta är expertanvändare av AI-system. Säger Tim Miller från University of Melbourne, som studerar hur människor använder AI-system: De intagna driver asylet.

Detta är vad Ehsan insåg när han satt bak på den förarlösa Uber. Det är lättare att förstå vad ett automatiserat system gör – och se när det gör ett misstag – om det ger skäl för sina handlingar som en människa skulle göra. Ehsan och hans kollega Mark Riedl utvecklar ett maskininlärningssystem som genererar automatiskt sådana motiveringar i naturligt språk . I en tidig prototyp tog paret ett neuralt nätverk som hade lärt sig att spela det klassiska 1980-talets videospel Frogger och tränade det att ge en anledning varje gång det gjorde ett drag.

Skärmdump av Ehsan och Riedls Frogger Explanation-programvara Upol Ehsan

För att göra detta visade de systemet många exempel på människor som spelade spelet medan de pratade högt om vad de gjorde. De tog sedan ett neuralt nätverk för att översätta mellan två naturliga språk och anpassade det för att istället översätta mellan handlingar i spelet och naturliga språkmotiv för dessa handlingar. Nu, när det neurala nätverket ser en handling i spelet, översätter det det till en förklaring. Resultatet är en Frogger-spelande AI som säger saker som att jag flyttar åt vänster för att stanna bakom den blå lastbilen varje gång den rör sig.

Ehsan och Riedls arbete är bara en början. För det första är det inte klart om ett maskininlärningssystem alltid kommer att kunna ge ett naturligt språkligt logik för sina handlingar. Ta DeepMinds brädspelande AI AlphaZero. En av de mest slående egenskaperna hos programvaran är dess förmåga att göra vinnande drag som de flesta mänskliga spelare inte skulle kunna tänka sig att prova vid den tidpunkten i ett spel. Om AlphaZero kunde förklara sina rörelser, skulle de alltid vara vettiga?

Skälen hjälper vare sig vi förstår dem eller inte, säger Ehsan: Målet med människocentrerad XAI är inte bara att få användaren att gå med på vad AI säger – det är också att väcka reflektion. Riedl minns att han såg livestreamen av turneringsmatchen mellan DeepMinds AI och Korean Go-mästaren Lee Sedol. Kommentatorerna pratade om vad AlphaGo såg och tänkte. 'Det var inte så AlphaGo fungerade', säger Riedl. 'Men jag kände att kommentaren var viktig för att förstå vad som hände.'

Vad den här nya vågen av XAI-forskare är överens om är att om AI-system ska användas av fler människor måste dessa personer vara en del av designen från början – och olika människor behöver olika typer av förklaringar. (Detta backas upp av en ny studie från Howley och hennes kollegor, där de visar att människors förmåga att förstå en interaktiv eller statisk visualisering beror på deras utbildningsnivåer.) Tänk på en cancerdiagnoserande AI, säger Ehsan. Du skulle vilja att förklaringen den ger en onkolog ska vara väldigt annorlunda än förklaringen den ger till patienten.

I slutändan vill vi att AI:er ska förklara sig inte bara för datavetare och läkare utan för poliser som använder teknik för ansiktsigenkänning, lärare som använder analysmjukvara i sina klassrum, studenter som försöker förstå sina sociala medier-flöden – och alla som sitter i baksätet av en självkörande bil. Vi har alltid vetat att människor överlitar teknik, och det är särskilt sant med AI-system, säger Riedl. Ju mer du säger att det är smart, desto fler är övertygade om att det är smartare än de är.

Förklaringar som alla kan förstå borde hjälpa till att spränga bubblan.

Dölj