Vi måste designa misstroende i AI-system för att göra dem säkrare

med tillstånd av ACM

Ayanna Howard har alltid försökt använda robotar och AI för att hjälpa människor. Under sin nästan 30-åriga karriär har hon byggt otaliga robotar: för att utforska Mars, för att städa farligt avfall och för att hjälpa barn med särskilda behov. I processen har hon utvecklat ett imponerande utbud av tekniker inom robotmanipulation, autonom navigering och datorseende. Och hon har lett fältet i att studera ett vanligt misstag som människor gör: vi litar för mycket på automatiserade system.

Den 12 maj beviljade Association for Computing Machinery Howard årets Athena Lecturer Award, som uppmärksammar kvinnor som har gjort grundläggande insatser inom datavetenskap. Organisationen hedrade inte bara Howards imponerande lista över vetenskapliga prestationer utan också hennes passion och engagemang för att ge tillbaka till sitt samhälle. Så länge som hon har varit en hyllad teknolog har hon också skapat och lett många program utformade för att öka deltagandet och behålla unga kvinnor och underrepresenterade minoriteter på området.

I mars, efter 16 år som professor vid Georgia Institute of Technology, började hon en ny tjänst som dekanus för ingenjörshögskolan vid Ohio State University. Hon är den första kvinnan som har befattningen. Den dagen hon fick ACM-priset pratade jag med Howard om hennes karriär och hennes senaste forskning.

Följande har redigerats för längd och tydlighet.

Jag har märkt att du använder termen humaniserad intelligens för att beskriva din forskning, istället för artificiell intelligens. Varför är det så?

Ja, jag började använda det i en tidning 2004. Jag funderade på varför vi arbetar med intelligens för robotik och AI-system. Det är inte så att vi vill skapa dessa intelligenta funktioner utanför vår interaktion med människor. Vi motiveras av den mänskliga erfarenheten, mänskliga data, mänskliga input. Artificiell intelligens innebär att det är en annan typ av intelligens, medan humaniserad intelligens säger att den är intelligent men motiverad av den mänskliga konstruktionen. Och det betyder att när vi skapar dessa system ser vi också till att de har några av våra samhälleliga värderingar också.

Hur kom du in i det här arbetet?

Det var främst motiverat av min doktorandforskning. Vid den tiden arbetade jag med att träna en robotmanipulator för att ta bort faror på ett sjukhus. Det här var på den tiden då man inte hade de där trevliga säkra ställena att sätta nålar på. Nålar lades i samma papperskorg som allt annat, och det fanns fall där sjukhusarbetare blev sjuka. Så jag tänkte på: Hur designar man robotar för att hjälpa till i den miljön?

Så väldigt tidigt handlade det om att bygga robotar som är användbara för människor. Och det var att erkänna att vi inte visste hur man bygger robotar för att göra vissa av dessa uppgifter mycket bra. Men folk gör dem hela tiden, så låt oss härma hur folk gör det. Det var så det började.

Sedan arbetade jag med NASA och försökte tänka på framtida Mars-rovernavigering. Och återigen, det var som: Forskare kan göra det här riktigt, riktigt bra. Så jag skulle be forskare att teleoperera dessa rovers och titta på vad de såg på kamerorna på dessa rovers, och sedan försöka korrelera hur de kör baserat på det. Det var alltid temat: Varför går jag inte bara till de mänskliga experterna, kodar vad de gör i en algoritm och får sedan roboten att förstå det?

Tänkte och pratade andra om AI och robotik på det här människocentrerade sättet då? Eller var du en konstig outlier?

Åh, jag var en totalt konstig avvikare. Jag såg på saker annorlunda än alla andra. Och då fanns det ingen guide för hur man gör den här typen av forskning. Faktum är att när jag nu ser tillbaka på hur jag gjorde forskningen, skulle jag göra det helt annorlunda. Det finns all denna erfarenhet och kunskap som sedan dess har kommit ut på området.

När gick du från att tänka på att bygga robotar som hjälper människor till att tänka mer på relationen mellan robotar och människor?

Det motiverades till stor del av detta studie vi gjorde på akut evakuering och robotförtroende. Vad vi ville se var när människor befinner sig i en högrisk, tidskritisk situation, kommer de att lita på vägledningen från en robot? Så vi tog med folk till en övergiven kontorsbyggnad utanför campus, och de släpptes in av en reseguiderobot. Vi hittade på en berättelse om roboten och hur de var tvungna att göra en undersökning – sånt. Medan de var där inne fyllde vi byggnaden med rök och satte igång brandlarmet.

Så vi ville se, när de navigerade ut, skulle de gå till ytterdörren, skulle de gå till utgångsskylten, eller skulle de följa vägledningen från roboten som leder dem i en annan riktning?

Vi trodde att folk skulle gå till ytterdörren eftersom det var så de kom in, och tidigare forskning har sagt att när människor är i en nödsituation tenderar de att gå dit de är bekanta. Eller så trodde vi att de skulle följa utgångsskyltarna, för det är ett tränat beteende. Men det gjorde deltagarna inte gör det här. De följer faktiskt robotens vägledning.

Sedan introducerade vi några misstag. Vi lät roboten gå sönder, vi fick den att gå i cirklar, vi fick den att ta dig i en riktning som krävde att du flyttade möbler. Vi trodde någon gång att människan skulle säga, låt mig gå till ytterdörren, eller låt mig gå till utgångsskylten precis där. Det tog oss bokstavligen till slutet innan folk slutade följa robotens vägledning.

Det var första gången som våra hypoteser var helt felaktiga. Det var som att jag inte kan tro att folk litar på systemet så här. Det här är intressant och fascinerande, och det är ett problem.

Sedan det experimentet, har du sett detta fenomen replikeras i den verkliga världen?

Varje gång jag ser en Tesla-olycka. Speciellt de tidigare. Jag tänkte, Japp, där är det. Folk litar för mycket på dessa system. Och jag minns efter den allra första, vad gjorde de? De var som, nu måste du hålla i ratten i ungefär fem sekunders steg. Om du inte har handen på ratten kommer systemet att avaktiveras.

Men du vet, de kom aldrig och pratade med mig eller min grupp, för det kommer inte att fungera. Och varför det inte fungerar är för att det är väldigt lätt att spela systemet. Om du tittar på din mobiltelefon och sedan hör ett pip, räcker du bara upp handen, eller hur? Det är undermedvetet. Du är fortfarande inte uppmärksam. Och det är för att du tycker att systemet är okej och att du fortfarande kan göra vad du än gjorde – läsa en bok, titta på TV eller titta på din telefon. Så det fungerar inte eftersom de inte ökade risknivån eller osäkerhet, eller misstro eller misstro. De ökade inte det tillräckligt för att någon skulle kunna engagera sig igen.

Relaterad berättelse

När algoritmer rör sig får den närmaste människan skulden En titt på historiska fallstudier visar oss hur vi hanterar ansvar för automatiserade system.

Det är intressant att du pratar om hur du i den här typen av scenarier måste aktivt designa misstroende i systemet för att göra det säkrare.

Ja, det är vad du måste göra. Vi prövar faktiskt ett experiment just nu kring idén om denial of service. Vi har inga resultat än och vi brottas med en del etiska problem. För när vi väl pratar om det och publicerar resultaten måste vi förklara varför du ibland kanske inte vill ge AI möjligheten att neka en tjänst heller. Hur tar man bort tjänsten om någon verkligen behöver den?

Men här är ett exempel med Teslas misstroende. Denial of service skulle vara: Jag skapar en profil för ditt förtroende, vilket jag kan göra baserat på hur många gånger du avaktiverat eller kopplat bort från att hålla i ratten. Med tanke på dessa profiler av frigörelse kan jag sedan modellera vid vilken tidpunkt du är helt i detta förtroendetillstånd. Vi har gjort detta, inte med Tesla-data, utan vår egen data. Och vid en viss tidpunkt, nästa gång du kommer in i bilen, skulle du få ett överbelastningsskydd. Du har inte tillgång till systemet under X tidsperiod.

Det är nästan som när du straffar en tonåring genom att ta ifrån honom telefonen. Du vet att tonåringar inte kommer att göra vad det än är som du inte ville att de skulle göra om du kopplar det till deras kommunikationsmodalitet.

Vilka andra mekanismer har du utforskat för att öka misstroendet mot system?

Den andra metodiken vi har utforskat kallas grovt för förklarabar AI, där systemet ger en förklaring med avseende på några av dess risker eller osäkerheter. Eftersom alla dessa system har osäkerhet – inget av dem är 100 %. Och ett system vet när det är osäkert. Så det kan tillhandahålla att som information på ett sätt som en människa kan förstå, så kommer människor att ändra sitt beteende.

Som ett exempel, säg att jag är en självkörande bil, och jag har all min kartinformation, och jag vet att vissa korsningar är mer olycksbenägna än andra. När vi kommer nära en av dem, skulle jag säga, vi närmar oss en korsning där 10 personer dog förra året. Du förklarar det på ett sätt där det får någon att gå, Åh, vänta, jag kanske borde vara mer medveten.

Vi har redan pratat om några av dina farhågor kring vår tendens att övertro på dessa system. Vad är andra? På baksidan, finns det också fördelar?

De negativa är verkligen kopplade till partiskhet. Det är därför jag alltid pratar om partiskhet och förtroende. För om jag överlitar dessa system och dessa system fattar beslut som har olika resultat för olika grupper av individer – säg, ett medicinskt diagnossystem har skillnader mellan kvinnor och män – skapar vi nu system som ökar de ojämlikheter vi har för närvarande . Det är ett problem. Och när du kopplar det till saker som är kopplade till hälsa eller transport, som båda kan leda till liv-eller-död-situationer, kan ett dåligt beslut faktiskt leda till något du inte kan återhämta dig från. Så vi måste verkligen fixa det.

Det positiva är att automatiserade system är bättre än människor i allmänhet. Jag tror att de kan vara det även bättre, men jag skulle personligen hellre interagera med ett AI-system i vissa situationer än vissa människor i andra situationer. Som, jag vet att det har vissa problem, men ge mig AI. Ge mig roboten. De har mer data; de är mer exakta. Speciellt om du har en nybörjare. Det är ett bättre resultat. Det kan bara vara så att resultatet inte är lika.

Utöver din robotik- och AI-forskning har du varit en stor förespråkare för att öka mångfalden inom området under hela din karriär. Du startade ett program för att vägleda flickor på högstadiet i riskzonen för 20 år sedan, vilket är långt innan många människor tänkte på den här frågan. Varför är det viktigt för dig, och varför är det också viktigt för fältet?

Det är viktigt för mig eftersom jag kan identifiera tillfällen i mitt liv då någon i princip gav mig tillgång till ingenjörsvetenskap och datavetenskap. Jag visste inte ens att det var en grej. Och det är verkligen därför jag senare aldrig hade några problem med att veta att jag kunde göra det. Och så har jag alltid känt att det bara var mitt ansvar att göra samma sak för dem som har gjort det åt mig. När jag också blev äldre märkte jag att det fanns många människor som inte såg ut som jag i rummet. Så jag insåg: Vänta, det finns definitivt ett problem här, för folk har helt enkelt inte förebilderna, de har inte tillgång, de vet inte ens att detta är en sak.

Och varför det är viktigt för fältet är för att alla har olika erfarenheter. Precis som jag hade tänkt på interaktion mellan människa och robot innan det ens var en grej. Det var inte för att jag var briljant. Det var för att jag såg på problemet på ett annat sätt. Och när jag pratar med någon som har en annan synvinkel är det som, Åh, låt oss försöka kombinera och ta reda på det bästa av två världar.

Krockkuddar dödar fler kvinnor och barn. Varför är det så? Tja, jag ska säga att det beror på att någon inte var i rummet för att säga, Hej, varför testar vi inte det här på kvinnor i framsätet? Det finns ett gäng problem som har dödat eller varit farliga för vissa grupper av människor. Och jag skulle hävda att om du går tillbaka beror det på att du inte hade tillräckligt många som kunde säga hej, har du tänkt på det här? eftersom de pratar från sin egen erfarenhet och från sin miljö och sitt samhälle.

Hur hoppas du att forskningen inom AI och robotik kommer att utvecklas över tiden? Vad är din vision för området?

Om du tänker på kodning och programmering kan i stort sett alla göra det. Det finns så många organisationer nu som Code.org. Resurserna och verktygen finns. Jag skulle älska att ha ett samtal med en student en dag där jag frågar: Känner du till AI och maskininlärning? och de säger, Dr H, jag har gjort det sedan tredje klass! Jag vill bli så chockad, för det skulle vara underbart. Naturligtvis skulle jag behöva tänka på vad som är mitt nästa jobb, men det är en helt annan historia.

Men jag tror att när du har verktygen med kodning och AI och maskininlärning kan du skapa dina egna jobb, du kan skapa din egen framtid, du kan skapa din egen lösning. Det skulle vara min dröm.

Dölj