En AI utbildar rådgivare för att hantera tonåringar i kris

Ms Tech | Unsplash, Pexels

Rådgivare som arbetar frivilligt vid Trevor-projektet måste vara förberedda på sitt första samtal med en hbtq-tonåring som kanske funderar på självmord. Så först tränar de. Ett av sätten de gör det på är genom att prata med fiktiva personer som Riley, en 16-åring från North Carolina som känner sig lite nedstämd och deprimerad. Med en lagmedlem som spelar Rileys roll kan praktikanter borra i vad som händer: de kan avslöja att tonåringen är orolig över att komma ut till familjen, berättade nyligen för vänner och det gick inte bra, och har upplevt självmordstankar tidigare, om inte kl. ögonblicket.

Men nu spelas Riley inte av en Trevor Project-anställd utan drivs istället av AI.

Precis som den ursprungliga personan måste den här versionen av Riley – utbildad på tusentals tidigare utskrifter av rollspel mellan rådgivare och organisationens personal – fortfarande luras lite för att öppna upp, och lägga upp en situation som kan testa vad praktikanter har lärt sig om de bästa sätten att hjälpa hbtq-tonåringar.

Rådgivare ska inte pressa Riley att komma ut. Målet är istället att validera Rileys känslor och, om det behövs, hjälpa till att utveckla en plan för att förbli säker.

Krisjourer och chatttjänster gör dem till ett grundläggande löfte: nå ut så kommer vi att koppla dig till en riktig människa som kan hjälpa dig. Men behovet kan överträffa kapaciteten hos även de mest framgångsrika tjänsterna. Trevor Project tror att 1,8 miljoner hbtq-ungdomar i Amerika allvarligt överväger självmord varje år. De befintliga 600 rådgivarna för deras chattbaserade tjänster kan inte hantera det behovet. Det var därför gruppen – liksom ett ökande antal mentalvårdsorganisationer – vände sig till AI-drivna verktyg för att möta efterfrågan. Det är en utveckling som är mycket vettig, samtidigt som den väcker frågor om hur väl nuvarande AI-teknik kan prestera i situationer där livet för utsatta människor står på spel.

Att ta risker – och bedöma dem

Trevor-projektet tror att det förstår denna balans – och betonar vad Riley inte gör.

Vi har inte bestämt oss för och har inte för avsikt att designa ett AI-system som kommer att ersätta en rådgivare, eller som kommer att interagera direkt med en person som kan vara i kris, säger Dan Fichter, organisationens chef för AI och teknik. Denna mänskliga koppling är viktig i alla mentalvårdstjänster, men den kan vara särskilt viktig för de människor som Trevor-projektet betjänar. Enligt organisationens egen forskning 2019 var hbtq-ungdomar med minst en accepterande vuxen i sitt liv 40% mindre sannolikhet att rapportera ett självmordsförsök under föregående år.

Det AI-drivna träningsrollspelet, kallat kriskontaktsimulatorn och stöds av pengar och ingenjörshjälp från Google, är det andra projektet som organisationen har utvecklat på detta sätt: det använder också en maskininlärningsalgoritm för att avgöra vem som löper störst risk av fara. (Den testade flera andra tillvägagångssätt, inklusive många som inte använde AI, men algoritmen gav helt enkelt de mest exakta förutsägelserna för vem som upplevde det mest akuta behovet.)

AI-driven riskbedömning är inte nytt för självmordsförebyggande tjänster: Department of Veterans Affairs använder också maskininlärning för att identifiera utsatta veteraner i sin kliniska praxis, eftersom Det rapporterade New York Times slutet av förra året.

Åsikterna varierar om användbarheten, noggrannheten och risken med att använda AI på detta sätt. I specifika miljöer kan AI vara mer exakt än människor när det gäller att bedöma människors självmordsrisk, hävdar Thomas Joiner, en psykologiprofessor vid Florida State University som studerar suicidalt beteende. I den verkliga världen, med fler variabler, verkar AI prestera ungefär lika bra som människor. Vad den däremot kan göra är att bedöma fler människor i snabbare takt.

Därför är det bäst att använda för att hjälpa mänskliga rådgivare, inte ersätta dem. Trevor-projektet förlitar sig fortfarande på att människor utför fullständiga riskbedömningar av unga människor som använder dess tjänster. Och efter att rådgivare har avslutat sina rollspel med Riley, granskas dessa utskrifter av en människa.

Hur systemet fungerar

Kriskontaktsimulatorn har utvecklats för att göra rollspel tar upp mycket personaltid och är begränsad till normal arbetstid, även om en majoritet av kuratorerna planerar att ställa upp som volontär under natt- och helgskift. Men även om målet var att utbilda fler rådgivare snabbare och bättre anpassa sig till volontärscheman, var effektivitet inte den enda ambitionen. Utvecklarna ville fortfarande att rollspelet skulle kännas naturligt och att chatboten smidigt skulle anpassa sig till en volontärs misstag. Algoritmer för bearbetning av naturligt språk , som nyligen hade blivit riktigt bra på att efterlikna mänskliga konversationer, verkade vara en bra passform för utmaningen. Efter att ha testat flera alternativ, slog Trevor-projektet upp OpenAI:s GPT-2-algoritm .

Relaterad berättelse

OpenAI:s nya språkgenerator GPT-3 är chockerande bra – och helt sinneslös

AI är den största språkmodellen som någonsin skapats och kan generera fantastisk människoliknande text på begäran men kommer inte att föra oss närmare sann intelligens.

Chatboten använder GPT-2 för sina grundläggande konversationsförmåga. Den modellen tränas på 45 miljoner sidor från webben, vilket lär den den grundläggande strukturen och grammatiken i det engelska språket. Trevor-projektet tränade det sedan vidare på alla utskrifter av tidigare Riley-rollspelskonversationer, vilket gav boten det material den behövde för att efterlikna personan.

Under hela utvecklingsprocessen blev teamet förvånade över hur bra chatboten presterade. Det finns ingen databas som lagrar detaljer om Rileys biografi, men chatboten förblev konsekvent eftersom varje transkription återspeglar samma story.

Men det finns också avvägningar med att använda AI, särskilt i känsliga sammanhang med utsatta samhällen. GPT-2 och andra liknande algoritmer för naturliga språk är kända för att bygga in djupt rasistiska, sexistiska och homofoba idéer. Mer än en chatbot har förleds katastrofalt vilse på detta sätt, den senaste är en sydkoreansk chatbot kallade Lee Luda som hade en person som en 20-årig universitetsstudent. Efter att snabbt ha vunnit popularitet och interagerat med fler och fler användare, började den använda förtal för att beskriva queer- och funktionshindrade gemenskaper.

Trevor-projektet är medvetet om detta och utformade sätt att begränsa risken för problem. Medan Lee Luda var tänkt att prata med användare om vad som helst, är Riley väldigt snävt fokuserad. Volontärer kommer inte att avvika för långt från de konversationer de har tränats på, vilket minimerar risken för oförutsägbart beteende.

Detta gör det också lättare att heltäckande testa chatboten, vilket Trevor Project säger att det gör. Dessa användningsfall som är mycket specialiserade och väldefinierade, och utformade för alla, utgör inte en särskilt hög risk, säger Nenad Tomasev, forskare vid DeepMind.

människa till människa

Det här är inte första gången som fältet för mental hälsa försöker utnyttja AI:s potential att tillhandahålla inkluderande, etisk hjälp utan att skada de människor som det är designat för att hjälpa. Forskare har utvecklat lovande sätt att upptäcka depression från en kombination av visuella och auditiva signaler. Terapirobotar, även om de inte motsvarar en mänsklig professionell, ställs upp som alternativ för dem som inte har tillgång till en terapeut eller är obekväma anförtro till en person.

Var och en av dessa utvecklingar, och andra liknande den, kräver att man tänker på hur mycket agent AI-verktyg ska ha när det gäller att behandla utsatta människor. Och konsensus verkar vara att tekniken för närvarande inte är riktigt lämpad för att ersätta mänsklig hjälp.

Ändå säger Joiner, psykologiprofessorn, att detta kan förändras över tiden. Även om det för närvarande är en dålig idé att ersätta mänskliga rådgivare med AI-kopior, betyder det inte att det är en begränsning som är permanent, säger han. Människor, har konstgjorda vänskap och relationer redan med AI-tjänster . Så länge folk inte luras att tro att de har en diskussion med en människa när de pratar med en AI, säger han, kan det vara en möjlighet längre fram.

Under tiden kommer Riley aldrig att möta ungdomarna som faktiskt sms:ar till Trevor Project: det kommer bara att fungera som ett träningsverktyg för volontärer. Den mänskliga kontakten mellan våra rådgivare och de människor som når ut till oss är avgörande för allt vi gör, säger Kendra Gaunt, gruppens produktledare för data och AI. Jag tror att det gör oss riktigt unika, och något som jag inte tror att någon av oss vill ersätta eller förändra.

Korrektion: Vi ändrade en mening som sa att Trevor Project testade två algoritmer för sin chatbot. Den prövade flera.

Dölj