Bör högskolor verkligen sätta smarta högtalare i sovsalar?

När Mateo Catano återvände för sitt andra år som grundutbildning vid Saint Louis University hösten 2018, fann han sig själv med en ny rumskamrat – inte en annan student utan en kroppslös hjärna i form av en Amazon Echo Dot.

Tidigare den sommaren hade informationsteknikavdelningen vid SLU installerat cirka 2 300 av de smarta högtalarna – en för vart och ett av universitetets kollegierum, vilket gjorde skolan till den första i landet att göra det. Varje enhet var förprogrammerad med svar på cirka 130 SLU-specifika frågor, allt från bibliotekets öppettider till platsen för registratorns kontor (skolan kallade detta AskSLU). Enheterna inkluderade också de grundläggande röstfärdigheterna som finns tillgängliga på andra Dots, inklusive larm och påminnelser, allmän information och möjligheten att streama musik.

Den här historien var en del av vårt januarinummer 2020

• Se resten av frågan
• Prenumerera

För Catano var Dot ett välkommet tillskott. Han tyckte om att höra vädret först på morgonen och veta vilka matsalar som var öppna. Och om han ska vara ärlig så gillade han företaget. Att bo i singel gjorde AskSLU definitivt att jag kände mig mindre ensam, säger han. Och jag gillade statusen att vara på det första universitetet som gjorde det här.

Catanos reaktion var precis vad SLU-administratörer hoppades på. I höst tillkännagav jesuitinstitutionen planer på att bredda röstfärdigheterna för sina Echo Dots genom att inkludera både textmeddelanden och chatbot-funktioner.

Ingen aning om de långsiktiga effekterna

Vi är på gränsen till en ny era av smarta högtalare på campus. Så omfattande skolor som Arizona State University, Lancaster University i Storbritannien och Ross University School of Medicine i Barbados har anammat röstfärdighetsteknik på campus. Vissa, inklusive Northeastern University, har tagit tekniken ett steg längre och ger nu studenter tillgång till ekonomi, kursscheman och betyg och utestående avgifter via röstenheter.

I slutet av 2018 meddelade Bostons Emerson College att det var en av 18 mottagare av ett anslag från Amazon för att främja röstaktiverad teknik på campus, en del av teknikjättens Alexa Innovation Fellowship. Emerson har skapat ett dedikerat röstlabb där eleverna kan interagera och experimentera med Alexa-färdigheter, och det planerar att installera Alexa-enheter på platser som teatrar och utanför hissbanker.

Administratörer på några av dessa skolor sa till mig att de tror att Alexa kommer att stärka inskrivningen och minska antalet avhopp. Flera sa också att de tror att röstteknik kan öka deras elevers framgång och öka deras totala lycka.

Men det finns gott om människor på campus som ser en mörk sida.

När det gäller att distribuera avlyssningsenheter där känsliga konversationer förekommer har vi helt enkelt ingen aning om vilken långsiktig effekt det kan ha på deras framtid att konversationer spelas in och lagras av Amazon – till och med, möjligen, på deras hälsa och välbefinnande, säger Russell Newman, en Emerson-professor som forskar om kommunikations- och kommunikationspolitikens politiska ekonomi.

Vi vet fortfarande inte riktigt hur mycket data som värdar för röstfärdigheter som Amazon – eller tredje parter som förlitar sig på Amazon – skördar, eller vad de gör med den informationen.

Andra fakultetsmedlemmar jag pratade med upprepade Newmans invändningar. Tänk om data som samlats in från studenters samtal påverkade deras chanser att få ett bolån eller jobb senare? Tänk om det användes mot utländska studenter för att få dem utvisade, eventuellt till hemländer där de kunde fängslas för sina politiska åsikter?

Höger. Så med tanke på alla risker, varför är högskolor så ivriga att fylla sina campus med AI-aktiverade mikrofoner? Vad är det för dem?

AI till undsättning

Högskolor och universitet står inför flera hotande kriser. Efter år av skyhöga inskrivningssiffror ser amerikanska skolor minskat antal antagningar, en trend som förväntas förvärras under det kommande decenniet. En specialrapport från november 2019 från Chronicle of Higher Education förutspår snabba minskningar även vid landets mest selektiva institutioner. Institutionella intäkter har stannat av – Moody's Investors Service utfärdade negativa utsikter för högre utbildning för räkenskapsåret 2019, med undantag för universitet i söder. Under tre år har utbildningsdepartementet försökt dra ner miljarder från ekonomiskt stöd och stöd till fattigare studenter, även om kongressen har avvisat nedskärningarna. Statliga bidrag till offentliga universitetsbudgetar har släpat efter sedan den senaste lågkonjunkturen. Privata högskolor kämpar också; mer än en fjärdedel av dem är nu i minus. Under de senaste åren har 20 privata, ideella högskolor stängt sina dörrar, och många fler överväger att slå samman eller konsolidera.

Samtidigt misslyckas hälften av alla studenter som går in på college att ta examen inom sex år. Forskare ger en mängd olika förklaringar. Nick Bowman, professor i utbildning vid University of Iowa, pekar på det faktum att dagens studenter är äldre än de traditionella 18- till 22-åringarna. Många har heltidsjobb. Vissa bryr sig om barn eller syskon eller åldrande föräldrar. Och med ett genomsnitt på 35 000 dollar i studielåneskulder efter fyra år i skolan kan utsikten att hoppa av skolan vara frestande.

För många universitetsadministratörer erbjuder AI tilltalande lösningar på dessa problem. Winston-Salem State University, ett historiskt svart universitet med många låginkomsttagare och första generationens högskolestudenter, har haft ständiga problem med att hjälpa varje inträdande klass att nå viktiga deadlines som att skicka in gymnasieutskrifter och vaccinationsdokument, fylla i blanketter för ekonomiskt stöd och göra bostadsinlåning. Vi insåg att många av våra studenter kanske inte förstår högskoleregistreringsprocessen och kanske inte kan lita på familjer eller stödsystem för att avkoda det åt dem, säger Jay Davis, universitetets chef för medierelationer.

För två år sedan samarbetade WSSU med ett teknikföretag som heter AdmitHub för att erbjuda en AI-chatbot vid namn Winston för att hjälpa studenter att navigera i registreringsprocessen. Davis säger att appen framgångsrikt svarar på cirka tre fjärdedelar av elevernas frågor och att det har skett en dramatisk ökning av antalet studenter som uppfyller deras ekonomiska krav och skickar in alla stöddokument som krävs för att slutföra sin ansökan. I år är WSSU värd för sin största förstaårsklass på mer än ett decennium, och Davis säger att Winston spelade en stor roll i det.

Tillgång till dina ord, för alltid

Jag tillbringade flera timmar med att leka med chatbots på en handfull högskolor och universitet. De ställde alla frågor om skolans maskot, var jag kunde hitta middag och när nästa sport- eller alumninätverksevenemang var. Men de lurade andra. När jag berättade för en att jag var sjuk, informerade det mig om att studentvårdscentralen inte skulle utfärda en skriftlig ursäkt för missade lektioner. Jag frågade var elevvårdscentralen låg; det svarade med universitetsresetider för blivande studenter. Jag sa till en annan att jag kände mig deprimerad, och det hänvisade mig till ett federalt studiestödsprogram.

Campusprogrammerarna på andra sidan av dessa enheter sa alla till mig att färdigheterna skulle förbättras när fler studenter använde dem – vilket naturligtvis är det som gör AI så effektiv. Men det är också det som gör hot mot vår integritet så verkliga, säger Vitaly Shmatikov, professor i datavetenskap vid Cornell Tech. Teknikföretag, säger Shmatikov, är notoriskt ogenomskinliga när det gäller integritet och säkerhet. Vad han och andra forskare har lärt sig om dem är till stor del genom omvänd konstruktion och en del utbildade gissningar, och fynden berör Shmatikov mycket.

Till att börja med, säger han, tränar företag som Amazon sina taligenkänningsalgoritmer på inspelningar av tidigare användarinteraktioner för att göra dem bättre på att till exempel förstå avsikten med en fråga. Han säger att alla inblandade företag är väldigt osäkra på hur mycket data som färdas mellan dem. Det finns inget löfte till användaren att deras data inte kommer att lämna en specifik enhet, säger Shmatikov. Vi vet fortfarande inte riktigt hur mycket data som värdar för röstfärdigheter som Amazon – eller tredje parter som förlitar sig på Amazon – skördar, eller vad de gör med den informationen. Amazon svarade inte på flera förfrågningar om kommentarer.

Shmatikov säger att det är rimligt att anta att ett företags moln har datum- och tidsstämplade inspelningar av elevers förfrågningar till en smart högtalare, och enheterna kan till och med spela in de konversationer studenten kan ha haft med andra personer innan eller efter att ha pratat med den. I takt med att röstidentifiering och platskunskaper förbättras kommer det att bli alltmer möjligt att koppla dessa inspelningar till en enskild person. Det är inte som en skola som söker igenom ditt skåp; det är mer som en skolinspelning i evighet allt som någonsin har legat i ditt skåp och vad du och dina vänner sa varje gång du öppnade det, och sedan låta en mängd kommersiella enheter söka efter den informationen.

Tjänstemän vid Arizona State University och Saint Louis University säger att de inte länkar information som studenters ekonomi, hälsojournaler och betyg (data som kallas autentiserade, eftersom det kräver att en student länkar till personliga konton) förrän de är mer säkra på säkerhetsåtgärder. Tekniken som används på Northeastern utvecklades av ett litet team ledd av Somen Saha, då anställd vid universitetet. Saha skapade så småningom ett oberoende företag som heter n-Powered, som utvecklade en app som heter MyHusky som är tillgänglig via Alexa. Men dess sekretesssida erkänner också att vi använder Amazons plattform för att få detta att fungera. Amazon lagrar information om användning som kan rensas på begäran.

Shmatikov säger att att använda ett universitets egen programvara och begränsa användningen av chatbots till allmänna frågor kan begränsa ett teknikföretags tillgång till studentinformation, men det kommer inte att lösa problemet helt. Han pekar på känsliga frågor som om vårdcentralen erbjuder STD-testning eller recept för att behandla tillstånd som schizofreni: tekniskt sett är dessa inte kopplade till en specifik student, men det är inte så svårt att ta reda på vem som frågar, och eleverna kanske inte inser det här är inte alltid anonyma frågor. Dessutom, säger Shmatikov, så länge som ett företag som Amazon omvandlar studentuppmaningar till datasignaler, har det tillgång till studentens information – för alltid.

Skrämmande konsekvenser

Sekretess är ett problem för alla användare av en AI-enhet, men fakulteten jag pratade med för den här historien insisterar på att det finns särskilt skrämmande konsekvenser för högre utbildning.

Högskolestudenter är kanske den mest önskvärda kategorin av konsumenter, säger Emersons Newman. De är de svåraste att nå och mest sannolikt att sätta trender. Som ett resultat, säger han, är deras data några av de mest värdefulla och mest sannolika att brytas eller säljas. Och för utbildningsinstitutioner att vara delaktiga i saluföringen av studenter för företagsvinst är, säger han, i grunden motstridigt deras uppdrag.

Sarah T. Roberts, biträdande professor i informationsstudier vid UCLA, säger att skolor som ingår avtal med teknikföretag åtminstone potentiellt sätter sina elevers välbefinnande på spel. En students tid på en högskola eller ett universitet används för att utforska idéer och pröva nya identiteter, oavsett om det är politisk övertygelse eller kön och sexualitet, säger Roberts. Vetskapen om att de spelas in när de gör det kommer utan tvekan att hindra eleverna från att känna att de kan säga vad de tycker. Det är också värt att komma ihåg, säger hon, att många studenter kommer från länder där det kan vara farligt att avslöja sin sexualitet eller politiska övertygelse.

På Northeastern skapade en student en namninsamling online som krävde att universitetet skulle ta bort alla Alexa-enheter. Det lyder delvis: Alexas är väldokumenterade som smyglyssningsenheter som används för att vässa Amazons marknadsföringstaktik .... Åtminstone tvingar Northeastern University fram en främmande enhet i studentutrymmen som ingen bad om. I värsta fall kränker de hänsynslöst sin studentkårs integritet på uppdrag av en företagsgivare. I början av december hade petitionen 125 underskrifter.

På Emerson har studenter och andra fakultetsmedlemmar anslutit sig till Newman för att skapa en kommitté för att utarbeta sekretesspolicyer för campus. Åtminstone, säger han, skulle han vilja se varningsskyltar placerade varhelst en avlyssningsanordning finns. Han säger att administrationen hittills har varit samarbetsvillig och att utplaceringen av alla enheter har försenats.

Vi behöver ett säkert sätt att experimentera med dessa teknologier och förstå konsekvenserna av deras användning istället för att bara fortsätta en blind marsch mot övervakning i syfte att göra vinst, säger Newman. Dessa är sofistikerade tillämpningar med livslånga konsekvenser för de individer som analyseras av dem, till än så länge okända mål. Vi måste alla vara riktigt kloka och omtänksamma här.

Kathryn Miles är frilansskribent och författare till Quakeland: On the Road to America's Next Devastating Earthquake . Hennes berättelse The Little Coin That Ate Quebec dök upp i maj/juni 2018-numret.

Dölj