Ett nytt uppslukande klassrum använder AI och VR för att lära ut mandarin kinesiska

En bild av elever som står i den uppslukande virtuella miljön Rensselaer Polytechnic Institute

Ofta är det bästa sättet att lära sig ett språk att fördjupa sig i en miljö där människor talar det. Den ständiga exponeringen, tillsammans med pressen att kommunicera, hjälper dig att snabbt ta upp och öva på nytt ordförråd. Men alla får inte möjlighet att bo eller studera utomlands.

I ett nytt samarbete med IBM Research erbjuder Rensselaer Polytechnic Institute (RPI), ett universitet baserat i Troy, New York, nu sina studenter som studerar kinesiska ett annat alternativ: en 360-graders virtuell miljö som teleporterar dem till Pekings livliga gator eller en fullsatt kinesisk restaurang. Studenter får pruta med gatuförsäljare eller beställa mat, och miljön är utrustad med olika AI-funktioner för att svara på dem i realtid. Även om klassrummet till stor del är experimentellt används det för första gången i en sex veckor lång kurs på universitetet i sommar.

Projektet var inspirerat av två RPI-fakultetsmedlemmar som ofta använde rollspel för att hjälpa sina elever att lära sig kinesiska. Parallellt, under de senaste åren, flera studier har funnit att interaktiva inlärningsmiljöer kan öka språkförståelsen och bibehållandet. En studie publicerad 2018 också hittad att lära sig japanska i en virtuell 3D-miljö gjorde eleverna mer benägna att fånga upp ordförråd som de råkade ut för genom simuleringen. På basis av dessa idéer inledde professorerna ett samarbete med IBM Research för att undersöka om de kunde replikera sådana fördelar för sina egna studenter.

Förutom att omge eleverna med digitala projektioner av en scen, använder miljön flera typer av sensorer för att dynamiskt anpassa sig till elevernas ord och handlingar. Mikrofoner, som bärs av deltagarna, matar deras ljud direkt in i taligenkänningsalgoritmer. Kameror spårar deras rörelser och gester för att registrera när de pekar på olika objekt eller går fram till olika virtuella agenter. Om en elev pekar på en maträtt i restaurangscenen och frågar vad det är, kan en virtuell agent svara med namn och beskrivning. Teknik för narrativ generering gör det också möjligt för varje agent att konstruera mer sofistikerade svar på frågor som inte går att använda (Vad är maträttens historia?) med hjälp av kunskap från Wikipedia. (Konversationsämnena är dock fortfarande något begränsade till vilken uppgift eleven än försöker slutföra.)

Kameror och sensorer spårar elevernas gester så att de fritt kan peka på objekt i en scen för att engagera sig. Rensselaer Polytechnic Institute

Många av teknikerna i miljön är kommersiellt tillgängliga produkter som vävts samman till en sammanhållen upplevelse. Men några behövde utvecklas för projektet specifikt. Mandarinkinesiska har till exempel fem toner som är utmanande för många nya elever men avgörande för att förmedla mening. Säg ordet sälja (卖 slipning ) lite av och du kan sluta med att säga köp (买 mǎi ) istället. Så forskarna skapade en algoritm för att analysera tonerna i elevernas uttal. Den jämför dem med infödda talare och visar var de skiljer sig åt, och ger sedan ljud och visuell feedback direkt i miljön. Det låter eleverna fråga en virtuell agent hur man säger något och omedelbart börja öva på det nya ordförrådet.

Hui Su, chef för Cognitive and Immersive Systems Laboratory, samarbetet mellan IBM Research och RPI som ledde initiativet, säger att hans team fortfarande är i de tidiga stadierna av att förstå hur effektivt det är. Men i en pilot i slutet av 2017 fann forskarna kvalitativt att det ökade elevernas engagemang och glädje i språkinlärning och hjälpte dem att snabbt tillägna sig nya ord.

Före en restaurangbeställningsövning fick eleverna till exempel inte lära sig hur de skulle betala för sin mat, men genom att observera sina kamrater och samtala med de virtuella agenterna fick många upp den nödvändiga vokabulären för att göra det. Det var lite av en överraskning, säger Su. En av eleverna kommenterade att det borde vara så att lära ut språk, tillägger han.

En algoritm ger eleverna visuell feedback på deras tonuttal. Rensselaer Polytechnic Institute

Under det första året kommer den nya kursen att använda den virtuella miljön nästan halva tiden och ett traditionellt klassrum resten, även om detta arrangemang kan komma att ändras i framtiden.

Om klassen ger starka bevis på att elevernas läranderesultat förbättras, kan den tjäna som en modell för andra. Den mest uppenbara idén vore att utvidga den till andra språk. Men det kan också användas utanför universiteten för att coacha chefer, utbilda myndighetspersonal eller genomföra andra förberedelser som kan dra nytta av scenariosimulering och rollspel.

I slutändan kommer initiativet att hjälpa forskarnas långsiktiga uppdrag att förstå hur kognitiva och uppslukande miljöer kan påverka lärande, samarbete och meningsskapande, säger Su.

För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.

Dölj