Att se hjärnan hos en robot i förstärkt verklighet

Justin Saglio

När flyttarna kom till Stefanie Tellexs robotlabb vid Brown University förra veckan, tittade hennes elever med intresse på. Se hur de samarbetade skickligt för att ta upp en soffa med hjälp av kroppsspråk, ögonkontakt och bara några kommandon, som 1-2-3 … lyft.

Kan robotar och människor samarbeta lika smidigt? Det är målet för forskningen i Tellex-labbet, som försöker ge både robotar och människor verktygen att förstå varandra lite bättre och samarbeta mer flytande i verkliga miljöer.

Vissa robotar, som Roomba-dammsugaren, behöver egentligen bara ett kommando – rensa eller stoppa. Det är rätt gränssnitt för en Roomba, men vi ser robotar gå bortom en enda funktion. Vi skulle vilja kunna berätta för dem allt som ligger inom robotens fysiska kapacitet, säger Tellex. Jag jobbar på ett system där man pratar med roboten som en person. Du säger 'Sätt lådan där' och roboten räknar ut det.'

Det är ett svårt problem, inte minst för att det finns många sätt att beskriva vad du vill göra. (Jag behöver bara tänka på vad som händer när min fru och jag – inga experter som flyttar – försöker flytta om vår egen soffa.)

I arbetet som presenterades förra året använde Tellexs team ett röstgränssnitt för att se om en person och en griprobot kunde samarbeta för att välja från en grupp liknande föremål på ett bord – inklusive skålar, markörer och skedar. Ett kommando som Kan jag få den där skålen? kan lämna roboten i tvivel. Så de programmerade roboten att ställa några klargörande frågor, som den här?

Brown-gruppen bjöd in 16 frivilliga till labbet och fann att med en sådan mini-dialog fick robotarna jobbet gjort cirka 25 procent snabbare och med bättre noggrannhet. Folk trodde också att roboten var mycket smartare än den faktiskt är. Det var så bra människor trodde att systemet kunde förstå fraser som 'till vänster om', även när det inte gjorde det. Men det skulle ställa en fråga, så det verkade som att det förstod, säger Tlex.

Nästa steg i projektet, som leds av doktoranden David Whitney, är att kombinera verbala kommandon med det augmented-reality-headsetet HoloLens.

Under MIT Technology Review Nästa EmTech-konferens Jag provade installationen, som visar användaren spöklika lila-färgade versioner av roboten som visar vilka åtgärder den planerar att göra - så att du kan fixa eller finjustera dem om det behövs.

Här är målet att komma in i robotens sinne, säger Whitney. Bra movers använder mycket kroppsspråk, men robotar ser inte ut som oss, säger han. Så det här är ett sätt att visualisera information om roboten – vad tänker den på?'

Dölj