Facebook hävdar att dess nya chatbot slår Googles som den bästa i världen

Trots alla framsteg som chatbots och virtuella assistenter har gjort, är de fortfarande fruktansvärda samtalsförare. De flesta är mycket uppgiftsorienterade: du ställer ett krav och de följer. Vissa är mycket frustrerande: de verkar aldrig få det du letar efter. Andra är fruktansvärt tråkiga: de saknar charmen hos en mänsklig följeslagare. Det är bra när du bara vill ställa in en timer. Men eftersom dessa bots blir allt populärare som gränssnitt för allt från detaljhandel till hälsovård till finansiella tjänster, blir bristerna bara mer uppenbara.

Nu har Facebook skapat en öppen källkod ny chatbot som den hävdar kan prata om nästan vad som helst på ett engagerande och intressant sätt. Blender kunde inte bara hjälpa virtuella assistenter att lösa många av sina brister utan också markera framsteg mot den större ambition som driver mycket av AI-forskningen: att replikera intelligens. Dialog är ett slags 'AI-komplett'-problem, säger Stephen Roller, en forskningsingenjör på Facebook som var med och ledde projektet. Du måste lösa hela AI för att lösa dialog, och om du löser dialog har du löst hela AI.

Blenders förmåga kommer från den enorma omfattningen av dess träningsdata. Den tränades först på 1,5 miljarder offentligt tillgängliga Reddit-konversationer för att ge den en grund för att generera svar i en dialog. Den finjusterades sedan med ytterligare datamängder för var och en av tre färdigheter: samtal som innehöll någon form av känslor , för att lära den empati (om en användare säger att jag fick en befordran, till exempel, kan den säga, Grattis!); informationsrika samtal med en expert för att lära den kunskap; och samtal mellan människor med distinkta personligheter , för att lära den personlighet. Den resulterande modellen är 3,6 gånger större än Googles chatbot Meena , som tillkännagavs i januari – så stor att den inte får plats på en enda enhet och måste köras över två datorchip istället.

Ett exempel på en konversation mellan en människa och Blender.

FACEBOOK

Vid den tiden proklamerade Google att Meena var den bästa chatboten i världen. I Facebooks egna tester fann 75 % av de mänskliga utvärderarna att Blender var mer engagerande än Meena, och 67 % tyckte att det lät mer som en människa. Chatboten lurade också mänskliga utvärderare 49 % av tiden att tro att dess konversationsloggar var mer mänskliga än konversationsloggarna mellan riktiga människor – vilket betyder att det inte var mycket av en kvalitativ skillnad mellan de två. Google hade inte svarat på en begäran om kommentar när den här historien skulle publiceras.

Trots dessa imponerande resultat är Blenders färdigheter fortfarande inte i närheten av en människas. Hittills har teamet utvärderat chatboten endast på korta konversationer med 14 varv. Om det fortsatte att chatta längre, misstänker forskarna, skulle det snart sluta vara vettigt. Dessa modeller kan inte gå på djupet, säger Emily Dinan, den andra projektledaren. De kan inte komma ihåg samtalshistorik längre än några varv.

Blender har också en tendens att hallucinera kunskap eller hitta på fakta - en direkt begränsning av de djupinlärningstekniker som används för att bygga upp den. Det genererar i slutändan sina meningar från statistiska korrelationer snarare än en databas med kunskap. Som ett resultat kan den sätta ihop en detaljerad och sammanhängande beskrivning av till exempel en känd kändis, men med helt falsk information. Teamet planerar att experimentera med att integrera en kunskapsdatabas i chatbotens svarsgenerering.

Mänskliga utvärderare jämförde konversationer i flera svängar med olika chatbots.

FACEBOOK

En annan stor utmaning med alla öppna chatbot-system är att förhindra att de säger giftiga eller partiska saker. Eftersom sådana system i slutändan tränas på sociala medier, kan det sluta med att de blåser upp vitriolen på internet. (Detta hände ökänt Microsofts chatbot Tay 2016.) Teamet försökte ta itu med detta problem genom att be crowdworkers att filtrera bort skadligt språk från de tre datamängder som de använde för finjustering, men det gjorde inte samma sak för Reddit-datauppsättningen på grund av dess storlek. (Alla som har spenderat mycket tid på Reddit kommer att veta varför det kan vara problematiskt.)

Teamet hoppas kunna experimentera med bättre säkerhetsmekanismer, inklusive en klassificerare för giftigt språk som kan dubbelkolla chatbotens svar. Forskarna medger dock att detta tillvägagångssätt inte kommer att vara heltäckande. Ibland kan en mening som Ja, det är bra verka bra, men i ett känsligt sammanhang, som som svar på en rasistisk kommentar, kan den få skadliga betydelser.

På lång sikt är Facebook AI-teamet också intresserade av att utveckla mer sofistikerade samtalsagenter som kan svara på visuella signaler såväl som bara ord. Ett projekt är att utveckla ett system som heter Image Chat, till exempel, som kan samtala förnuftigt och med personlighet om de foton en användare kan skicka.

Dölj