Google säger att dess nya chatbot Meena är den bästa i världen

Kategori: Artificiell intelligens Postad 30 jan

Google har släppt en neural-nätverksdriven chatbot som heter Meena som den hävdar är bättre än någon annan chatbot där ute.

Dataslurp: Meena tränades på hela 341 gigabyte offentligt chatt i sociala medier – 8,5 gånger så mycket data som OpenAI:s GPT-2. Google säger att Meena kan prata om i stort sett vad som helst och till och med hitta på (dåliga) skämt .

Varför det är viktigt: Öppen konversation som täcker ett brett spektrum av ämnen är svårt, och de flesta chatbots kan inte hänga med. Vid något tillfälle säger de flesta saker som inte är meningsfulla eller avslöjar en brist på grundläggande kunskap om världen. En chatbot som undviker sådana misstag kommer att gå långt för att få AI:er att kännas mer mänskliga och göra karaktärer i videospel mer verklighetstrogna.

Sinne och specificitet: För att sätta Meena på prov har Google utvecklat ett nytt mått som det kallar Sensibleness and Specificity Average (SSA), som fångar viktiga attribut för naturliga konversationer, som huruvida varje yttrande är vettigt i sitt sammanhang – vilket många chatbots kan göra – och är specifikt för det som just har sagts, vilket är svårare.

Vad menar du? Till exempel, om du säger att jag gillar tennis och en chatbot svarar. Det är bra, svaret är vettigt men är inte specifikt. Många chatbots förlitar sig på trick som detta för att dölja det faktum att de inte vet vad du pratar om. Å andra sidan är ett svar som Me too – Jag kan inte få nog av Roger Federer specifikt. Google använde crowdworkers för att generera exempel på konversationer och för att poängsätta yttranden i cirka 100 konversationer. Meena fick en SSA-poäng på 79 %, jämfört med 56 % för Mitsuku, en toppmodern chatbot som har vunnit Loebner-priset de senaste fyra åren. Även mänskliga samtalspartners fick bara 86 % i detta nya test.

Kan jag prata med Meena? Inte än. Google säger att det inte kommer att släppa en offentlig demo förrän den har granskat modellen för säkerhet och partiskhet, vilket förmodligen är bra. När Microsoft släppte sin chatbot Tay på Twitter 2016 började den spy ut rasistiska, kvinnofientliga invektiv inom några timmar.