En algoritm tränad på Emoji vet när du är sarkastisk på Twitter

Graham Roumieu

Bläddra igenom Twitter och du hittar massor av sarkastiska kommentarer – för att inte tala om många fall där sarkasm uppenbarligen gick rakt över någons huvud.

Lyckligtvis kan en algoritm som MIT-forskare utvecklat för att analysera tweets nu upptäcka sarkasm och känslomässig undertext i allmänhet bättre än de flesta människor.

Att upptäcka känslorna hos inlägg på sociala medier är redan användbart för att spåra attityder till varumärken och produkter och för att identifiera signaler som kan indikera trender på finansmarknaderna. Men att mer exakt urskilja innebörden av tweets och kommentarer kan hjälpa datorer att automatiskt upptäcka och avskaffa övergrepp och hatretorik online. En djupare förståelse för Twitter bör också hjälpa akademiker att förstå hur information och inflytande flödar genom nätverket. Dessutom, när maskiner blir smartare, kan förmågan att känna känslor bli en viktig del av kommunikationen människa-till-maskin.

Relaterad berättelse

Relaterad berättelse Domstolar, banker och andra institutioner använder automatiserade dataanalyssystem för att fatta beslut om ditt liv. Låt oss inte överlåta det till algoritmtillverkarna att avgöra om de gör det på rätt sätt.

Forskarna hade ursprungligen som mål att utveckla ett system som kan upptäcka rasistiska inlägg på Twitter. Men de insåg snart att innebörden av många meddelanden inte kunde förstås korrekt utan en viss förståelse för sarkasm.

Algoritmen använder djupinlärning, en populär maskininlärningsteknik som bygger på att träna ett mycket stort simulerat neuralt nätverk för att känna igen subtila mönster med hjälp av en stor mängd data. Hemligheten med att träna denna algoritm var att många tweets redan använder något som ett märkningssystem för känslomässigt innehåll: emoji. När de väl utnyttjade detta för att hjälpa systemet att läsa tweets för känslor i allmänhet, hade forskarna ett försprång med att lära det känna igen sarkasm.

Eftersom vi inte kan använda intonation i vår röst eller kroppsspråk för att kontextualisera vad vi säger, är emoji hur vi gör det online, säger Iyad Rahwan , en docent vid MIT Media Lab som utvecklade algoritmen med en av sina elever, Bjarke Felbo . Det neurala nätverket lärde sig sambandet mellan en viss typ av språk och en emoji.

För att träna algoritmen, kallad DeepMoji, samlade forskarna 55 miljarder tweets och valde sedan ut 1,2 miljarder innehållande en kombination av 64 populära emojier. Först tränade de systemet att förutsäga vilken emoji som skulle användas med ett visst budskap, beroende på om det var glad, ledsen, humoristisk och så vidare. Efter det lärdes systemet att identifiera sarkasm med hjälp av en befintlig datamängd av märkta exempel. Algoritmen som hade förtränats med emoji var mycket bättre på att upptäcka sarkasm än en som inte hade gjort det. De kommer att släppa algoritmen för alla att använda.

För att se hur bra DeepMoji är testade forskarna den mot flera riktmärken för att känna av känslor och känslor i text. De fann att det presterade mycket bättre än de bästa befintliga algoritmerna i varje fall.

De testade det också mot människor, med hjälp av volontärer som rekryterats genom crowdsourcing-sajten Mechanical Turk. De fann att det var bättre än människorna på att upptäcka sarkasm och andra känslor på Twitter. Det var 82 procent korrekt när det gällde att identifiera sarkasm korrekt, jämfört med en genomsnittlig poäng på 76 procent för de mänskliga frivilliga.

Webbplatsen DeepMoji kan automatiskt generera emoji för en tweet.

Det kan vara så att det lär sig alla olika slang, säger Felbo. Människor har väldigt intressanta användningar av språk [på Twitter] – låt oss uttrycka det så.

Forskarna har byggt en DeepMoji hemsida för att demonstrera emoji-delen av systemet. Det kommer automatiskt att lägga till lämplig emoji till ett stycke text. Det verkar fungera ganska bra, även om jag försökte mata in Donald Trumps nu ökända covfefe tweet det var lika förvirrat som alla andra.

Sidan låter också användare bidra till forskningen genom att kommentera sina egna tweets med känslor. Det här är en viktig del av arbetet, säger Rahwan. Vanligtvis låter forskare frivilliga tagga andras tweets eller inlägg med upplevda känslor, vilket ger ett mindre direkt mått. Dessa riktmärken fångar inte vad psykologer skulle betrakta som sanna känslor, säger han.

Gary King , chef för Institutet för kvantitativ samhällsvetenskap vid Harvard University och expert på att bryta sociala nätverk för mening, säger att det är en smart idé att använda emoji som träningsmedel. Men han ifrågasätter hur värdefullt det är att identifiera sarkasm om den går förlorad för de flesta. Om sarkasmen är så nyanserad att en mänsklig läsare sannolikt skulle missa den, så spelar det egentligen ingen roll, säger han.

Ändå speglar arbetet det faktum att datorer gradvis blir bättre på att känna av mänskliga känslor. Sentimentanalys av text är redan en mycket använd teknik. Det kan till exempel hjälpa företag att utifrån innehållet i ett e-post- eller chattmeddelande avgöra om en kund är särskilt arg.

Det kan bli allt vanligare att datorer försöker tyda våra känslor. Föreställ dig kanske en robotkollega som förstår när dess mänskliga kollegor blir frustrerade – eller när de levererar en sarkastisk komplimang.

Om maskiner ska samarbeta med oss, då måste de förstå oss, och känslor är verkligen svårt, säger Rahwan.

Dölj