Neuralt nätverk betygsätter bilder för lyckonivåer

Sentimentanalys revolutionerar studiet av kommunikation med ett flertal företag som nu erbjuder det som en tjänst. Tanken är att studera mönster av ord i meddelanden som tweets och bloggar för att avgöra i vilken utsträckning de är positiva eller negativa. Det gör att företag, organisationer och politiska partier automatiskt kan spåra åsikter om sina varumärken.





Men medan denna teknik har utvecklats har lite forskning fokuserat på känslorna i bilder. Idag förändras det tack vare arbetet av Can Xu vid University of California, San Diego, och en grupp forskare från Yahoo Labs i Sunnyvale. Dessa människor har utvecklat ett sätt att automatiskt bedöma känslorna som är förknippade med en bild och säga att den överträffar andra toppmoderna tekniker.

Xu och co börjar inte från noll. Även om känslor i bilder till stor del har ignorerats, är problemet med objektigenkänning i bilder ett välutvecklat fält som har förbättrats med stormsteg de senaste åren.

Så Xu och co börjar med ett neuralt nätverk som redan tränats på en datamängd av bilder som visar objekt indelade i 1000 klassificeringar. När en bild visas ger detta nätverk en fördelning som visar hur troligt det är att bilden faller in i var och en av dessa 1 000 klassificeringar.



Det är denna 1 000-dimensionella produktion som Xu och co använder i sin forskning. De tar först två datamängder av bilder från Tumblr och Twitter som redan har bedömts för sentiment på en femgradig skala av mycket negativ, negativ, neutral, positiv och mycket positiv.

De tränar sedan en maskininlärningsalgoritm för att hitta en korrelation mellan 1 000-dimensionens utdata och sentimentet. Efter att ha tränat maskinen jämför de den sedan med två andra toppmoderna sentimentanalystekniker, till exempel en som bygger på visuella funktioner på låg nivå som bildfärg och en annan som heter SentiBank, som genererar en adjektiv-substantivbeskrivning av en bild och ger därför en känsla av känsla.

Xu och co säger att deras teknik dramatiskt överträffar de befintliga metoderna. Experiment visar att våra föreslagna modeller överträffar de senaste metoderna på både Twitter- och Tumblr-datauppsättningar, säger de.



Det är en användbar start i det begynnande området för bildkänslig analys. Resultaten för första gången tyder på att Convolutional Neural Networks är mycket lovande för visuell sentimentanalys, säger de.

Ändå finns ett stort arbete framför oss. Ett ökänt problem med ordbaserad sentimentanalys är att den inte klarar av subtila kulturella influenser, såsom sarkasm och ironi. Och denna typ av unikt mänskligt beteende kan allvarligt minska tillförlitligheten av sentimentanalys.

Hur viktiga dessa typer av egenheter kommer att vara för bilder har ännu inte fastställts, men bildkänslan kan vara ännu ett område där mänsklig prestation snart kommer att övervakas och kanske till och med matchas av maskiner.



Ref: arxiv.org/abs/1411.5731 : Visuell sentimentprediktion med djupa konvolutionella neurala nätverk

Dölj