Programvara som byter ut ord kan nu lura AI:n bakom Alexa och Siri

Kategori: Artificiell intelligens Postad 07 februari

Nyheterna: Programvara som heter TextFooler kan lura NLP-system (natural-language processing) att missförstå text bara genom att ersätta vissa ord i en mening med synonymer. I tester kunde den sänka noggrannheten hos tre toppmoderna NLP-system dramatiskt. Till exempel var Googles kraftfulla BERT neurala nät sämre med en faktor fem till sju när det gällde att identifiera om recensioner på Yelp var positiva eller negativa.

De testade attacken på NLP-system som tränats för att utföra uppgifter som att identifiera nyhetsämnen, upptäcka falska nyheter och analysera känslor. I alla fall, AI blev betydligt värre .

Hur det fungerar: Programvaran, utvecklad av ett team vid MIT, letar efter orden i en mening som är viktigast för en NLP-klassificerare och ersätter dem med en synonym som en människa skulle tycka är naturlig. Till exempel, ändra meningen Karaktärerna, gjutna i omöjligt konstruerade situationer, är totalt främmande från verkligheten till Karaktärerna, gjutna under omöjligt konstruerade omständigheter, är helt främmande från verkligheten gör ingen verklig skillnad för hur vi läser den. Men justeringarna fick en AI att tolka meningarna helt annorlunda.

Varför det är viktigt: Vi har sett många exempel på sådana kontradiktoriska attacker, oftast med bildigenkänningssystem, där små förändringar av indata kan flummoxa en AI och göra att den felklassificerar vad den ser. TextFooler visar att den här attackstilen också bryter mot NLP, AI:n bakom virtuella assistenter – som Siri, Alexa och Google Home – såväl som andra språkklassificerare som spamfilter och hattalsdetektorer. Forskarna säger att verktyg som TextFooler kan hjälpa till att göra NLP-system mer robusta genom att avslöja deras svagheter.