Machine Vision's Achilles' Heel avslöjad av Google Brain Researchers

En av de mest spektakulära framstegen inom modern vetenskap har varit framväxten av maskinseende. På bara några år har en ny generation maskininlärningstekniker förändrat hur datorer ser.

Maskiner överträffar nu människor i ansiktsigenkänning och objektigenkänning och är i färd med att revolutionera många synbaserade uppgifter som körning, säkerhetsövervakning och så vidare. Maskinseende är nu övermänskligt.

Men ett problem dyker upp. Maskinseendeforskare har börjat märka några oroande brister i sina nya laddningar. Det visar sig att maskinseendealgoritmer har en akilleshäl som gör att de kan luras av bilder modifierade på sätt som skulle vara triviala för en människa att upptäcka.

Dessa modifierade bilder kallas motstridiga bilder, och de är ett betydande hot. Ett motsatt exempel för ansiktsigenkänningsdomänen kan bestå av mycket subtila markeringar som appliceras på en persons ansikte, så att en mänsklig observatör skulle känna igen sin identitet korrekt, men ett maskininlärningssystem skulle känna igen dem som en annan person, säger Alexey Kurakin och Samy Bengio på Google Brain och Ian Goodfellow från OpenAI, ett ideellt AI-forskningsföretag.

Eftersom system för maskinseende är så nya är lite känt om motstridiga bilder. Ingen förstår hur man bäst skapar dem, hur de lurar maskinseendesystem eller hur man skyddar sig mot denna typ av attack.

Idag börjar det förändras tack vare Kurakin och cos arbete, som har börjat studera motståndsbilder systematiskt för första gången. Deras arbete visar hur sårbara maskinseendesystem är för denna typ av attack.

Teamet börjar med en standarddatabas för forskning om maskinseende, känd som ImageNet. Detta är en databas med bilder klassificerade efter vad de visar. Ett standardtest är att träna en maskinseendealgoritm på en del av denna databas och sedan testa hur väl den klassificerar en annan del av databasen.

Prestandan i dessa tester mäts genom att räkna hur ofta algoritmen har rätt klassificering i sina topp 5 svar eller till och med dess topp 1 svar (dess så kallade topp 5 noggrannhet eller topp 1 noggrannhet) eller hur ofta den inte har rätt svara i sin topp 5 eller topp 1 (dess topp 5 felfrekvens eller topp 1 felfrekvens).

Ett av de bästa maskinseendesystemen är Googles Inception v3-algoritm, som har en topp 5 felfrekvens på 3,46 procent. Människor som gör samma test har en topp 5 felfrekvens på cirka 5 procent, så Inception v3 har verkligen övermänskliga förmågor.

Kurakin och co skapade en databas med motstridiga bilder genom att modifiera 50 000 bilder från ImageNet på tre olika sätt. Deras metoder utnyttjar idén att neurala nätverk bearbetar information för att matcha en bild med en viss klassificering. Mängden information som detta kräver, kallad korsentropin, är ett mått på hur svår matchningsuppgiften är.

Deras första algoritm gör en liten förändring i en bild på ett sätt som försöker maximera denna korsentropi. Deras andra algoritm itererar helt enkelt denna process för att ytterligare förändra bilden.

Dessa algoritmer ändrar båda bilden på ett sätt som gör det svårare att klassificera korrekt. Dessa metoder kan resultera i ointressanta felklassificeringar, som att missta en slädhundsras med en annan slädhundsras, säger de.

Deras slutliga algoritm har mycket smartare tillvägagångssätt. Detta modifierar en bild på ett sätt som styr maskinseendesystemet till att felklassificera den på ett specifikt sätt, helst en som är minst lik den sanna klassen. Den minst sannolika klassen skiljer sig vanligtvis mycket från den sanna klassen, så den här attackmetoden resulterar i mer intressanta misstag, som att missta en hund för ett flygplan, säger Kurakin och co.

De testar sedan hur väl Googles Inception v3-algoritm kan klassificera de 50 000 motstridiga bilderna.

De två enkla algoritmerna minskar avsevärt topp 5- och topp 1-noggrannheten. Men deras mest kraftfulla algoritm – den minst sannolika klassmetoden – reducerar snabbt noggrannheten till noll för alla 50 000 bilder. (Teamet säger inte hur framgångsrik algoritmen är för att styra felklassificeringar.)

Det tyder på att motståndsbilder är ett betydande hot men det finns en potentiell svaghet i detta tillvägagångssätt. Alla dessa motstridiga bilder matas direkt in i maskinseendet.

Men i den verkliga världen kommer en bild alltid att modifieras av kamerasystemet som spelar in bilderna. Och en motstridig bildalgoritm skulle vara värdelös om denna process neutraliserade dess effekt. Så en viktig fråga är hur robusta dessa algoritmer är för de transformationer som äger rum i den verkliga världen.

För att testa detta skriver Kurakin och co ut alla motstridiga bilder tillsammans med originalen och fotograferar dem för hand med en Nexus 5-smarttelefon. De matar sedan in dessa förvandlade motståndsbilder till maskinseendesystemet.

Kurakin och co säger att den minst sannolika klassmetoden är den mest sårbara för den här typen av transformationer men att de andra klarar sig ganska bra. Med andra ord, motstridiga bildalgoritmer är verkligen ett hot i den verkliga världen. En betydande del av motstridiga bilder som skapats med hjälp av det ursprungliga nätverket är felklassificerade även när de matas till klassificeraren via kameran, säger teamet.

Det är intressant arbete som kastar ett viktigt ljus på maskinseendes akilleshäl. Och det finns mycket arbete framför oss. Kurakin och co vill utveckla motstridiga bilder för andra typer av synsystem och göra dem ännu mer effektiva.

Allt detta kommer att höja några ögonbryn i datasäkerhetsgemenskapen. Maskinseendesystem är nu bättre än människor på att känna igen ansikten, så det är naturligt att förvänta sig att de är vana vid allt från att låsa upp smartphones och ytterdörrar till passkontroll och bankkontobiometri. Men Kurakin och co lyfter möjligheten att lura dessa system med lätthet.

Under de senaste åren har vi lärt oss mycket om hur bra maskinvisionssystem kan vara. Nu tar vi bara reda på hur lätt de kan luras.

Ref: arxiv.org/abs/1607.02533 : Motstridiga exempel i den fysiska världen

Dölj