En ny uppsättning bilder som lurar AI kan hjälpa till att göra den mer hackersäker

fotografi som visar en svamp, trollslända och ekorre, alla felmärkta som kringla, brunnslock och sjölejon Unsplash: Florian Van Duyn / Krzysztof Niewolny / Pranay Pareek

Artificiell intelligens är bra på att identifiera objekt i bilder, men det är fortfarande ganska lätt att förstöra det. Lägg till några valfria drag eller lager i statiskt brus som är osynligt för det mänskliga ögat, så kan du kasta av dig ett bildigenkänningssystem, ibland med dödlig effekt. Att lägga till klistermärken på en stoppskylt kan få en självkörande bil att tro att skylten har en hastighetsgräns på 45 mil i timmen, till exempel, medan att lägga till dem på en väg kan få en Tesla att svänga in i det mötande körfältet. (På den ljusa sidan kan samma tekniker också skydda dig från övervakningstillståndet. Du vinner en del, du förlorar en del.)

Alla dessa är kända som motstridiga exempel – och forskare försöker nu utveckla sätt att skydda AI-system från dem. Men i en papper förra året hävdade en grupp forskare vid Google Brain och Princeton, inklusive en av de tidigaste forskarna i detta ämne, Ian Goodfellow , att det framväxande stipendiet var för teoretiskt och missade poängen.

Medan huvuddelen av forskningen fokuserade på att skydda system från specialdesignade störningar, skulle en hackare, sa de, troligen välja ett trubbigare verktyg: ett helt annat foto snarare än ett brusmönster att lägga på ett befintligt. Detta kan också göra att systemet inte beter sig.

Kritiken fick Dan Hendrycks, doktorand vid University of California, Berkeley, att sammanställa en ny bilddatauppsättning . Han kallar bilderna som den innehåller naturliga motstridiga exempel – utan några speciella justeringar lurar de ett system ändå.

De inkluderar saker som en ekorre som vanliga system felmärker som ett sjölejon, eller en trollslända som de felidentifierar som ett brunnslock. Dessa exempel framstår som mycket svårare att försvara sig mot, säger han. Syntetiska motstridiga exempel måste känna till alla AI-systemets försvar för att vara mest effektiva. Däremot kan naturliga exempel fungera ganska bra även när dessa försvar förändras, säger han.

Hendrycks släppte en tidig version av datamängden, med cirka 6 000 bilder, förra veckan vid den internationella konferensen om maskininlärning. Han planerar att släppa en slutversion med närmare 8 000 om ett par veckor. Han avser att forskarvärlden ska använda datamängden som riktmärke.

Med andra ord, snarare än att träna bildigenkänningssystem direkt på bilderna, bör de reservera dem endast för testning. Om folk bara skulle träna på den här datamängden är det bara att memorera de här exemplen, säger han. Det skulle vara att lösa datamängden men inte uppgiften att vara robust mot nya exempel.

Att knäcka logiken bakom de ibland förbryllande fel exemplen orsakar kan leda till mer motståndskraftiga system. Hur förvirrar detta en trollslända för guacamole? Hendrycks skämtar. Det är inte så tydligt varför misstaget överhuvudtaget görs.

Dölj