211service.com
Hur illvillig maskininlärning kunde spåra ur AI
Jeremy Portje
Artificiell intelligens kommer inte att revolutionera någonting om hackare kan bråka med det.
Det är varningen från Dawn Song , en professor vid UC Berkeley som är specialiserad på att studera säkerhetsriskerna med AI och maskininlärning.
När Song talade vid EmTech Digital, ett evenemang i San Francisco producerat av MIT Technology Review, varnade Song för att nya tekniker för att sondera och manipulera maskininlärningssystem – kända inom området som kontradiktoriska metoder för maskininlärning – kan orsaka stora problem för alla som vill utnyttja kraften hos AI i affärer.
Song sa att motståndskraftig maskininlärning kan användas för att attackera nästan vilket system som helst som bygger på tekniken.
Det är ett stort problem, sa hon till publiken. Vi måste gå samman för att fixa det.
Motstridig maskininlärning innebär att experimentellt mata in input i en algoritm för att avslöja informationen den har tränats på, eller att förvränga indata på ett sätt som gör att systemet inte beter sig. Genom att mata in massor av bilder i en datorseendealgoritm, till exempel, är det möjligt att omvända dess funktion och säkerställa vissa typer av utdata, inklusive felaktiga.
Song presenterade flera exempel på kontradiktoriskt lärande knep som hennes forskargrupp har utforskat.
Ett projekt, som genomfördes i samarbete med Google, innebar att undersöka maskininlärningsalgoritmer tränade för att generera automatiska svar från e-postmeddelanden (i detta fall Enron e-postdatauppsättning ). Insatsen visade att genom att skapa rätt meddelanden är det möjligt att få maskinmodellen att spotta ut känsliga uppgifter som kreditkortsnummer. Fynden användes av Google för att förhindra att Smart Compose, verktyget som automatiskt genererar text i Gmail, utnyttjas.
Ett annat projekt innebar att modifiera vägskyltar med några ofarliga klistermärken för att lura datorseendesystemen som används i många fordon. I en videodemo visade Song hur bilen kunde luras att tro att en stoppskylt faktiskt säger att hastighetsgränsen är 45 miles per timme. Detta kan vara ett stort problem för ett automatiserat körsystem som förlitar sig på sådan information.
Motstridig maskininlärning är ett område av växande intresse för maskinlärande forskare. Under de senaste åren har andra forskargrupper visat hur online-API:er för maskininlärning kan undersökas och utnyttjas för att hitta sätt att lura dem eller för att avslöja känslig information.
Föga överraskande är motståndskraftig maskininlärning också av stort intresse för försvarssamfundet. Med ett växande antal militära system – inklusive avkänning och vapensystem – som utnyttjar maskininlärning, finns det en enorm potential för dessa tekniker att användas både defensivt och offensivt.
I år lanserade Pentagons forskningsarm, DARPA, ett stort projekt som heter Guaranteeing AI Robustness against Deception (GARD), som syftar till att studera kontradiktorisk maskininlärning. Hava Siegelmann , chef för GARD-programmet, berättade nyligen för MIT Technology Review att målet med detta projekt var att utveckla AI-modeller som är robusta inför ett brett utbud av motståndsattacker, snarare än att bara kunna försvara sig mot specifika sådana.