Denna AI kommer att skapa tweets som du aldrig kommer att veta är skräppost

Förra månaden blev en del personer som twittrade om Pokémon Go ovetande föremål i ett experiment som kunde förebåda en oroande ny typ av onlineattack.





Branschforskare tränade maskininlärningsprogramvara för att skriva tweets som en människa för att svara på vissa personer med hashtaggen #Pokemon, i en demonstration av hur framsteg inom programvara som förstår språk kan användas för att lura människor online. Ungefär en tredjedel av de personer som var inriktade på programvaran klickade på en godartad länk som skickades med programvaran för att testa hur övertygande den var.

Det är mycket högre än den 5 till 10 procentiga framgångsfrekvensen som är typisk för automatiska nätfiskemeddelanden som syftar till att lura människor att klicka på länkar för att leverera skadlig programvara eller stjäla lösenord, säger John Seymour, senior dataforskare på säkerhetsföretaget ZeroFOX . Maskininlärningssystemet kommer nära den ungefär 40 procentiga framgångsfrekvensen för spearphishing-meddelanden som är handgjorda för att lura en specifik person, säger han.

Spearphishing är mycket manuellt och tar tiotals minuter per mål, säger Seymour. Detta tillvägagångssätt är nästan lika exakt och det är automatiserat, så det kan användas i mycket större skala. Tweetarna ser inte alla väldigt polerade ut, men de är effektiva, säger han. Vissa personer svarade och sa att länken var bruten och bad om att den skulle skickas igen.

Seymour presenterade resultaten av sina experiment med kollegan Phil Tully vid Black Hats datorsäkerhetskonferens i Las Vegas i torsdags. Paret säger att deras arbete visar att maskininlärningsteknologi kan tillåta brottslingar att dramatiskt öka sina framgångar.

Nätfiske och spearphishing är redan betydande problem. Cisco rapporterade förra året att nätfiskemeddelanden skickade via Facebook var den främsta orsaken till obehörig åtkomst till företagsnätverk.



ZeroFOX-forskarnas programvara, SNAP_R, kan fungera på två sätt. Man använder samma artificiella intelligensteknik, djupinlärning, som används av företag som Google för att göra system som kan förstå och översätta språk. Den tränades på två miljoner Twitter-meddelanden, vilket gjorde att den kunde generera egna tweets med realistiskt utseende.

Systemets andra läge är mer målinriktat. Den lär sig hur man tweetar genom att titta på en individs senaste tweets och matar in dem i en äldre teknik som kallas en Markov-kedja. Det kan sedan generera tweets som liknar de som skrivits av målet, som en person kan klicka på och tro att ett meddelande skrevs av en person med liknande intressen.



SNAP_R kan också identifiera och rikta in sig på de mest inflytelserika och aktiva personerna som pratar om specifika ämnen eller använder en specifik hashtag. Den letar efter nyckelord som VD i en persons profil och indikatorer som deras antal följare. ZeroFOX släpper en version av programvaran för att hjälpa forskare att tänka på potentialen för dessa typer av attacker och hur man försvarar sig mot dem.

ZeroFox-programvaran genererade dessa tweets för att försöka lura folk på Twitter.

Mike Murray, vice vd för säkerhetsforskning på mobilsäkerhetsföretaget Lookout, kallar möjligheten att använda maskininlärning för att automatisera processen att lura människor online skrämmande. Men han tror att det kommer att ta lite tid innan den typen av tillvägagångssätt används för att iscensätta riktiga attacker.



Trots de senaste framstegen kräver de bästa maskininlärningsteknikerna fortfarande specialiserad expertis och är långt ifrån perfekta för att skapa språk. Google är ledande inom maskininlärning och språk. Men dess Inbox-app som kan generera svar på e-postmeddelanden kan bara föreslå korta svar på en mening, säger Murray. Om Google inte kan generera mer än en mening kan jag förmodligen inte generera ett riktigt bra nätfiske-e-postmeddelande.

ZeroFOXs Tully förutsäger inte heller någon utbredd kriminell användning av automatiserat spearphishing i morgon. Men han hävdar att maskininlärningsalgoritmer blir enklare att använda och att de inte behöver behärska språket perfekt för att bli framgångsrika på sociala medier. Människor som använder Twitter förväntar sig att interagera med främlingar och att se mindre än polerad syntax, säger han. På Twitter är kulturen så tillåtande och du behöver inte ha perfekt engelska eller grammatik.

Dölj