AI för cybersäkerhet är en het ny sak – och en farlig chansning

Bild av kod överlagd på ett foto av händer på ett tangentbord för bärbar dator Unsplash

När jag gick runt på mässgolvet på veckans massiva Black Hat cybersäkerhetskonferens i Las Vegas slogs jag av antalet företag som skröt om hur de använder maskininlärning och artificiell intelligens för att göra världen till en säkrare plats.

Men vissa experter oroar sig för att leverantörer inte uppmärksammar de risker som är förknippade med att förlita sig mycket på dessa tekniker. Vad som händer är lite oroande, och i vissa fall till och med farligt, varnar Raffael Marty från säkerhetsföretaget Forcepoint.

Säkerhetsbranschens hunger efter algoritmer är förståelig. Den står inför en tsunami av cyberattacker precis när antalet enheter som är anslutna till internet exploderar. Samtidigt råder det en enorm brist på kvalificerade cyberarbetare (se Cybersäkerhets smygande nya hot: stress på arbetsstyrkan).

Att använda maskininlärning och AI för att automatisera hotupptäckt och -svar kan lätta bördan för anställda och potentiellt hjälpa till att identifiera hot mer effektivt än andra programvarudrivna metoder.

Datafaror

Men Marty och några andra som talar på Black Hat säger att många företag nu rullar ut maskininlärningsbaserade produkter eftersom de känner att de måste för att få en publik med kunder som har köpt in sig i AI-hypecykeln. Och det finns en risk att de förbiser sätt på vilka maskininlärningsalgoritmerna kan skapa en falsk känsla av säkerhet.

Många produkter som rullas ut involverar övervakad inlärning, vilket kräver att företag väljer och märker datamängder som algoritmer tränas på – till exempel genom att tagga kod som är skadlig kod och kod som är ren.

Marty säger att en risk är att företag, när de skyndar sig att få ut sina produkter på marknaden, använder utbildningsinformation som inte har rensats ordentligt från onormala datapunkter. Det kan leda till att algoritmen missar några attacker. En annan är att hackare som får tillgång till ett säkerhetsföretags system kan korrumpera data genom att byta etikett så att vissa exempel på skadlig programvara märks som ren kod.

De onda behöver inte ens manipulera data; istället kan de ta reda på funktionerna i kod som en modell använder för att flagga skadlig kod och sedan ta bort dessa från sin egen skadliga kod så att algoritmen inte fångar den.

En mot många

I en session på konferensen flaggade Holly Stewart och Jugal Parikh från Microsoft risken för övertilltro till en enda huvudalgoritm för att driva ett säkerhetssystem. Faran är att om den algoritmen äventyras finns det ingen annan signal som skulle flagga ett problem med den.

För att skydda mot detta, Microsofts Windows Defender-hotskyddstjänst använder en mängd olika algoritmer med olika träningsdatauppsättningar och funktioner. Så om en algoritm hackas kommer resultaten från de andra – förutsatt att deras integritet inte har äventyras – att belysa anomalien i den första modellen.

Utöver dessa frågor. Forcepoints Marty noterar att med vissa mycket komplexa algoritmer kan det vara riktigt svårt att räkna ut varför de faktiskt spottar ut vissa svar. Denna förklaringsproblematik kan göra det svårt att bedöma vad som driver eventuella anomalier som dyker upp (se Den mörka hemligheten i hjärtat av AI).

Inget av detta betyder att AI och maskininlärning inte borde ha en viktig roll i en defensiv arsenal. Budskapet från Marty och andra är att det är verkligen viktigt för säkerhetsföretag – och deras kunder – att övervaka och minimera riskerna förknippade med algoritmiska modeller.

Det är ingen liten utmaning med tanke på att människor med den idealiska kombinationen av djup expertis inom cybersäkerhet och datavetenskap fortfarande är lika sällsynta som en sval dag i en sommar i Las Vegas.

Dölj