211service.com
Hur Facebook använder maskininlärning för att upptäcka falska konton
Ett falskt Facebook-konto Ms Tech
2019 sjönk Facebook i genomsnitt närmare 2 miljarder falska konton per kvartal. Bedragare använder dessa falska konton för att sprida spam, nätfiske-länkar eller skadlig programvara. Det är en lukrativ verksamhet som kan vara förödande för alla oskyldiga användare som den snärjer.
Facebook släpper nu detaljer om maskininlärningssystem som de använder för att ta sig an denna utmaning. Teknikjätten skiljer mellan två typer av falska konton. Först finns det felklassificerade konton, personliga profiler för företag eller husdjur som är avsedda att vara sidor. Dessa är relativt enkla att hantera – de konverteras bara till sidor. Att kränka konton är å andra sidan allvarligare. Dessa är personliga profiler som ägnar sig åt bedrägeri och spam eller på annat sätt bryter mot plattformens användarvillkor. Konton som bryter mot måste tas bort så snabbt som möjligt utan att kasta ett för brett nät och även fånga riktiga konton.
För att göra detta använder Facebook handkodade regler och maskininlärning för att blockera ett falskt konto antingen innan det skapas eller innan det blir aktivt. Med andra ord, innan det kan skada riktiga användare. Det sista steget är efter att ett falskt konto har gått live. Det är då detektionen blir mycket svårare och där det nya maskininlärningssystemet, känt som Deep Entity Classification (DEC), kommer in.
Går djupt
DEC lär sig att skilja på falska och riktiga användare genom deras anslutningsmönster över nätverket. Det kallar dessa djupa funktioner, och de inkluderar saker som medelåldern eller könsfördelningen för användarens vänner. Facebook använder över 20 000 djupa funktioner för att karakterisera varje konto, vilket ger en ögonblicksbild av hur varje profil beter sig för att göra det svårt för angripare att spela systemet genom att ändra taktik.
Systemet börjar med att använda ett stort antal maskingenererade etiketter med låg precision. Dessa genereras genom en blandning av regler och andra maskininlärningsmodeller som uppskattar om användarna är äkta eller falska. När dessa data väl har använts för att träna ett neuralt nätverk, finjusteras modellen med en liten sats handmärkta data med hög precision, genererade av människor runt om i världen som har en förståelse för lokala kulturella normer.
Det slutliga klassificeringssystemet kan identifiera en av fyra typer av falska profiler: illegitima konton som inte är representativa för personen, komprometterade konton för riktiga användare som har tagits över av angripare, spammare som upprepade gånger skickar inkomstgenererande meddelanden och bedragare som manipulerar användare till lämna ut personlig information. Sedan implementeringen av DEC, säger Facebook, har det hållit volymen av falska konton på plattformen på cirka 5% av månatliga aktiva användare.
Detaljerna om Facebooks saneringsansträngningar kommer mitt i oro för manipulation i det kommande amerikanska presidentvalet, särskilt kring deepfakes. I december, New York Times rapporterad en samordnad desinformationskampanj som använder deepfakes för att samla upp falska konton med övertygande profilbilder.
Säkra valet
Facebook-teamet sa att tidpunkten för releasen bara var en slump. Det här handlar om att bara upptäcka kränkningar i allmänhet; det är inte specifikt inriktat på någon form av valämnen, säger Daniel Bernhardt, ingenjörschef för Facebooks Community Integrity-team. Men DEC skulle vara ett komplement till plattformens andra ansträngningar för att slå ner på valmanipulering. Eftersom systemet förlitar sig på djupa funktioner för att kategorisera varje profil, kommer det att vara motståndskraftigt mot att bli lurad av till exempel djupfalska profilbilder.
Aviv Ovadya, som grundade det ideella Thoughtful Technology Project och studerar plattformsdesign och styrning, säger att Facebooks ansträngning att vara mer transparent med sina saneringsprocedurer är lovvärd. Det kan vara riktigt användbart och kraftfullt att noggrant prata om arkitektoniska beslut – och hur säkerhetssystem fungerar – som kan efterliknas av andra företag, säger han. Eftersom företag som Facebook har betydligt mer resurser att investera än mindre företag, är det användbart att ha denna kunskapsdelning.
Men saneringsarbetet har också en lång väg att gå. Med 2,5 miljarder aktiva användare varje månad är 5 % fortfarande 125 miljoner falska konton. Maskininlärning kommer också att gå så långt: oavsett hur mycket data en modell tränas på, kommer den aldrig att fånga alla dåliga konton med perfekt precision. Plattformen kommer sannolikt att behöva vända sig till andra kombinationer av människor och maskiner för att förbättras.
Uppdatering: En tidigare version av den här artikeln hänvisade till föråldrade siffror om effekterna av Facebooks DEC-system. De har uppdaterats för att återspegla den senaste informationen.