211service.com
Finansvärlden vill öppna AI:s svarta lådor
Kraftfulla metoder för maskininlärning har tagit teknikvärlden med storm under de senaste åren, avsevärt förbättrat röst- och bildigenkänning, maskinöversättning och många andra saker.
Nu är dessa tekniker redo att upphäva otaliga andra branscher, inklusive finansvärlden. Men framsteg kan hindras av ett betydande problem: det är ofta omöjligt att förklara hur dessa djupinlärningsalgoritmer når ett beslut (se The Dark Secret at the Heart of AI).
Adam Wenchel, vice vd för maskininlärning och datainnovation på Capital One, säger att företaget skulle vilja använda djupinlärning för alla möjliga funktioner, inklusive att bestämma vem som beviljas ett kreditkort. Men det kan den inte göra eftersom lagen kräver att företag förklarar orsaken till ett sådant beslut för en potentiell kund. I slutet av förra året skapade Capital One ett forskarteam, ledd av Wenchel, dedikerade till att hitta sätt att göra dessa datortekniker mer förklarliga.
Vår forskning är att säkerställa att vi kan bibehålla den höga ribban för förklaring när vi driver in i dessa mycket mer avancerade och i sig mer ogenomskinliga modeller, säger han.
Deep learning har växt fram under de senaste fem åren som ett kraftfullt sätt att efterlikna mänskliga perceptuella förmågor. Tillvägagångssättet innebär att träna ett mycket stort neuralt nätverk för att känna igen mönster i data. Den är löst inspirerad av en teori om hur neuroner och synapser underlättar inlärning. Även om varje simulerad neuron helt enkelt är en matematisk funktion, gör komplexiteten i dessa sammanlänkade funktioner resonemanget i ett djupt nätverk extremt svårt att reda ut.
Vissa andra maskininlärningstekniker, inklusive de som överträffar djupinlärning i vissa scenarier, är mycket mer transparenta. Men djupinlärning, som möjliggör sofistikerad analys som är användbar för finansbranschen, kan vara mycket svår att förhöra.
Vissa startups strävar efter att utnyttja oron över opaciteten hos befintliga algoritmer genom att lova att använda mer transparenta tillvägagångssätt (se En AI-driven kreditformel kan hjälpa dig att få ett lån).
Denna fråga kan bli mer betydande under de närmaste åren eftersom djupinlärning blir mer vanligt förekommande och när tillsynsmyndigheter riktar sin uppmärksamhet mot algoritmisk ansvarighet. Från och med nästa år, enligt sin allmänna dataskyddsförordning, kan Europeiska unionen kräva att vilket företag som helst ska kunna förklara ett beslut som fattats av en av dess algoritmer.
Problemet har också uppmärksammats av Defense Advanced Research Projects Agency, som gör forskning åt det amerikanska försvarsdepartementet. Förra året lanserade DARPA ett försök att finansiera metoder för att göra maskininlärning mindre ogenomskinlig (se USA:s militär vill att autonoma maskiner ska förklara sig). De 13 projekt som valts ut för finansiering visar en mängd olika metoder för att göra algoritmer mer transparenta.
Förhoppningen är att djupinlärning kan användas för att gå längre än att bara matcha mänskliga perceptuella förmågor. Ett kreditkortsföretag kan till exempel mata in kredithistorik och annan finansiell information till ett djupt nätverk och träna det att känna igen personer som kan misslyckas med sina kreditkortsbetalningar.
Capital One tittar också på djupinlärning som ett sätt att automatiskt upptäcka bedrägliga avgifter mer tillförlitligt, säger Wenchel, även om företaget är försiktig med att lita på ett sådant system när dess resonemang inte kan granskas. Vi verkar i en hårt reglerad bransch, säger han. Vi måste kunna förklara både internt och för människor varför vi fattar beslut. Och se till att vi fattar beslut av rätt skäl.
Deep learning är ett väldigt stort modeord just nu, och det har skett stora framsteg inom datorseende och naturlig språkbehandling, säger Trevor Darrell , en professor vid UC Berkeley som leder ett av projekten som valts ut för finansiering från DARPA. Men [djupinlärningssystem] kritiseras eftersom det ibland är svårt att ta reda på vad som händer inuti dem.
För DARPA-projektet utvecklar Darrells grupp flera nya metoder för djupinlärning, inklusive mer komplexa djupa nätverk som kan lära sig flera saker samtidigt. Det finns också tillvägagångssätt som inkluderar en förklaring i träningsdata: i fallet med bildtextning, till exempel, skulle en bild som klassificeras som en katt paras ihop med en förklaring till varför den klassificerades som sådan. Samma tillvägagångssätt skulle kunna användas för att klassificera kreditkortsavgifter som bedrägliga. Alla dessa saker får oss till mer tolkbara djupa nätverk, säger Darrell.