211service.com
Den amerikanska militären vill att dess autonoma maskiner ska förklara sig själva
Underrättelseagenter och militära agenter kan komma att förlita sig mycket på maskininlärning för att analysera enorma mängder data och för att kontrollera en växande arsenal av autonoma system. Men den amerikanska militären vill se till att detta inte leder till att blint litar på någon algoritm.
Defense Advanced Research Projects Agency (DARPA), en avdelning inom försvarsdepartementet som utforskar ny teknik, finansierar flera projekt som syftar till att få artificiell intelligens att förklara sig själv. Tillvägagångssätten sträcker sig från att lägga till ytterligare maskininlärningssystem som är inriktade på att ge en förklaring, till utvecklingen av nya tillvägagångssätt för maskininlärning som innehåller en förklaring genom design.
Vi har nu den här verkliga explosionen av AI, säger David Gunning, DARPA-programledaren som finansierar ett försök att utveckla AI-tekniker som inkluderar en viss förklaring av deras resonemang. Anledningen till det är främst maskininlärning, och i synnerhet djupinlärning.
Deep learning och andra maskininlärningstekniker har tagit Silicon Valley med storm och förbättrat röstigenkänning och bildklassificering avsevärt, och de används i allt fler sammanhang, inklusive områden som brottsbekämpning och medicin, där konsekvenserna av ett misstag kan var allvarlig. Men även om djupinlärning är otroligt bra på att hitta mönster i data, kan det vara omöjligt att förstå hur det når en slutsats. Inlärningsprocessen är matematiskt mycket komplex, och det finns ofta inget sätt att översätta detta till något en person skulle förstå.
Och även om djupinlärning är särskilt svårt att tolka, kan andra maskininlärningstekniker också vara utmanande. Dessa modeller är väldigt ogenomskinliga och svåra för människor att tolka, speciellt om de inte är experter på AI, säger Gunning.
Deep learning är särskilt kryptiskt på grund av dess otroliga komplexitet. Det är ungefär inspirerat av den process genom vilken neuroner i en hjärna lär sig som svar på input. Många lager av simulerade neuroner och synapser är märkta data och deras beteende anpassas tills de lär sig känna igen, säg, en katt på ett fotografi. Men modellen som systemet lärt sig är kodad i vikten av många miljoner neuroner, och är därför mycket utmanande att undersöka. När ett nätverk för djupinlärning känner igen en katt, till exempel, är det inte klart om systemet kan fokusera på morrhåren, öronen eller till och med kattens filt i en bild.
Ofta spelar det kanske inte så stor roll om en maskininlärningsmodell är ogenomskinlig, men detta är inte sant för en underrättelseofficer som försöker identifiera ett potentiellt mål. Det finns några kritiska applikationer där man behöver förklaringen, säger Gunning.
Gunning tillägger att militären utvecklar otaliga autonoma system som utan tvekan kommer att förlita sig mycket på maskininlärningstekniker som djupinlärning. Självkörande fordon, tillsammans med flygdrönare, kommer att användas allt mer under de kommande åren, säger han, och de kommer att bli alltmer kapabla.
Förklarlighet är inte bara viktigt för att motivera beslut. Det kan hjälpa till att förhindra att saker går fel. Ett bildklassificeringssystem som har lärt sig att fokusera rent på textur för kattklassificering kan luras av en lurvig matta. Så att ge en förklaring kan hjälpa forskare att göra sina system mer robusta och hjälpa till att förhindra att de som litar på dem gör misstag.
DARPA finansierar 13 olika forskargrupper, som eftersträvar en rad olika metoder för att göra AI mer förklarlig.
Ett team som valts ut för finansiering kommer från Charles River Analytics, ett företag som utvecklar högteknologiska verktyg för olika kunder, inklusive den amerikanska militären. Det här teamet utforskar nya system för djupinlärning som innehåller en förklaring, till exempel sådana som lyfter fram områden i en bild som verkar mest relevanta för en klassificering. Forskarna experimenterar också med datorgränssnitt som gör hur maskininlärningssystem fungerar mer explicit med data, visualiseringar och till och med naturliga språkförklaringar.
Xia Hu , en professor vid Texas A&M University som leder ett annat av teamen som valts ut för finansiering, säger att problemet också är viktigt inom andra områden där maskininlärning antas, såsom medicin, juridik och utbildning. Utan någon form av förklaring eller resonemang kommer domänexperter inte att lita på resultaten, säger Hu. Det är huvudorsaken till att många domänexperter vägrar att använda maskininlärning eller djupinlärning.