211service.com
Den mörka hemligheten i hjärtat av AI
Ingen vet riktigt hur de mest avancerade algoritmerna gör vad de gör. Det kan vara ett problem. 11 april 2017
Keith Rankin
Förra året släpptes en märklig självkörande bil på de tysta vägarna i Monmouth County, New Jersey. Det experimentella fordonet, utvecklat av forskare vid chiptillverkaren Nvidia, såg inte annorlunda ut från andra autonoma bilar, men det liknade inte något som demonstrerats av Google, Tesla eller General Motors, och det visade den ökande kraften hos artificiell intelligens. Bilen följde inte en enda instruktion från en ingenjör eller programmerare. Istället förlitade den sig helt på en algoritm som hade lärt sig att köra bil genom att se en människa göra det.
Att få en bil att köra på detta sätt var en imponerande bedrift. Men det är också lite oroande, eftersom det inte är helt klart hur bilen fattar sina beslut. Information från fordonets sensorer går rakt in i ett enormt nätverk av artificiella neuroner som bearbetar data och sedan levererar de kommandon som krävs för att manövrera ratten, bromsarna och andra system. Resultatet tycks matcha de svar du kan förvänta dig från en mänsklig förare. Men tänk om den en dag gjorde något oväntat - kraschade in i ett träd eller satt vid grönt ljus? Som det ser ut nu kan det vara svårt att ta reda på varför. Systemet är så komplicerat att även ingenjörerna som designade det kan kämpa för att isolera orsaken till varje enskild åtgärd. Och du kan inte fråga det: det finns inget självklart sätt att designa ett sådant system så att det alltid kan förklara varför det gjorde som det gjorde.
Den här historien var en del av vårt majnummer 2017
- Se resten av frågan
- Prenumerera
Det mystiska sinnet i detta fordon pekar på ett hotande problem med artificiell intelligens . Bilens underliggande AI-teknik, känd som djupinlärning, har visat sig mycket kraftfull för att lösa problem under de senaste åren, och den har använts i stor utsträckning för uppgifter som bildtextning, röstigenkänning och språköversättning. Det finns nu hopp om att samma tekniker kommer att kunna diagnostisera dödliga sjukdomar, fatta handelsbeslut för miljoner dollar och göra otaliga andra saker för att förändra hela industrier.
Men detta kommer inte att hända – eller borde inte hända – om vi inte hittar sätt att göra tekniker som djupinlärning mer förståeliga för deras skapare och ansvarsfulla gentemot deras användare. Annars kommer det att vara svårt att förutse när misslyckanden kan inträffa – och det är oundvikligt att de kommer att göra det. Det är en anledning till att Nvidias bil fortfarande är experimentell.
Redan nu används matematiska modeller för att hjälpa till att avgöra vem som gör villkorlig frigivning, vem som är godkänd för ett lån och vem som blir anställd för ett jobb. Om du kunde få tillgång till dessa matematiska modeller skulle det vara möjligt att förstå deras resonemang. Men banker, militären, arbetsgivare och andra riktar nu sin uppmärksamhet mot mer komplexa metoder för maskininlärning som kan göra automatiserat beslutsfattande helt outgrundligt. Deep learning, det vanligaste av dessa tillvägagångssätt, representerar ett fundamentalt annorlunda sätt att programmera datorer. Det är ett problem som redan är relevant, och det kommer att bli mycket mer relevant i framtiden, säger Tommi Jaakkola, professor vid MIT som arbetar med tillämpningar av maskininlärning. Oavsett om det är ett investeringsbeslut, ett medicinskt beslut eller kanske ett militärt beslut, vill du inte bara lita på en 'svart låda'-metod.
Det finns redan ett argument om att det är en grundläggande juridisk rättighet att kunna förhöra ett AI-system om hur det nådde sina slutsatser. Från och med sommaren 2018 kan EU kräva att företag ska kunna ge användarna en förklaring till beslut som automatiserade system når. Detta kan vara omöjligt, även för system som verkar relativt enkla på ytan, som appar och webbplatser som använder djupinlärning för att visa annonser eller rekommendera låtar. Datorerna som kör dessa tjänster har programmerat sig själva, och de har gjort det på sätt som vi inte kan förstå. Även ingenjörerna som bygger dessa appar kan inte helt förklara sitt beteende.
Detta väcker häpnadsväckande frågor. När tekniken går framåt kan vi snart passera en tröskel över vilken användning av AI kräver ett språng i tro. Visst, vi människor kan inte heller alltid verkligen förklara våra tankeprocesser – men vi hittar sätt att intuitivt lita på och mäta människor. Kommer det också att vara möjligt med maskiner som tänker och fattar beslut annorlunda än en människa skulle göra? Vi har aldrig tidigare byggt maskiner som fungerar på ett sätt som deras skapare inte förstår. Hur väl kan vi förvänta oss att kommunicera – och komma överens med – intelligenta maskiner som kan vara oförutsägbara och outgrundliga? Dessa frågor tog mig på en resa till den blödande kanten av forskning om AI-algoritmer, från Google till Apple och många ställen däremellan, inklusive ett möte med en av vår tids stora filosofer.
Konstnären Adam Ferriss skapade den här bilden, och den nedan, med hjälp av Google Deep Dream, ett program som justerar en bild för att stimulera mönsterigenkänningsförmågan hos ett djupt neuralt nätverk. Bilderna producerades med hjälp av ett mellannivålager av det neurala nätverket. Adam Ferriss
2015 inspirerades en forskargrupp vid Mount Sinai Hospital i New York att tillämpa djupinlärning på sjukhusets stora databas med patientjournaler. Denna datamängd innehåller hundratals variabler om patienter, hämtade från deras testresultat, läkarbesök och så vidare. Det resulterande programmet, som forskarna döpte till Deep Patient, tränades med hjälp av data från cirka 700 000 individer, och när det testades på nya register visade det sig vara otroligt bra på att förutsäga sjukdom. Utan någon expertinstruktion hade Deep Patient upptäckt mönster gömda i sjukhusdata som tycktes indikera när människor var på väg till ett brett spektrum av åkommor, inklusive levercancer. Det finns många metoder som är ganska bra på att förutsäga sjukdom från en patients register, säger Joel Dudley, som leder berget Sinai-teamet. Men, tillägger han, det här var bara mycket bättre.
Vi kan bygga dessa modeller, men vi vet inte hur de fungerar.
Samtidigt är Deep Patient lite förbryllande. Det verkar förutse uppkomsten av psykiatriska störningar som schizofreni förvånansvärt bra. Men eftersom schizofreni är notoriskt svårt för läkare att förutsäga, undrade Dudley hur detta var möjligt. Han vet fortfarande inte. Det nya verktyget ger ingen aning om hur det gör detta. Om något som Deep Patient faktiskt kommer att hjälpa läkare, kommer det idealiskt att ge dem skälen till dess förutsägelse, för att försäkra dem om att det är korrekt och för att motivera, säg, en förändring av de läkemedel som någon ordineras. Vi kan bygga de här modellerna, säger Dudley bedrövligt, men vi vet inte hur de fungerar.
Artificiell intelligens har inte alltid varit så här. Från början fanns det två skolor om hur begriplig eller förklarlig AI borde vara. Många tyckte att det var mest meningsfullt att bygga maskiner som resonerade enligt regler och logik, vilket gör deras inre funktion transparent för alla som bryr sig om att undersöka någon kod. Andra ansåg att intelligens lättare skulle komma fram om maskiner tog inspiration från biologin och lärde sig genom att observera och uppleva. Detta innebar att vända datorprogrammering på huvudet. Istället för att en programmerare skriver kommandona för att lösa ett problem, genererar programmet sin egen algoritm baserat på exempeldata och en önskad utdata. Maskininlärningsteknikerna som senare skulle utvecklas till dagens mest kraftfulla AI-system följde den senare vägen: maskinen programmerar i huvudsak sig själv.
Till en början var detta tillvägagångssätt av begränsad praktisk användning, och på 1960- och 70-talen förblev det till stor del begränsad till fältets utkant. Sedan förnyade datoriseringen av många branscher och uppkomsten av stora datamängder intresset. Det inspirerade utvecklingen av mer kraftfulla maskininlärningstekniker, särskilt nya versioner av en känd som det artificiella neurala nätverket. På 1990-talet kunde neurala nätverk automatiskt digitalisera handskrivna tecken.
Men det var inte förrän i början av detta decennium, efter flera smarta justeringar och finesser, som mycket stora – eller djupa – neurala nätverk visade dramatiska förbättringar i automatiserad perception. Deep learning är ansvarigt för dagens explosion av AI. Det har gett datorer extraordinära krafter, som förmågan att känna igen talade ord nästan lika bra som en person kunde, en färdighet som är för komplex för att koda in i maskinen för hand. Deep learning har förändrat datorseendet och dramatiskt förbättrat maskinöversättning. Den används nu för att vägleda alla möjliga viktiga beslut inom medicin, ekonomi, tillverkning – och vidare.
Adam Ferriss
Funktionen hos all maskininlärningsteknik är i sig mer ogenomskinlig, även för datavetare, än ett handkodat system. Detta är inte att säga att alla framtida AI-tekniker kommer att vara lika okända. Men till sin natur är djupinlärning en särskilt mörk svart låda.
Du kan inte bara titta in i ett djupt neuralt nätverk för att se hur det fungerar. Ett nätverks resonemang är inbäddat i beteendet hos tusentals simulerade neuroner, ordnade i dussintals eller till och med hundratals intrikat sammanlänkade lager. Neuronerna i det första lagret får var och en en input, som intensiteten av en pixel i en bild, och utför sedan en beräkning innan de matar ut en ny signal. Dessa utmatningar matas, i en komplex väv, till neuronerna i nästa lager, och så vidare, tills en total utdata produceras. Dessutom finns det en process känd som back-propagation som justerar beräkningarna av individuella neuroner på ett sätt som låter nätverket lära sig att producera en önskad utdata.
De många lagren i ett djupt nätverk gör att det kan känna igen saker på olika abstraktionsnivåer. I ett system utformat för att känna igen hundar, till exempel, känner de lägre lagren igen enkla saker som konturer eller färg; högre lager känner igen mer komplexa saker som päls eller ögon; och det översta lagret identifierar det hela som en hund. Samma tillvägagångssätt kan appliceras, grovt sett, på andra ingångar som får en maskin att lära sig själv: ljuden som utgör ord i tal, bokstäverna och orden som skapar meningar i text, eller rattrörelserna som krävs för att köra.
Det kan vara en del av intelligensens natur att bara en del av den är utsatt för rationell förklaring. En del av det är bara instinktivt.
Geniala strategier har använts för att försöka fånga och därmed förklara mer i detalj vad som händer i sådana system. Under 2015 modifierade forskare på Google en algoritm för bildigenkänning baserad på djupinlärning så att den istället för att upptäcka objekt i foton genererade eller modifierade dem. Genom att effektivt köra algoritmen baklänges kunde de upptäcka funktionerna som programmet använder för att känna igen till exempel en fågel eller byggnad. De resulterande bilder , producerad av ett projekt känt som Deep Dream, visade groteska, utomjordiska djur som dyker upp från moln och växter, och hallucinatoriska pagoder som blommar över skogar och bergskedjor. Bilderna visade att djupinlärning inte behöver vara helt outgrundlig; de avslöjade att algoritmerna bygger på välbekanta visuella funktioner som en fågelnäbb eller fjädrar. Men bilderna antydde också hur annorlunda djup inlärning är från mänsklig perception, i det att det kan göra något av en artefakt som vi skulle veta att ignorera. Googles forskare noterade att när dess algoritm genererade bilder av en hantel, genererade den också en mänsklig arm som håller den. Maskinen hade kommit fram till att en arm var en del av saken.
Ytterligare framsteg har gjorts med hjälp av idéer lånade från neurovetenskap och kognitionsvetenskap. Ett team ledd av Jeff Clune, en biträdande professor vid University of Wyoming, har använt AI-motsvarigheten till optiska illusioner för att testa djupa neurala nätverk. 2015 visade Clunes grupp hur vissa bilder kunde lura ett sådant nätverk att uppfatta saker som inte finns där, eftersom bilderna utnyttjar de lågnivåmönster som systemet söker efter. En av Clunes medarbetare, Jason Yosinski, byggde också ett verktyg som fungerar som en sond som fastnat i en hjärna. Hans verktyg riktar sig mot vilken neuron som helst i mitten av nätverket och söker efter den bild som aktiverar den mest. Bilderna som dyker upp är abstrakta (föreställ dig en impressionistisk inställning av en flamingo eller en skolbuss), som framhäver den mystiska karaktären hos maskinens perceptuella förmågor.
Detta tidiga artificiella neurala nätverk, vid Cornell Aeronautical Laboratory i Buffalo, New York, cirka 1960, bearbetade indata från ljussensorer.
Ferriss blev inspirerad att köra Cornells artificiella neurala nätverk genom Deep Dream, och producerade bilderna ovan och nedan. Adam Ferriss
Vi behöver dock mer än en glimt av AI:s tänkande, och det finns ingen enkel lösning. Det är samspelet mellan beräkningar i ett djupt neuralt nätverk som är avgörande för mönsterigenkänning på högre nivå och komplext beslutsfattande, men dessa beräkningar är en gräv av matematiska funktioner och variabler. Om du hade ett väldigt litet neuralt nätverk skulle du kanske kunna förstå det, säger Jaakkola. Men när det väl blir väldigt stort, och det har tusentals enheter per lager och kanske hundratals lager, då blir det ganska obegripligt.
På kontoret bredvid Jaakkola finns Regina Barzilay, en MIT-professor som är fast besluten att tillämpa maskininlärning på medicin. Hon fick diagnosen bröstcancer för ett par år sedan, vid 43 års ålder. Diagnosen var chockerande i sig, men Barzilay var också bestört över att banbrytande statistiska och maskininlärningsmetoder inte användes för att hjälpa till med onkologisk forskning eller för att vägleda patientbehandling. Hon säger att AI har en enorm potential att revolutionera medicinen, men att inse den potentialen kommer att innebära att gå längre än bara medicinska journaler. Hon föreställer sig att använda mer av den råa data som hon säger för närvarande är underutnyttjad: bilddata, patologidata, all denna information.
Hur väl kan vi komma överens med maskiner som är oförutsägbara och outgrundliga?
Efter att hon avslutade cancerbehandlingen förra året började Barzilay och hennes studenter arbeta med läkare vid Massachusetts General Hospital för att utveckla ett system som kan ta fram patologirapporter för att identifiera patienter med specifika kliniska egenskaper som forskare kanske vill studera. Men Barzilay förstod att systemet skulle behöva förklara sitt resonemang. Så, tillsammans med Jaakkola och en elev, lade hon till ett steg: systemet extraherar och markerar textavsnitt som är representativa för ett mönster som det har upptäckt. Barzilay och hennes elever utvecklar också en algoritm för djupinlärning som kan hitta tidiga tecken på bröstcancer i mammografibilder, och de syftar till att ge detta system en viss förmåga att förklara dess resonemang också. Du måste verkligen ha en slinga där maskinen och människan samarbetar, säger Barzilay.
Den amerikanska militären öser in miljarder i projekt som kommer att använda maskininlärning för att styra fordon och flygplan, identifiera mål och hjälpa analytiker att sålla igenom enorma högar av underrättelseinformation. Här mer än någon annanstans, till och med mer än inom medicin, finns det lite utrymme för algoritmiskt mysterium, och försvarsdepartementet har identifierat förklaringsbarhet som en viktig stötesten.
David Gunning, en programledare på Defense Advanced Research Projects Agency, övervakar det passande namnet Explainable Artificiell Intelligens-programmet. En silverhårig veteran från byrån som tidigare övervakade DARPA-projektet som så småningom ledde till skapandet av Siri, säger Gunning att automatisering smyger sig in i otaliga områden av militären. Intelligensanalytiker testar maskininlärning som ett sätt att identifiera mönster i stora mängder övervakningsdata. Många autonoma markfordon och flygplan utvecklas och testas. Men soldater kommer förmodligen inte att känna sig bekväma i en robottank som inte förklarar sig för dem, och analytiker kommer att vara ovilliga att agera på information utan något resonemang. Det är ofta naturen hos dessa maskininlärningssystem att de producerar många falska larm, så en intelligensanalytiker behöver verkligen extra hjälp för att förstå varför en rekommendation gjordes, säger Gunning.
I mars valde DARPA ut 13 projekt från akademi och industri för finansiering under Gunnings program. Några av dem kunde bygga på arbete som leddes av Carlos Guestrin, professor vid University of Washington. Han och hans kollegor har utvecklat ett sätt för maskininlärningssystem att ge en motivering för sina resultat. Under denna metod hittar en dator automatiskt några exempel från en datamängd och ger dem en kort förklaring. Ett system utformat för att klassificera ett e-postmeddelande som att det kommer från en terrorist, till exempel, kan använda många miljoner meddelanden i sin utbildning och beslutsfattande. Men med hjälp av Washington-teamets tillvägagångssätt kan det lyfta fram vissa nyckelord som finns i ett meddelande. Guestrins grupp har också utarbetat sätt för bildigenkänningssystem att antyda deras resonemang genom att lyfta fram de delar av en bild som var mest betydelsefulla.
Adam Ferriss
En nackdel med detta tillvägagångssätt och andra liknande det, som Barzilays, är att förklaringarna alltid kommer att vara förenklade, vilket innebär att viss viktig information kan gå förlorad på vägen. Vi har inte uppnått hela drömmen, det är där AI har en konversation med dig, och den kan förklara, säger Guestrin. Vi är långt ifrån att ha riktigt tolkbar AI.
Det behöver inte vara en situation med hög insats som cancerdiagnos eller militära manövrar för att detta ska bli ett problem. Att känna till AI:s resonemang kommer också att vara avgörande om tekniken ska bli en vanlig och användbar del av vårt dagliga liv. Tom Gruber, som leder Siri-teamet på Apple, säger att förklaring är en viktig faktor för hans team när det försöker göra Siri till en smartare och mer kapabel virtuell assistent. Gruber skulle inte diskutera specifika planer för Siris framtid, men det är lätt att föreställa sig att om du får en restaurangrekommendation från Siri, så vill du veta vad resonemanget var. Ruslan Salakhutdinov, chef för AI-forskning på Apple och docent vid Carnegie Mellon University, ser förklaringsbarhet som kärnan i det utvecklande förhållandet mellan människor och intelligenta maskiner. Det kommer att införa förtroende, säger han.
Relaterad berättelse
Läs Nästa Maskiner som verkligen förstår språk skulle vara otroligt användbara. Men vi vet inte hur man bygger dem.Precis som många aspekter av mänskligt beteende är omöjliga att förklara i detalj, kanske det inte kommer att vara möjligt för AI att förklara allt det gör. Även om någon kan ge dig en rimligt klingande förklaring [för hans eller hennes handlingar], är den förmodligen ofullständig, och detsamma kan mycket väl vara sant för AI, säger Clune, vid University of Wyoming. Det kanske bara är en del av intelligensens natur att bara en del av den är utsatt för rationell förklaring. En del av det är bara instinktivt, eller undermedvetet, eller outgrundligt.
Om det är så kan vi i något skede behöva helt enkelt lita på AI:s omdöme eller göra utan att använda den. På samma sätt måste den bedömningen inkludera social intelligens. Precis som samhället bygger på ett kontrakt av förväntat beteende, kommer vi att behöva designa AI-system för att respektera och passa våra sociala normer. Om vi ska skapa robottankar och andra avlivningsmaskiner är det viktigt att deras beslutsfattande överensstämmer med våra etiska bedömningar.
För att undersöka dessa metafysiska begrepp gick jag till Tufts University för att träffa Daniel Dennett, en känd filosof och kognitionsvetare som studerar medvetande och sinne. Ett kapitel i Dennetts senaste bok, Från bakterier till Bach och tillbaka , en encyklopedisk avhandling om medvetande, antyder att en naturlig del av själva intelligensens utveckling är skapandet av system som kan utföra uppgifter som deras skapare inte vet hur de ska göra. Frågan är vilka anpassningar vi måste göra för att göra detta klokt – vilka standarder kräver vi av dem och av oss själva? berättar han på sitt röriga kontor på universitetets idylliska campus.
Han har också ett varningens ord om strävan efter förklaring. Jag tror att om vi ska använda de här sakerna och lita på dem, så låt oss få ett så fast grepp om hur och varför de ger oss svaren som möjligt, säger han. Men eftersom det kanske inte finns något perfekt svar, bör vi vara lika försiktiga med AI-förklaringar som vi är med varandras – oavsett hur smart en maskin verkar. Om det inte kan bli bättre än vi på att förklara vad det gör, säger han, lita inte på det.