211service.com
Djupt lärande kan avslöja varför världen fungerar som den gör
En bild av dominobrickor som välter Getty
Den här veckan har AI-forskningsgemenskapen samlats i New Orleans för Internationell konferens om läranderepresentationer (ICLR, uttalas eye-clear), en av dess stora årliga konferenser. Det finns över 3 000 deltagare och 1 500 pappersinlämningar, vilket gör det till ett av de viktigaste forumen för att utbyta nya idéer inom området.
I år är samtalen och de accepterade artiklarna starkt fokuserade på att ta itu med fyra stora utmaningar inom djupinlärning: rättvisa, säkerhet, generaliserbarhet och kausalitet. Om du har följt med MIT Technology Reviews täckning kommer du att känna igen de tre första. Vi har pratat om hur maskininlärningsalgoritmer i deras nuvarande tillstånd är partiska, mottagliga för motstridiga attacker och otroligt begränsade i deras förmåga att generalisera mönstren de hittar i en träningsdatauppsättning för flera applikationer. Nu är forskarvärlden upptagen med att försöka göra tekniken tillräckligt sofistikerad för att mildra dessa svagheter.
Vad vi inte har pratat mycket om är den sista utmaningen: kausalitet. Detta är något forskare har undrat över ett tag. Maskininlärning är bra på att hitta korrelationer i data, men kan det någonsin lista ut orsakssamband ? En sådan prestation skulle vara en enorm milstolpe: om algoritmer kunde hjälpa oss att belysa orsakerna och effekterna av olika fenomen i komplexa system, skulle de fördjupa vår förståelse av världen och låsa upp kraftfullare verktyg för att påverka den.
På måndagen, till ett fullsatt rum, lade den hyllade forskaren Léon Bottou, nu vid Facebooks AI-forskningsenhet och New York University, ett nytt ramverk som han har arbetat med med samarbetspartners för hur vi kan komma dit. Här är min sammanfattning av hans föredrag. Du kan också se den i sin helhet nedan, med början runt 12:00.
Idé #1
Exempelbilder från MNIST-datauppsättningen. Wikipedia
Låt oss börja med Bottou och hans teams första stora idé: ett nytt sätt att tänka om kausalitet. Säg att du vill bygga ett datorseendesystem som känner igen handskrivna siffror. (Det här är en klassiskt inledande problem som använder den allmänt tillgängliga MNIST-datauppsättningen på bilden ovan.) Du skulle träna ett neuralt nätverk på massor av bilder av handskrivna siffror, var och en märkt med det nummer de representerar, och sluta med ett ganska anständigt system för att känna igen nya som det aldrig hade sett förut.
Men låt oss säga att din träningsdatauppsättning är något modifierad och vart och ett av de handskrivna numren har också en färg – röd eller grön – associerad med den. Stäng av din misstro ett ögonblick och föreställ dig att du inte vet om färgen eller formen på markeringarna är en bättre prediktor för siffran. Standardpraxis idag är att helt enkelt märka varje del av träningsdata med båda funktionerna och mata in dem i det neurala nätverket för att det ska kunna avgöra.
Prover från en färgad MNIST-datauppsättning. Léon Bottou
Här blir saker intressanta. Den färgade MNIST-datauppsättningen är medvetet vilseledande. Tillbaka i den verkliga världen vet vi att färgen på markeringarna är helt irrelevant, men i just den här datamängden är färgen i själva verket en starkare prediktor för siffran än dess form. Så vårt neurala nätverk lär sig att använda färg som den primära prediktorn. Det är bra när vi sedan använder nätverket för att känna igen andra handskrivna nummer som följer samma färgmönster. Men prestandan är fullkomlig när vi vänder om färgerna på siffrorna. (När Bottou och hans medarbetare spelade ut detta tankeexperiment med riktiga träningsdata och ett riktigt neuralt nätverk, uppnådde de 84,3 % igenkänningsnoggrannhet i det förra scenariot och 10 % noggrannhet i det senare.)
Med andra ord hittade det neurala nätverket vad Bottou kallar en falsk korrelation, vilket gör det helt värdelöst utanför det snäva sammanhang där det tränades. I teorin, om du kunde bli av med alla falska samband i en maskininlärningsmodell, skulle du bara ha kvar de oföränderliga – de som stämmer oavsett sammanhang.
Invarians skulle i sin tur göra det möjligt för dig att förstå kausalitet, förklarar Bottou. Om du känner till de invarianta egenskaperna hos ett system och känner till interventionen som utförs på ett system, bör du kunna sluta dig till följden av det ingreppet. Till exempel, om du vet att formen på en handskriven siffra alltid dikterar dess innebörd, kan du dra slutsatsen att en förändring av dess form (orsak) skulle ändra dess betydelse (effekt). Ett annat exempel: om du vet att alla föremål är föremål för tyngdlagen, så kan du dra slutsatsen att när du släpper en boll (orsak), kommer den att falla till marken (effekt).
Uppenbarligen är dessa enkla orsak-och-verkan-exempel baserade på invarianta egenskaper som vi redan känner till, men tänk på hur vi skulle kunna tillämpa denna idé på mycket mer komplexa system som vi ännu inte förstår. Tänk om vi kunde hitta de oföränderliga egenskaperna hos våra ekonomiska system, till exempel, så att vi kunde förstå effekterna av att implementera universell basinkomst? Eller de oföränderliga egenskaperna hos jordens klimatsystem, så att vi skulle kunna utvärdera effekterna av olika geotekniska knep?
Idé #2
Så hur blir vi av med dessa falska samband? Detta är Bottous teams andra stora idé. I nuvarande praxis för maskininlärning är standardintuitionen att samla så mycket olika och representativa data som möjligt i en enda träningsuppsättning. Men Bottou säger att detta tillvägagångssätt gör en otjänst. Olika data som kommer från olika sammanhang – oavsett om de samlas in vid olika tidpunkter, på olika platser eller under olika experimentella förhållanden – bör bevaras som separata uppsättningar snarare än blandas och kombineras. När de konsolideras, som de är nu, går viktig kontextuell information förlorad, vilket leder till en mycket högre sannolikhet för falska korrelationer.
Med flera kontextspecifika datamängder är träning av ett neuralt nätverk väldigt annorlunda. Nätverket kan inte längre hitta de korrelationer som bara gäller i en enda varierad träningsdatauppsättning; den måste hitta de korrelationer som är oföränderliga över alla olika datauppsättningar. Och om dessa uppsättningar väljs smart från ett helt spektrum av sammanhang, bör de slutliga korrelationerna också nära överensstämma med grundsanningens oföränderliga egenskaper.
Så låt oss återgå till vårt enkla färgade MNIST-exempel en gång till. Baserat på sin teori för att hitta invarianta egenskaper, körde Bottou och medarbetare om sitt ursprungliga experiment. Den här gången använde de två färgade MNIST-datauppsättningar, var och en med olika färgmönster. De tränade sedan sitt neurala nätverk för att hitta de samband som gällde i båda grupperna. När de testade den här förbättrade modellen på nya nummer med samma och omvända färgmönster, uppnådde den 70 % igenkänningsnoggrannhet för båda. Resultaten visade att det neurala nätverket hade lärt sig att bortse från färg och fokusera enbart på markeringarnas former.
Bottou säger att hans teams arbete med dessa idéer inte är klart, och att det kommer att ta forskarsamhället lite tid att testa teknikerna på problem som är mer komplicerade än färgade siffror. Men ramverket antyder potentialen hos djupinlärning för att hjälpa oss förstå varför saker händer, och därmed ge oss mer kontroll över våra öden.