AI har knäckt ett viktigt matematiskt pussel för att förstå vår värld

matematiskt genererade landskap

Ms Tech | Science Photo Library via AP





Om du inte är fysiker eller ingenjör, finns det verkligen inte mycket anledning för dig att veta om partiella differentialekvationer. Jag vet. Efter år av att studera dem i grundutbildningen medan jag studerade maskinteknik, har jag aldrig använt dem sedan i den verkliga världen.

Men partiella differentialekvationer, eller PDE:er, är också något magiska. De är en kategori av matematiska ekvationer som är riktigt bra på att beskriva förändringar över rum och tid, och därför mycket praktiska för att beskriva de fysiska fenomenen i vårt universum. De kan användas för att modellera allt från planetbanor till plattektonik till luftturbulensen som stör en flygning, vilket i sin tur gör att vi kan göra praktiska saker som att förutsäga seismisk aktivitet och designa säkra plan.

Haken är att PDE:er är notoriskt svåra att lösa. Och här illustreras kanske innebörden av solve bäst med ett exempel. Säg att du försöker simulera luftturbulens för att testa en ny plandesign. Det finns en känd PDE som heter Navier-Stokes som används för att beskriva rörelsen hos vilken vätska som helst. Genom att lösa Navier-Stokes kan du ta en ögonblicksbild av luftens rörelse (a.k.a. vindförhållanden) vid vilken tidpunkt som helst och modellera hur den kommer att fortsätta att röra sig, eller hur den rörde sig tidigare.



Dessa beräkningar är mycket komplexa och beräkningsintensiva, vilket är anledningen till att discipliner som använder många PDE:er ofta förlitar sig på superdatorer för att räkna ut. Det är också därför som AI-fältet har intresserat sig särskilt för dessa ekvationer. Om vi ​​kunde använda djupinlärning för att påskynda processen att lösa dem, skulle det kunna göra mycket nytta för vetenskaplig forskning och ingenjörskonst.

Nu har forskare vid Caltech introducerat en ny teknik för djupinlärning för att lösa PDE:er som är dramatiskt mer exakt än djupinlärningsmetoder som utvecklats tidigare. Det är också mycket mer generaliserbart, kan lösa hela familjer av PDE:er – som Navier-Stokes ekvation för vilken typ av vätska som helst – utan att behöva omskolning. Slutligen är den 1 000 gånger snabbare än traditionella matematiska formler, vilket skulle underlätta vårt beroende av superdatorer och öka vår beräkningskapacitet att modellera ännu större problem. Det är rätt. Kom an.

Hammardags

Innan vi dyker in i hur forskarna gjorde detta, låt oss först uppskatta resultaten. I gif-bilden nedan kan du se en imponerande demonstration. Den första kolumnen visar två ögonblicksbilder av en vätskas rörelse; den andra visar hur vätskan fortsatte att röra sig i verkligheten; och den tredje visar hur det neurala nätverket förutspådde att vätskan skulle röra sig. Den ser i princip identisk ut med den andra.



Tidningen har fått mycket surr på Twitter, och även ett shout-out från rapparen MC Hammer . Ja verkligen.

Okej, tillbaka till hur de gjorde det.



När funktionen passar

Det första att förstå här är att neurala nätverk i grunden är funktionsapproximatorer. (Säg vad?) När de tränar på en datamängd av parade ingångar och utgångar, beräknar de faktiskt funktionen, eller serier av matematiska operationer, som kommer att överföra den ena till den andra. Tänk på att bygga en kattdetektor. Du tränar det neurala nätverket genom att mata det med massor av bilder av katter och saker som inte är katter (ingångarna) och märka varje grupp med en 1 respektive 0 (utgångarna). Det neurala nätverket letar sedan efter den bästa funktionen som kan omvandla varje bild av en katt till en 1:a och varje bild av allt annat till en 0. Det är så det kan se på en ny bild och berätta om det är en katt eller inte. Den använder funktionen den hittade för att beräkna sitt svar - och om träningen var bra, kommer den att få det rätt för det mesta.

Bekvämt är denna funktionsapproximationsprocess vad vi behöver för att lösa en PDE. Vi försöker i slutändan hitta en funktion som bäst beskriver, säg, luftpartiklars rörelse över fysiskt rum och tid.

Här är kärnan i tidningen. Neurala nätverk är vanligtvis tränade för att approximera funktioner mellan ingångar och utgångar definierade i det euklidiska rummet, din klassiska graf med x-, y- och z-axlar. Men den här gången bestämde sig forskarna för att definiera ingångarna och utgångarna i Fourierrymden, som är en speciell typ av graf för att plotta vågfrekvenser. Intuitionen som de hämtade från arbete inom andra områden är att något som luftens rörelse faktiskt kan beskrivas som en kombination av vågfrekvenser, säger Anima Anandkumar, en Caltech-professor som övervakade forskningen tillsammans med sina kollegor, professorerna Andrew Stuart och Kaushik Bhattacharya. Den allmänna vindriktningen på makronivå är som en låg frekvens med mycket långa, slöa vågor, medan de små virvlarna som bildas på mikronivå är som höga frekvenser med mycket korta och snabba.



Varför spelar detta någon roll? Eftersom det är mycket lättare att approximera en Fourier-funktion i Fourierrymden än att bråka med PDE:er i det euklidiska rymden, vilket avsevärt förenklar det neurala nätverkets jobb. Se stora precisions- och effektivitetsvinster: förutom dess enorma hastighetsfördel jämfört med traditionella metoder, uppnår deras teknik en 30 % lägre felfrekvens vid lösning av Navier-Stokes än tidigare metoder för djupinlärning.

Det hela är extremt smart, och gör också metoden mer generaliserbar. Tidigare djupinlärningsmetoder måste tränas separat för varje typ av vätska, medan denna bara behöver tränas en gång för att hantera dem alla, vilket bekräftades av forskarnas experiment. Även om de ännu inte har försökt utvidga detta till andra exempel, borde det också kunna hantera varje jordsammansättning när man löser PDEs relaterade till seismisk aktivitet, eller varje materialtyp när man löser PDE relaterade till värmeledningsförmåga.

Supersimulering

Professorerna och deras doktorander gjorde inte den här forskningen bara för det teoretiska nöjet. De vill föra AI till fler vetenskapliga discipliner. Det var genom att prata med olika medarbetare inom klimatvetenskap, seismologi och materialvetenskap som Anandkumar först bestämde sig för att ta sig an PDE-utmaningen med sina kollegor och studenter. De arbetar nu med att omsätta sin metod i praktiken tillsammans med andra forskare vid Caltech och Lawrence Berkeley National Laboratory.

Ett forskningsämne som Anandkumar är särskilt upphetsad om: klimatförändringar. Navier-Stokes är inte bara bra på att modellera luftturbulens; det används också för att modellera vädermönster. Att ha bra, finkorniga väderprognoser på global skala är ett så utmanande problem, säger hon, och även på de största superdatorerna kan vi inte göra det i global skala idag. Så om vi kan använda dessa metoder för att påskynda hela pipelinen, skulle det ha oerhört stor effekt.

Det finns också många, många fler ansökningar, tillägger hon. I den meningen är himlen gränsen, eftersom vi har ett allmänt sätt att snabba upp alla dessa applikationer.

Dölj