Facebook har ett neuralt nätverk som kan göra avancerad matematik

Här är en utmaning för de matematiskt lagda bland er. Lös följande differentialekvation för Y :

Du har 30 sekunder på dig. Snabbt! Inget tjafs.

Svaret är förstås:

Om du inte kunde hitta en lösning, må inte så dåligt. Detta uttryck är så knepigt att till och med olika kraftfulla matematiska mjukvarupaket misslyckades, även efter 30 sekunders siffror.

Och ändå säger Guillaume Lample och François Charton, på Facebook AI Research i Paris, att de har utvecklat en algoritm som gör jobbet med bara ett ögonblicks eftertanke. Dessa killar har tränat ett neuralt nätverk för att utföra de nödvändiga symboliska resonemang för att differentiera och integrera matematiska uttryck för första gången. Arbetet är ett viktigt steg mot mer kraftfulla matematiska resonemang och ett nytt sätt att tillämpa neurala nätverk bortom traditionella mönsterigenkänningsuppgifter.

Först lite bakgrund. Neurala nätverk har blivit enormt framgångsrika vid mönsterigenkänningsuppgifter som ansikts- och objektigenkänning, vissa typer av naturlig språkbehandling och till och med att spela spel som schack, Go och Space Invaders.

Men trots mycket ansträngning har ingen kunnat träna dem att göra symboliska resonemangsuppgifter som de som är involverade i matematik. Det bästa som neurala nätverk har uppnått är addition och multiplikation av heltal.

För både neurala nätverk och människor är en av svårigheterna med avancerade matematiska uttryck den stenografi de förlitar sig på. Till exempel uttrycket x 3 är ett förkortat sätt att skriva x multiplicerat med x multiplicerat med x . I det här exemplet är multiplikation en förkortning för upprepad addition, som i sig är en förkortning för det totala värdet av två kombinerade kvantiteter.

Det är lätt att se att även ett enkelt matematiskt uttryck är en mycket förtätad beskrivning av en sekvens av mycket enklare matematiska operationer.

Så det är ingen överraskning att neurala nätverk har kämpat med denna typ av logik. Om de inte vet vad stenografin representerar är det liten chans att de lär sig använda den. Människor har faktiskt ett liknande problem, ofta ingjutet från tidig ålder.

Ändå, på den grundläggande nivån, involverar processer som integration och differentiering fortfarande mönsterigenkänningsuppgifter, om än dolda av matematisk stenografi.

Ange Lample och Charton, som har kommit på ett elegant sätt att packa upp matematisk stenografi i sina grundläggande enheter. De lär sedan ett neuralt nätverk att känna igen mönster av matematisk manipulation som är likvärdiga med integration och differentiering. Slutligen släpper de det neurala nätverket lös på uttryck som det aldrig har sett och jämför resultaten med svaren från konventionella lösare som Mathematica och Matlab.

Den första delen av denna process är att bryta ner matematiska uttryck i deras beståndsdelar. Lample och Charton gör detta genom att representera uttryck som trädliknande strukturer. Bladen på dessa träd är siffror, konstanter och variabler som x ; de interna noderna är operatorer som addition, multiplikation, differentiera-med-respekt-till och så vidare.

Till exempel kan uttrycket 2 + 3 x (5+2) skrivas som:

Och uttrycket

är:

Och så vidare.

Träd är lika när de är matematiskt likvärdiga. Till exempel,
2 + 3 = 5 = 12 - 7 = 1 x 5 är alla ekvivalenta; därför är deras träd också likvärdiga.

Många matematiska operationer är lättare att hantera på detta sätt. Till exempel innebär uttrycksförenkling att hitta en kortare ekvivalent representation av ett träd, säg Lample och Charton.

Dessa träd kan också skrivas som sekvenser och tar varje nod i följd. I denna form är de mogna för bearbetning av ett neuralt nätverkssätt som kallas seq2seq.

Intressant nog används detta tillvägagångssätt ofta även för maskinöversättning, där en sekvens av ord på ett språk måste översättas till en sekvens av ord på ett annat språk. Lample och Charton säger faktiskt att deras tillvägagångssätt i huvudsak behandlar matematik som ett naturligt språk.

Nästa steg är utbildningsprocessen, och detta kräver en enorm databas med exempel att lära av. Lample och Charton skapar denna databas genom att slumpmässigt sammanställa matematiska uttryck från ett bibliotek av binära operatorer som addition, multiplikation och så vidare; unära operatorer såsom cos, sin och exp; och en uppsättning variabler, heltal och konstanter, såsom π och e. De begränsar också antalet interna noder för att förhindra att ekvationerna blir för stora.

Även med ett relativt litet antal noder och matematiska komponenter är antalet möjliga uttryck enormt. Varje slumpmässig ekvation integreras sedan och differentieras med hjälp av ett datoralgebrasystem. Alla uttryck som inte kan integreras kasseras.

På så sätt genererar forskarna en massiv träningsdatauppsättning bestående av till exempel 80 miljoner exempel på första och andra ordningens differentialekvationer och 20 miljoner exempel på uttryck integrerade av delar.

Genom att krossa denna datamängd lär sig det neurala nätverket hur man beräknar derivatan eller integralen av ett givet matematiskt uttryck.

Slutligen satte Lample och Charton sitt neurala nätverk igenom dess takt genom att mata det 5 000 uttryck som det aldrig har sett förut och jämföra resultaten som det producerar i 500 fall med de från kommersiellt tillgängliga lösare, som Maple, Matlab och Mathematica.

Dessa lösare använder en algoritmisk metod som utarbetades på 1960-talet av den amerikanske matematikern Robert Risch. Rischs algoritm är dock enorm och kan uppgå till 100 sidor enbart för integration. Så symbolisk algebra-mjukvara använder ofta nedskurna versioner för att påskynda saker och ting.

Jämförelserna mellan dessa och neurala nätverksstrategin är avslöjande. På alla uppgifter observerar vi att vår modell avsevärt överträffar Mathematica, säger forskarna. På funktionsintegration uppnår vår modell nära 100 % noggrannhet, medan Mathematica knappt når 85 %. Och Maple- och Matlab-paketen presterar mindre bra än Mathematica i genomsnitt.

I många fall kan de konventionella lösarna inte hitta en lösning alls, med 30 sekunder på sig att försöka. Som jämförelse tar det neurala nätet ungefär en sekund att hitta sina lösningar. Exemplet överst på den här sidan är ett av dessa.

Ett intressant resultat är att det neurala nätverket ofta hittar flera likvärdiga lösningar på samma problem. Det beror på att matematiska uttryck vanligtvis kan skrivas på många olika sätt.

Denna förmåga är något av ett lockande mysterium för forskarna. Modellens förmåga att återställa likvärdiga uttryck, utan att ha tränats för att göra det, är väldigt spännande, säger Lample och Charton.

Det är ett betydande genombrott. Så vitt vi vet har ingen studie undersökt förmågan hos neurala nätverk att upptäcka mönster i matematiska uttryck, säger paret.

Nu när de har gjort det har resultatet helt klart en enorm potential i den allt viktigare och mer komplexa världen av beräkningsmatematik.

Forskarna avslöjar inte Facebooks planer för detta tillvägagångssätt. Men det är inte svårt att se hur det skulle kunna erbjuda sin egen symboliska algebratjänst som överträffar marknadsledarna.

Det är dock osannolikt att konkurrenterna sitter stilla. Förvänta dig en mäktig strid i beräkningsmatematikens värld.

Ref: arxiv.org/abs/1912.01412 : Djupt lärande för symbolisk matematik

Dölj