Deep Learning skapar jordliknande terräng genom att studera NASAs satellitbilder

Landskapen i tv-spel och konstgjorda världar kan genereras på två sätt. Den första är att handgjorda terrängen och befolka den med lämpliga färger och texturer som stenar, gräs, träd, snö och så vidare. Detta ger resultat av hög kvalitet men är dyrt på grund av det mänskliga arbetet som är involverat.

Den andra metoden är att generera landskapet algoritmiskt, en process som är mycket snabbare och billigare. Det är så spelare i spelet Minecraft går in i ett helt nytt landskap varje gång de spelar.

Algoritmerna bakom denna process är väl utvecklade och programmerare har finjusterat dem under åren för att producera olika klimat, texturer, höjdvariationer och så vidare. Men nya landskapsgenererande algoritmer är i sig tidskrävande och dyra att skriva. Så ett sätt att automatisera deras skapande skulle vara ett betydande framsteg.

Idag säger Christopher Beckham och Christopher Pal vid Montreal Institute of Learning Algorithms i Kanada att de har tränat en djupinlärningsmaskin för att skapa realistiska landskap med hjälp av satellitbilder av jorden som träningsuppsättning. I själva verket skriver maskinen sin egen algoritm. Arbetet lovar att avsevärt förändra hur konstgjorda landskap kan skapas i farten.

Systemet som Beckham och Pal utnyttjar kallas ett generativt motståndsnätverk. Den består av två djupinlärningsmaskiner som arbetar tillsammans för att lösa ett problem, i det här fallet genererar realistisk terräng.

Den första maskinen genererar ny terräng medan den andra utvärderar resultaten och ger feedback. Den första maskinen använder sedan denna feedback för att producera ytterligare en uppsättning landskap, som den andra maskinen utvärderar med feedback, och så vidare. Tanken är att den andra maskinen lär sig att producera landskap som matchar feedbacken från den första maskinen.

En viktig del av denna process är att lära den första maskinen hur ett idealiskt landskap ska se ut. Den här typen av uppgifter har blivit enkla i maskininlärning när det finns en stor databas med bilder att lära sig av – till exempel i ansiktsigenkänning eller objektigenkänning. Men det har ännu inte gjorts för terränggenerering på detta sätt.

Så Beckham och Pals första mål var att skapa en databas med bilder för träning.

Det visar sig att exakt den här typen av data är tillgänglig tack vare NASA:s Visible Earth-program, som har skapat en detaljerad karta över vår hemplanet. Detta inkluderar data om höjd, form och färg.

NASA:s bilder är enorma: 21 600 pixlar gånger 10 800 pixlar. De visar hela planeten, där varje pixel representerar en kvadratkilometer på ytan. Beckham och Pal tar ett slumpmässigt fönster på 512 x 512 pixlar och skjuter det över bilderna för att skapa en stor databas med bildprover för träning. De tar bort alla bilder som till stor del är svarta (d.v.s. som visar rent hav) så att träningen inte blir för trivial. Texturerna i samlingen kan motsvara olika biomer som djungel, öken och arktis, säger de.

De använder sedan denna datamängd för att träna en djupinlärningsmaskin att känna igen realistiska jordterränger av olika typer. Därefter satte de upp en annan maskin för djupinlärning för att generera bilder på 512x512 pixlar slumpmässigt. Den skickar dessa kartor till den utbildade maskinen, som utvärderar dem och skickar sin feedback.

Till en början är naturligtvis de genererade landskapen dåliga representationer av jordens terräng. Men under många iterationer lär sig maskinen hur man producerar landskap som får bra utvärderingar. Och när den väl har gjort detta kan den generera nya jordliknande terräng hela tiden.

Men bilderna är inte perfekta. De kan innehålla artefakter från inlärningsprocessen som inte överensstämmer med verkliga funktioner. Dessa skulle kunna förhindras med djupare inlärningskonfigurationer eller genom att bilderna suddas ut, säger forskarna.

Det finns helt klart mer att göra, men paret verkar nöjda med det här resultatet. Vi har uppnått ett rimligt första steg mot procedurgenerering av terräng baserad på verklig data, säger de.

Det är intressant arbete som har ett brett utbud av andra tillämpningar. Till att börja med behöver utbildningsdatabasen inte vara jordbaserad. NASA har detaljerade bilder av månen, Mars, Titan och olika andra platser i solsystemet som kan användas för att träna liknande nätverk. Så spel som Minecraft kan lätt anta en distinkt mån- eller marskänsla med lite mänsklig input.

Och träningsdatabasen behöver inte ens vara terrängbaserad. Man kan föreställa sig samma schema som används för att syntetisera 3D-nät som sedan textureras (t.ex. ansikten), säger Beckham och Pal.

Det är något som kan vara av intresse för ett brett spektrum av speltillverkare och andra. Den här typen av möjligheter tjänar inte bara till att främja rikare underhållningsupplevelser, utan också att tillhandahålla användbara verktyg för att hjälpa innehållsproducenter (t.ex. 3D-artister) i deras arbete, säger Beckham och Pal.

Ref: arxiv.org/abs/1707.03383 : Ett steg mot procedural terränggenerering med GAN

Dölj