Varför Googles AI kan skriva vackra sånger men fortfarande inte kan berätta ett skämt

Jeremy Portje

Att skapa nudlingspianolåtar och oändliga konfigurationer av kattteckningar med AI låter kanske inte som ett självklart projekt för Google, men det är väldigt logiskt för Douglas Eck.

Eck har ägnat cirka 15 år åt att studera AI och musik, och nu för tiden är han forskare i Google Brain-teamet och leder Magenta – Googles forskningsprojekt med öppen källkod som syftar till att skapa konst och musik med maskininlärning.

Han pratade med MIT Technology Review om hur Google producerar nya ljud med djupa neurala nätverk, där Magenta tar AI-musik och varför datorer är dåliga på att berätta skämt.

Nedan finns ett redigerat utdrag ur intervjun. Premie MIT Technology Review prenumeranter kan lyssna på hela intervjun.

Att använda AI för att skapa konst är inte nytt, så vad är unikt med Googles tillvägagångssätt?

Vi undersöker denna mycket specifika riktning som har att göra med djupa neurala nätverk och återkommande neurala nätverk och andra typer av maskininlärning. Och vi försöker verkligen att engagera både den konstnärliga gemenskapen och kreativa kodare och utvecklare med öppen källkod på samma gång, så vi har gjort det till ett projekt med öppen källkod.

Mycket magenta är fokuserat på musik. Varför är AI bra för att skapa och förstärka musik?

För att vara ärlig, det är bara en partiskhet av mig. Hela min forskarkarriär har handlat om musik och ljud. Jag tror att omfattningen av Magenta alltid har handlat om konst i allmänhet, berättande, musik, berättelse, bildspråk och att försöka förstå hur man använder AI som ett kreativt verktyg. Men någonstans måste man börja. Och jag tror att om du gör seriösa framsteg på något så komplicerat som musik, och lika viktigt för oss som musik, så är min förhoppning att en del av det kommer att mappa över till andra domäner också.

Kan vi lyssna på lite musik som har gjorts med Magenta?

Detta är lite musik från en modell som heter Prestanda RNN .

Lyssna och var bara uppmärksam på texturen och allt där. Det här är en sorts musikkomposition men det är samtidigt ett musikframträdande, eftersom modellen inte bara genererar kvartsnoter – den bestämmer hur snabbt de ska spelas, hur högt de ska spelas, och i själva verket återger den vad den tränades på, vilket var ett gäng pianoframträdanden som gjordes som en del av en pianotävling.

Som det stycket visar är musik som har skapats hittills med Magenta i huvudsak improvisation. Kan AI användas för att skapa ett sammanhängande musikstycke med struktur?

Vi jobbar på det. Så en av de viktigaste framtida forskningsriktningarna för oss och, ärligt talat, för hela området för generativa modeller – med det menar jag maskininlärningsmodeller som kan försöka generera något nytt – är inlärningsstruktur. Och det syns i musiken här. Du hör att det inte finns någon övergripande modell som på ett sätt avgör var saker ska gå.

Om vi ​​ville ge den ackordändringar, till och med symbolerna för ackordbyten, och lära oss kontextuellt hur man drar fördel av dessa ackordbyten, så skulle vi kunna göra det. Vi skulle till och med kunna ha en separat modell som genererar ackordbyten. Vårt mål är att komma fram till denna heltäckande modell som tar reda på alla dessa strukturnivåer på egen hand.

Berätta om Skiss-RNN , som är ett färskt magenta-experiment som låter dig dra med ett återkommande neuralt nätverk – i princip börjar du rita en ananas och sedan tar Sketch-RNN över och fullbordar den, om och om igen, i många olika stilar.

Vi kunde använda ett gäng ritningar gjorda av personer som spelade Pictionary mot en maskininlärningsalgoritm – det här var [data från ett annat Google AI-ritningsexperiment gjort av Google Creative Lab,] Snabb ritning!

Det finns begränsningar för uppgifterna. Det finns bara så mycket du kommer att få ut av dessa små 20-sekunders teckningar. Men jag tycker att arbetet som gjorts av huvudforskaren [Sketch-RNN], David Ha, var riktigt vackert. Han tränade i princip ett återkommande neuralt nätverk för att lära sig hur man reproducerar dessa ritningar. Han tvingade liksom modellen att lära sig vad som är viktigt. Modellen var inte tillräckligt kraftfull för att memorera hela ritningen. Eftersom den inte kan memorera alla slag den ser, dess uppgift är bara att reproducera massor av katter eller vad som helst, den tvingas lära sig vad som är viktigt med katter – vilka är de gemensamma aspekterna av kattteckningar över miljontals kattteckningar? Och så när du leker med den här modellen kan du be den att generera nya katter ur tomma luften. Det genererar riktigt intressanta katter som ser kusligt ut som hur folk skulle rita katter, tycker jag.

TensorFlow

Jag läste att du arbetar med Magenta för att lära datorer att berätta skämt. Vilken typ av skämt genererar datorer? (Det var inte i sig den första raden av ett skämt.)

Projektet var mycket preliminärt, mycket utforskande och ställde frågan: kan vi förstå den där delen av skämtberättande som handlar om överraskning? Särskilt punch-line-relaterade skämt och ordlekar, det finns helt klart en punkt där allt flyter på som vanligt, jag tror att jag vet vad som händer med den här meningen, och sedan, boom! Höger? Och jag tror också, intuitivt, att det finns en geometri i slaglinjen. Det är förvånande om byggnaden kollapsar på ditt huvud; [en punch line är] inte den typen av överraskning. Det är som, åh, rätt, jag förstår! Du vet? Och den där känslan av att jag förstår det är, tror jag, ett slags backtracking man tvingas göra för att få det. Så vi tittade på särskilda typer av maskininlärningsmodeller som kan generera dessa saker som kallas sanningsvektorer som försöker förstå vad som händer semantiskt i en mening och sedan, kan vi aktivt manipulera dem för att få en annan effekt?

Och det slags skämt vi hörde om var... Magikern var så arg att hon drog ut sin hare. Och ordleken med hare och hår, och kanin — du fattar, eller hur?

Ja. Men man måste kunna mycket om ord och språk för att förstå det.

Ja, du måste veta mycket. Inte nog med att den här modellen inte berättade några skämt, roliga eller inte, utan vi fick faktiskt inte koden att konvergera.

Vad är du mitt uppe i att försöka komma på med Magenta just nu?

Att försöka förstå mer av den långsiktiga strukturen med musik och även försöka förgrena sig till en annan intressant fråga, som är: kan vi lära av feedbacken, inte från en artist, utan från en publik?

Detta ser på den konstnärliga processen som en slags iterativ. The Beatles hade 12 album och alla var olika. Och de visade alla att dessa musiker lär sig av feedback de får från kamrater och från publik, men också andra saker som händer med andra artister. De är verkligen knutna till kultur. Konstnärer är inte statiska.

Och denna mycket enkla idé: kan du låta någon göra något med en generativ modell, lägga ut det där, men sedan dra nytta av det faktum att den feedback de får? Åh, det var bra, det var dåligt. Den feedbacken som vi får, den kan konstnären lära sig av på ett sätt, men kanske kan maskininlärningsmodellen också lära sig av den och säga, Åh, jag förstår, här är alla människor och här är vad de tycker om vad Jag gör, och jag har dessa parametrar. Och vi kan ställa in dessa parametrar i förhållande till feedbacken, med hjälp av förstärkningsinlärning, och vi jobbar på det också.

När jag lyssnar på musik skapad med Magenta undrar jag: om du använder data för att träna artificiell intelligens, kan AI:n då skapa något riktigt original, eller kommer det bara att härledas till vad den har tränats på, oavsett om det är Madonna-låtar eller impressionistiska målningar, eller båda?

Jag tror att det beror på vad vi menar med original. Jag tror att det är osannolikt för mig att en maskininlärningsalgoritm kommer att komma och generera något transformativt nytt sätt att göra konst. Jag tror att en person som arbetar med den här tekniken kanske kan göra det. Och jag tror att vi är så, så, så långt ifrån att denna AI har en känsla av hur världen verkligen är. Som att det bara är så, så långt borta. Samtidigt tycker jag att mycket konst är original i en annan mening. Som, jag gör en till cool EDM-låt med droppen på rätt ställe, som är rolig att dansa till och är ny, men som kanske inte skapar en helt ny genre. Och jag tycker att den typen av kreativitet är riktigt intressant ändå. Att i stort sett det mesta av det vi gör sitter i en genre som vi förstår, och vi provar nya saker, och den typen av kreativitet tror jag att den AI som vi har nu kan spela en stor roll i. Den reproducerar sig inte. datamängden, eller hur? Det blandar ihop saker.

Dölj