AI lär sig att skapa sig själv

Människor har kämpat för att göra verkligt intelligenta maskiner. Vi kanske måste låta dem fortsätta med det själva.

Shuhua Xiong

förbi

• Will Douglas Heaven arkivsida

27 maj 2021

En liten käppfigur med ett kilformat huvud hasar över skärmen. Den rör sig i en halv huk och drar ett knä längs marken. Det går! Eh, typ.

Ändå är Rui Wang förtjust. Varje dag går jag in på mitt kontor och öppnar min dator, och jag vet inte vad jag kan förvänta mig, säger han.

En artificiell intelligensforskare vid Uber, Wang gillar att lämna Parad öppen banbrytare , en mjukvara som han hjälpte till att utveckla och körs på sin bärbara dator över natten. POET är en sorts träningsdojo för virtuella bots. Än så länge har de inte lärt sig att göra mycket alls. Dessa AI-agenter är inte det spelar Go , upptäcka tecken på cancer , eller vikning av proteiner – de försöker navigera i ett grovt tecknat landskap av staket och raviner utan att ramla omkull.

Men det är inte vad botarna lär sig som är spännande – det är hur de lär sig. POET genererar hinderbanorna, bedömer botarnas förmågor och tilldelar deras nästa utmaning, allt utan mänsklig inblandning. Steg för vacklande steg förbättras botarna via försök och misstag. Någon gång kanske den hoppar över en klippa som en kung fu-mästare, säger Wang.

Det kan tyckas grundläggande för tillfället, men för Wang och en handfull andra forskare tipsar POET om ett revolutionerande nytt sätt att skapa supersmarta maskiner: genom att få AI att göra sig själv.

Wangs tidigare kollega Jeff Clune är en av de största boosterna för denna idé. Clune har arbetat med det i flera år, först vid University of Wyoming och sedan på Uber AI Labs, där han arbetade med Wang och andra. Han delar nu sin tid mellan University of British Columbia och OpenAI och har stöd av ett av världens främsta laboratorier för artificiell intelligens .

Clune kallar försöket att bygga verkligt intelligent AI för det mest ambitiösa vetenskapliga uppdraget i mänsklighetens historia. Idag, sju decennier efter att seriösa ansträngningar för att göra AI började, är vi fortfarande långt ifrån att skapa maskiner som är nära nog lika smarta som människor, än mindre smartare. Clune tror att POET kan peka på en genväg.

Vi måste ta av oss bojorna och komma ur vår egen väg, säger han.

Om Clune har rätt, använder AI för att göra AI kan vara ett viktigt steg på vägen som en dag leder till artificiell allmän intelligens (AGI) – maskiner som kan överträffa människor. På närmare sikt kan tekniken också hjälpa oss att upptäcka olika typer av intelligens: icke-mänskliga smarta som kan hitta lösningar på oväntade sätt och kanske komplettera vår egen intelligens snarare än att ersätta den.

Efterliknar evolutionen

Jag pratade först med Clune om idén i början av förra året, bara några veckor efter hans flytt till OpenAI. Han diskuterade gärna tidigare arbete men förblev tajt om vad han gjorde med sitt nya team. Istället för att ta samtalet inombords föredrog han att gå upp och ner på gatorna utanför kontoren medan vi pratade.

Allt Clune skulle säga var att OpenAI passade bra. Min idé stämmer mycket överens med många av de saker som de tror, ​​säger han. Det var ett slags äktenskap gjort i himlen. De gillade visionen och ville att jag skulle komma hit och följa den. Några månader efter att Clune gick med anställde OpenAI också de flesta av sitt gamla Uber-team.

Clunes ambitiösa vision grundas på mer än OpenAI:s investering. AI:s historia är fylld med exempel där mänskligt utformade lösningar gav plats för maskininlärda. Ta datorseende: för ett decennium sedan kom det stora genombrottet inom bildigenkänning när befintliga handgjorda system ersattes av sådana som lärde sig själva från grunden. Det är samma sak för många AI-framgångar.

En av de fascinerande sakerna med AI, och maskininlärning i synnerhet, är dess förmåga att hitta lösningar som människor inte har hittat – för att överraska oss. Ett ofta nämnt exempel är AlphaGo (och dess efterföljare AlphaZero), som slog det bästa mänskligheten har att erbjuda i det uråldriga, förtrollande spelet Go genom att använda till synes främmande strategier. Efter hundratals år av studier av mänskliga mästare hittade AI lösningar som ingen någonsin hade tänkt på.

Clune arbetar nu med ett team på OpenAI som utvecklat bots som lärde sig att leka kurragömma i en virtuell miljö 2018. Dessa AI:er började med enkla mål och enkla verktyg för att uppnå dem: ett par var tvungna att hitta det andra, som kunde gömma sig bakom rörliga hinder. Men när dessa bots släpptes för att lära sig, hittade de snart sätt att dra fördel av sin miljö på sätt som forskarna inte hade förutsett. De utnyttjade brister i den simulerade fysiken i deras virtuella värld för att hoppa över och till och med passera väggar.

Den typen av oväntade framväxande beteenden ger lockande ledtrådar om att AI kan komma fram till tekniska lösningar som människor inte skulle tänka på själva, uppfinna nya och mer effektiva typer av algoritmer eller neurala nätverk – eller till och med avskaffa neurala nätverk, en hörnsten i modern AI, helt och hållet.

Clune gillar att påminna folk om att intelligens redan har uppstått från enkla början. Det som är intressant med det här tillvägagångssättet är att vi vet att det kan fungera, säger han. Den mycket enkla algoritmen för darwinistisk evolution producerade din hjärna, och din hjärna är den mest intelligenta inlärningsalgoritmen i universum som vi känner till hittills. Hans poäng är att om intelligens som vi känner den härrörde från den tanklösa mutationen av gener under otaliga generationer, varför inte försöka replikera den intelligensproducerande processen – som utan tvekan är enklare – snarare än intelligensen i sig?

Relaterad berättelse

Artificiell allmän intelligens: Är vi nära, och är det ens vettigt att försöka?

En maskin som kunde tänka som en person har varit den vägledande visionen för AI-forskning sedan de första dagarna – och är fortfarande dess mest splittrade idé.

Men det finns en annan avgörande observation här. Intelligens var aldrig en slutpunkt för evolution, något att sikta på. Istället växte det fram i många olika former från otaliga små lösningar till utmaningar som gjorde att levande varelser kunde överleva och anta framtida utmaningar. Intelligens är den nuvarande höjdpunkten i en pågående och öppen process. I denna mening skiljer sig evolutionen helt från algoritmer som människor vanligtvis tänker på dem – som medel för att uppnå ett mål.

Det är denna öppna slutenhet, skymtad i den till synes planlösa sekvensen av utmaningar som genereras av POET, som Clune och andra tror kan leda till nya typer av AI. I decennier har AI-forskare försökt bygga algoritmer för att efterlikna mänsklig intelligens, men det verkliga genombrottet kan komma från att bygga algoritmer som försöker efterlikna evolutionens öppna problemlösning – och luta sig tillbaka för att se vad som dyker upp.

Forskare använder redan maskininlärning på sig själv och tränar den för att hitta lösningar på några av fältets svåraste problem, till exempel hur man gör maskiner som kan lära sig mer än en uppgift åt gången eller hantera situationer som de inte har stött på tidigare. Vissa tror nu att att ta detta tillvägagångssätt och köra med det kan vara den bästa vägen till artificiell allmän intelligens. Vi skulle kunna starta en algoritm som till en början inte har så mycket intelligens i sig, och se hur den startar upp sig hela vägen upp till AGI, säger Clune.

Sanningen är att för tillfället förblir AGI en fantasi. Men det beror till stor del på att ingen vet hur man gör det. Framsteg inom AI är bitvis och utförs av människor, med framsteg som vanligtvis involverar justeringar av befintliga tekniker eller algoritmer, vilket ger stegvisa språng i prestanda eller noggrannhet. Clune karakteriserar dessa ansträngningar som försök att upptäcka byggstenarna för artificiell intelligens utan att veta vad du letar efter eller hur många block du behöver. Och det är bara början. Någon gång måste vi ta på oss den herkuliska uppgiften att sätta ihop dem alla, säger han.

Att be AI att hitta och sätta ihop dessa byggstenar åt oss är ett paradigmskifte. Det sägs att vi vill skapa en intelligent maskin, men vi bryr oss inte om hur den kan se ut – bara ge oss vad som fungerar.

Även om AGI aldrig uppnås, kan självlärande tillvägagångssätt fortfarande förändra vilken typ av AI som skapas. Världen behöver mer än en väldigt bra Go-spelare, säger Clune. För honom innebär att skapa en supersmart maskin att bygga ett system som uppfinner sina egna utmaningar, löser dem och sedan uppfinner nya. POET är en liten glimt av detta i aktion. Clune föreställer sig en maskin som lär en bot att gå, sedan spela hopscotch och sedan kanske spela Go. Då kanske den lär sig mattepussel och börjar hitta på sina egna utmaningar, säger han. Systemet förnyas ständigt, och himlen är gränsen när det gäller vart det kan gå.

Det är kanske vilda spekulationer, men en förhoppning är att maskiner som denna kanske kan undvika våra konceptuella återvändsgränder och hjälpa oss att ta itu med enormt komplexa kriser som klimatförändringar eller global hälsa.

Men först måste vi göra en.

Hur man skapar en hjärna

Det finns många olika sätt att koppla upp en konstgjord hjärna.

Neurala nätverk är gjorda av flera lager av artificiella neuroner kodade i programvara. Varje neuron kan kopplas till andra i lagren ovan. Hur ett neuralt nätverk är kopplat gör stor skillnad, och nya arkitekturer leder ofta till nya genombrott.

De neurala nätverk som kodats av mänskliga vetenskapsmän är ofta resultatet av försök och misstag. Det finns lite teori om vad som fungerar och inte fungerar, och ingen garanti för att de bästa designerna har hittats. Det är därför som automatisering av jakten på bättre neurala nätverksdesigner har varit ett av de hetaste ämnena inom AI sedan åtminstone 1980-talet. Det vanligaste sättet att automatisera processen är att låta en AI generera många möjliga nätverksdesigner och låta nätverket automatiskt prova var och en av dem och välja de bästa. Detta är allmänt känt som neuro-evolution eller neural architecture search (NAS).

Under de senaste åren har dessa maskinkonstruktioner börjat överträffa mänskliga. Under 2018 använde Esteban Real och hans kollegor på Google NAS för att skapa ett neuralt nätverk för bildigenkänning som slå de bästa mänskligt designade nätverken just då. Det var en ögonöppnare.

2018 års system är en del av ett pågående Google-projekt kallat AutoML, som också har använt NAS för att producera EfficientNets, en familj av djupinlärningsmodeller som är effektivare än mänskligt utformade , uppnå höga nivåer av noggrannhet på bildigenkänningsuppgifter med mindre, snabbare modeller.

Tre år senare tänjer Real på gränserna för vad som kan genereras från grunden. De tidigare systemen omarrangerade just beprövade neurala nätverksdelar, såsom befintliga typer av lager eller komponenter. Vi kunde förvänta oss ett bra svar, säger han.

Förra året tog Real och hans team av träningshjulen. Det nya systemet, kallat AutoML Zero , försöker bygga en AI från grunden med bara de mest grundläggande matematiska koncepten som styr maskininlärning.

Otroligt nog byggde inte bara AutoML Zero spontant ett neuralt nätverk, utan den kom med gradient descent, den vanligaste matematiska tekniken som mänskliga designers använder för att träna ett nätverk. Jag blev ganska förvånad, säger Real. Det är en mycket enkel algoritm – den tar ungefär sex rader kod – men den skrev de exakta sex raderna.

AutoML Zero genererar ännu inte arkitekturer som konkurrerar med prestanda hos mänskligt designade system – eller faktiskt gör mycket som en mänsklig designer inte skulle ha gjort. Men Real tror att det kan en dag.

Dags att utbilda en ny sorts lärare

Först gör du en hjärna; då måste du lära ut det. Men maskinhjärnor lär sig inte som våra gör. Våra hjärnor är fantastiska på att anpassa sig till nya miljöer och nya uppgifter. Dagens AI:er kan lösa utmaningar under vissa förhållanden men misslyckas när dessa förhållanden förändras ens lite. Denna oflexibilitet hindrar strävan efter att skapa mer generaliserbar AI som kan vara användbar över ett brett spektrum av scenarier, vilket skulle vara ett stort steg mot att göra dem riktigt intelligenta.

För Jane Wang, en forskare vid DeepMind i London, är det bästa sättet att göra AI mer flexibel att få den att lära sig den egenskapen själv. Med andra ord, hon vill bygga en AI som inte bara lär sig specifika uppgifter utan lär sig att lära sig dessa uppgifter på sätt som kan anpassas till nya situationer.

Forskare har försökt göra AI mer anpassningsbar i flera år. Wang tror att att få AI att lösa detta problem själv undviker en del av trial and error med ett handdesignat tillvägagångssätt: Vi kan omöjligen förvänta oss att snubbla över det rätta svaret direkt. I processen hoppas hon att vi också ska lära oss mer om hur hjärnor fungerar. Det finns fortfarande så mycket vi inte förstår om hur människor och djur lär sig, säger hon.

Det finns två huvudsakliga metoder för att generera inlärningsalgoritmer automatiskt, men båda börjar med ett befintligt neuralt nätverk och använder AI för att lära ut det.

Relaterad berättelse

AI beväpnad med flera sinnen kan få mer flexibel intelligens

Mänsklig intelligens uppstår ur vår kombination av sinnen och språkförmågor. Kanske gäller samma sak för artificiell intelligens.

Det första tillvägagångssättet, uppfann separat av Wang och hennes kollegor på DeepMind och genom att ett team på OpenAI ungefär samtidigt, använder återkommande neurala nätverk. Den här typen av nätverk kan tränas på ett sådant sätt att aktiveringarna av deras neuroner - ungefär som avfyring av neuroner i biologiska hjärnor - kodar för vilken typ av algoritm som helst. DeepMind och OpenAI drog fördel av detta för att träna ett återkommande neuralt nätverk för att generera förstärkningsinlärningsalgoritmer, som talar om för en AI hur den ska bete sig för att uppnå givna mål.

Resultatet är att DeepMind- och OpenAI-systemen inte lär sig en algoritm som löser en specifik utmaning, som att känna igen bilder, utan lär sig en inlärning algoritm som kan tillämpas på flera uppgifter och anpassas allt eftersom. Det är som det gamla ordspråket om att lära någon att fiska: medan en handdesignad algoritm kan lära sig en viss uppgift, görs dessa AI:er för att lära sig att lära sig själva. Och några av dem presterar bättre än de som är designade av människor.

Det andra tillvägagångssättet kommer från Chelsea Finn vid University of California, Berkeley, och hennes kollegor. Kallad modellagnostisk meta-lärande , eller MAML, tränar den en modell med hjälp av två maskininlärningsprocesser, en kapslad inuti den andra.

Ungefär så här fungerar det. Den inre processen i MAML tränas på data och testas sedan – som vanligt. Men sedan tar den yttre modellen prestandan hos den inre modellen – hur väl den identifierar bilder, t.ex. – och använder den för att lära sig hur man justerar den modellens inlärningsalgoritm för att öka prestandan. Det är som om du hade en skolinspektör som vakade över ett gäng lärare, som var och en erbjuder olika inlärningstekniker. Inspektören kontrollerar vilka tekniker som hjälper eleverna att få de bästa poängen och justerar dem därefter.

Genom dessa tillvägagångssätt bygger forskare AI som är mer robust, mer generaliserat och kan lära sig snabbare med mindre data. Finn vill till exempel att en robot som har lärt sig att gå på plan mark ska kunna övergå, med minimal extra träning, till att gå i en sluttning eller på gräs eller med last.

Förra året utökade Clune och hans kollegor Finns teknik för att designa en algoritm som lär sig med färre neuroner så att den inte skriver över allt den har lärt sig tidigare, ett stort olöst problem inom maskininlärning som kallas katastrofal glömning. En tränad modell som använder färre neuroner, känd som en gles modell, kommer att ha fler oanvända neuroner över att ägna sig åt nya uppgifter när den omskolas, vilket innebär att färre av de använda neuronerna kommer att skrivas över. Clune upptäckte att sätta sin AI utmaningen att lära sig mer än en uppgift ledde till att den kom med en egen version av en sparsam modell som överträffade de mänskligt utformade.

Om vi ​​går all in på att låta AI skapa och lära ut sig själv, borde AI:er också skapa sina egna träningsmiljöer – skolor och läroböcker, såväl som lektionsplaneringar.

Och det senaste året har sett en rad projekt där AI har tränats på automatiskt genererad data. Ansiktsigenkänningssystem tränas med AI-genererade ansikten, till exempel. AI:er lär sig också hur man tränar varandra. I ett färskt exempel, två robotarmar arbetade tillsammans, med ena armen som lärde sig att ställa tuffare och tuffare blockstaplingsutmaningar som tränade den andra att greppa och greppa föremål.

Faktum är att Clune undrar om mänsklig intuition om vilken typ av data en AI behöver för att lära sig kan vara avstängd. Han och hans kollegor har till exempel utvecklat det han kallar generativa lärarnätverk , som lär sig vilken data de ska generera för att få bästa resultat när de tränar en modell. I ett experiment använde han ett av dessa nätverk för att anpassa en datamängd med handskrivna siffror som ofta används för att träna bildigenkänningsalgoritmer. Vad den kom fram till såg väldigt annorlunda ut från den ursprungliga mänskliga kurerade datamängden: hundratals inte riktigt siffror, som den övre halvan av siffran sju eller vad som såg ut som två siffror slogs samman. Vissa AI-genererade exempel var svåra att tyda alls. Trots detta gjorde de AI-genererade data fortfarande ett bra jobb med att träna handskriftsigenkänningssystemet för att identifiera faktiska siffror.

Försök inte att lyckas

AI-genererad data är fortfarande bara en del av pusslet. Den långsiktiga visionen är att ta alla dessa tekniker – och andra som ännu inte har uppfunnits – och lämna över dem till en AI-tränare som kontrollerar hur artificiella hjärnor kopplas, hur de tränas och vad de tränas på. Även Clune är inte klar över hur ett sådant framtida system skulle se ut. Ibland talar han om en sorts hyperrealistisk simulerad sandlåda, där AI:are kan skära sina tänder och flå sina virtuella knän. Något som är komplext är fortfarande år borta. Det närmaste hittills är POET, systemet Clune skapat med Ubers Rui Wang och andra.

POET motiverades av en paradox, säger Wang. Om du försöker lösa ett problem kommer du att misslyckas; om du inte försöker lösa det har du större sannolikhet att lyckas. Detta är en av insikterna som Clune hämtar från sin analogi med evolutionen – fantastiska resultat som kommer från en till synes slumpmässig process ofta inte kan återskapas genom att ta medvetna steg mot samma mål. Det råder ingen tvekan om att fjärilar existerar, men spola tillbaka till sina encelliga föregångare och försök skapa dem från grunden genom att välja varje steg från bakterie till insekt, och du skulle troligen misslyckas.

POET startar sin tvåbenta agent i en enkel miljö, som en platt stig utan hinder. Först vet agenten inte vad han ska göra med sina ben och kan inte gå. Men genom försök och misstag lär sig förstärkningsinlärningsalgoritmen som styr den hur man rör sig längs plan mark. POET skapar sedan en ny slumpmässig miljö som är annorlunda, men som inte nödvändigtvis är svårare att röra sig i. Agenten försöker gå dit. Om det finns hinder i den här nya miljön lär sig agenten hur man tar sig över eller över dessa. Varje gång en agent lyckas eller fastnar flyttas den till en ny miljö. Med tiden lär sig agenterna en rad gång- och hoppåtgärder som låter dem navigera allt svårare hinderbanor.

Teamet fann att slumpmässigt byte av miljöer var viktigt.

Till exempel lärde sig agenter ibland att gå på plan mark med en konstig, halvt knästående shuffling, för det var bra nog. De lär sig aldrig att stå upp för de behöver aldrig, säger Wang. Men efter att de hade tvingats lära sig alternativa strategier på hinderbevuxen mark, kunde de återvända till det tidiga stadiet med ett bättre sätt att gå – med båda benen istället för att dra en bakåt, säg – och sedan ta den förbättrade versionen av sig själv framåt till svårare utmaningar.

POET tränar sina bots på ett sätt som ingen människa skulle göra – det tar oberäkneliga, ointuitiva vägar till framgång. I varje steg försöker botarna hitta en lösning på vilken utmaning de än ställs inför. Genom att klara av ett slumpmässigt urval av hinder som kastas i väg blir de bättre totalt sett. Men det finns ingen slutpunkt för denna process, inget slutgiltigt test att klara eller höga poäng att slå.

Clune, Wang och ett antal av deras kollegor tror att detta är en djupgående insikt. De undersöker nu vad det kan betyda för utvecklingen av supersmarta maskiner. Skulle kunna försöka inte att kartlägga en specifik väg faktiskt vara ett nyckelgenombrott på vägen mot artificiell allmän intelligens?

POET inspirerar redan andra forskare, som Natasha Jaques och Michael Dennis vid University of California, Berkeley. De har utvecklat ett system som heter PARAD som använder AI för att generera en serie labyrinter för att träna en annan AI för att navigera i dem.

Rui Wang tror att mänskligt utformade utmaningar kommer att bli en flaskhals och att verkliga framsteg inom AI kommer att kräva att AI kommer på sin egen. Oavsett hur bra algoritmer är idag så testas de alltid på något handdesignat riktmärke, säger han. Det är väldigt svårt att föreställa sig artificiell allmän intelligens som kommer från detta, eftersom den är bunden av fasta mål.

En ny sorts intelligens

Den snabba utvecklingen av AI som kan träna sig själv väcker också frågor om hur väl vi kan kontrollera dess tillväxt. Idén om AI som bygger bättre AI är en avgörande del av mytbildningen bakom Singularity, den tänkta punkten i framtiden när AI:er börjar förbättras i en exponentiell takt och går utanför vår kontroll. Så småningom varnar vissa undergångssägare, AI kan besluta att den inte behöver människor alls.

Det är inte vad någon av dessa forskare har i åtanke: deras arbete är mycket fokuserat på att göra dagens AI bättre. Maskiner som löper amok förblir en avlägsen anti-fantasi.

Trots det har DeepMinds Jane Wang reservationer. En stor del av attraktionen med att använda AI för att göra AI är att det kan komma med design och tekniker som folk inte hade tänkt på. Ändå noterar Wang att inte alla överraskningar är bra överraskningar: Öppenhet är per definition något som är oväntat. Om hela idén är att få AI att göra något du inte förutsåg, blir det svårare att kontrollera. Det är både spännande och skrämmande, säger hon.

Clune betonar också vikten av att tänka på etiken i den nya tekniken från början. Det finns en god chans att AI-designade neurala nätverk och algoritmer kommer att vara ännu svårare att förstå än dagens redan ogenomskinliga black-box-system. Är AI:er som genereras av algoritmer svårare att granska för partiskhet ? Är det svårare att garantera att de inte kommer att bete sig på oönskade sätt?

Clune hoppas att sådana frågor kommer att ställas och besvaras när fler människor inser potentialen med självgenererande AI:er. De flesta människor i maskininlärningsgemenskapen pratar aldrig riktigt om vår övergripande väg till extremt kraftfull AI, säger han – istället tenderar de att fokusera på små, stegvisa förbättringar. Clune vill starta ett samtal om fältets största ambitioner igen.

Hans egna ambitioner knyter sig tillbaka till hans tidiga intressen för mänsklig intelligens och hur den utvecklades. Hans stora vision är att ställa in saker så att maskiner en dag kan se sin egen intelligens – eller intelligenser – dyka upp och förbättras genom otaliga generationer av försök och misstag, styrda av algoritmer utan någon ultimat plan i åtanke.

Om AI börjar generera intelligens av sig själv, finns det ingen garanti för att det kommer att vara mänskligt. I stället för att människor lär maskiner att tänka som människor, kan maskiner lära människor nya sätt att tänka.

Det finns förmodligen ett stort antal olika sätt att vara väldigt intelligent, säger Clune. En av de saker som retar mig med AI är att vi kan komma att förstå intelligens mer generellt genom att se vilken variation som är möjlig.

Jag tycker att det är fascinerande. Jag menar, det är nästan som att uppfinna interstellära resor och kunna besöka främmande kulturer. Det skulle inte finnas något större ögonblick i mänsklighetens historia än att möta en främmande ras och lära sig om dess kultur, dess vetenskap, allt. Interstellära resor är oerhört svårt, men vi har förmågan att potentiellt skapa främmande intelligenser digitalt.