AI-pionjären Geoff Hinton: Deep learning kommer att kunna göra allt

Geoffrey Hinton

Noah Berger/AP





  • Om AI-fältets luckor: 'Det kommer att behöva bli en hel del konceptuella genombrott ... vi behöver också en massiv skalaökning.'
  • Om neurala nätverks svagheter: 'Neurala nät är förvånansvärt bra på att hantera en ganska liten mängd data, med ett stort antal parametrar, men människor är ännu bättre.'
  • Om hur våra hjärnor fungerar: 'Det som finns inuti hjärnan är dessa stora vektorer för neural aktivitet.'

Den moderna AI-revolutionen började under en obskyr forskningstävling. Det var 2012, det tredje året av den årliga ImageNet-tävlingen, som utmanade team att bygga datorseendesystem som skulle känna igen 1 000 objekt, från djur till landskap till människor.

Under de första två åren hade de bästa lagen misslyckats med att nå ens 75 % träffsäkerhet. Men i den tredje blåste plötsligt ett gäng med tre forskare – en professor och hans studenter – förbi det här taket. De vann tävlingen med svindlande 10,8 procentenheter. Den professorn var Geoffrey Hinton, och tekniken de använde kallades djupinlärning.

Hinton hade faktiskt arbetat med djupinlärning sedan 1980-talet, men dess effektivitet hade begränsats av brist på data och beräkningskraft. Hans fasta tro på tekniken gav i slutändan enorma resultat. Det fjärde året av ImageNet-tävlingen använde nästan alla lag djupinlärning och uppnådde mirakulösa precisionsvinster. Snart nog tillämpades djupinlärning på uppgifter bortom bildigenkänning, och även inom ett brett spektrum av branscher.



Förra året belönades Hinton med Turing Award för sina grundläggande insatser på området, tillsammans med andra AI-pionjärer Yann LeCun och Yoshua Bengio. Den 20 oktober pratade jag med honom på MIT Technology Reviews årliga EmTech MIT-konferens om läget på området och vart han tycker att det borde vara på väg härnäst.

Följande har redigerats och sammanfattats för tydlighetens skull.

Du tror att djupinlärning kommer att räcka för att replikera all mänsklig intelligens. Vad gör dig så säker?

Jag tror att djupinlärning kommer att kunna göra allt, men jag tror att det kommer att behöva bli en hel del konceptuella genombrott. Till exempel 2017 Ashish Vaswani et al . infördes transformatorer , som härleder riktigt bra vektorer som representerar ordets betydelser. Det var ett konceptuellt genombrott. Det används nu i nästan all den bästa bearbetningen av naturliga språk. Vi kommer att behöva ett gäng fler sådana genombrott.



Och om vi har dessa genombrott, kommer vi att kunna approximera all mänsklig intelligens genom djup inlärning?

Ja. Särskilt genombrott som har att göra med hur du får stora vektorer av neural aktivitet för att implementera saker som förnuft. Men vi behöver också en massiv skala. Den mänskliga hjärnan har cirka 100 biljoner parametrar, eller synapser. Det vi nu kallar en riktigt stor modell, som GPT-3 , har 175 miljarder. Den är tusen gånger mindre än hjärnan. GPT-3 kan nu generera ganska trovärdig text, och den är fortfarande liten jämfört med hjärnan.

När du säger skala, menar du större neurala nätverk, mer data eller både och?

Både. Det finns en sorts diskrepans mellan vad som händer inom datavetenskap och vad som händer med människor. Människor har en enorm mängd parametrar jämfört med mängden data de får. Neurala nät är förvånansvärt bra på att hantera en ganska liten mängd data, med ett stort antal parametrar, men människor är ännu bättre.

Många människor på området tror att sunt förnuft är nästa stora förmåga att ta itu med. Håller du med?

Jag håller med om att det är en av de mycket viktiga sakerna. Jag tror också att motorisk kontroll är väldigt viktig, och djupa neurala nät blir nu bra på det. I synnerhet har en del senaste arbeten på Google visat att du kan göra finmotorisk kontroll och kombinera det med språk, så att du kan öppna en låda och ta ut ett block, och systemet kan berätta på naturligt språk vad det gör.



För saker som GPT-3, som genererar denna underbara text, är det tydligt att det måste förstå mycket för att generera den texten, men det är inte helt klart hur mycket den förstår. Men om något öppnar lådan och tar ut ett block och säger att jag bara öppnade en låda och tog ut ett block, det är svårt att säga att den inte förstår vad den gör.

AI-fältet har alltid sett till den mänskliga hjärnan som sin största inspirationskälla, och olika förhållningssätt till AI har härrört från olika teorier inom kognitionsvetenskap. Tror du att hjärnan faktiskt bygger representationer av den yttre världen för att förstå den, eller är det bara ett användbart sätt att tänka på det?

För länge sedan inom kognitionsvetenskap fanns det en debatt mellan två skolor. En leddes av Stephen Kosslyn, och han trodde att när du manipulerar visuella bilder i ditt sinne, vad du har är en rad pixlar och du flyttar runt dem. Den andra skolan var mer i linje med konventionell AI. Det stod, nej, nej, det är nonsens. Det är hierarkiska, strukturella beskrivningar. Du har en symbolisk struktur i ditt sinne, och det är vad du manipulerar.

Jag tror att de båda gjorde samma misstag. Kosslyn trodde att vi manipulerade pixlar eftersom externa bilder är gjorda av pixlar, och det är en representation vi förstår. Symbolen folk trodde att vi manipulerade symboler eftersom vi också representerar saker i symboler, och det är en representation vi förstår. Jag tycker att det är lika fel. Det som finns inuti hjärnan är dessa stora vektorer för neural aktivitet.



Det finns vissa människor som fortfarande tror att symbolisk representation är ett av tillvägagångssätten för AI.

Absolut. Jag har goda vänner som Hector Levesque, som verkligen tror på det symboliska förhållningssättet och har gjort ett fantastiskt arbete med det. Jag håller inte med honom, men det symboliska förhållningssättet är en helt rimlig sak att prova. Men min gissning är att vi i slutändan kommer att inse att symboler bara finns där ute i den yttre världen, och vi gör interna operationer på stora vektorer.

Vad tror du är din mest motsatta syn på AI:s framtid?

Tja, mitt problem är att jag har dessa kontrariska åsikter och sedan fem år senare är de mainstream. De flesta av mina motsatta åsikter från 1980-talet är numera ganska brett accepterade. Det är ganska svårt nu att hitta människor som inte håller med dem. Så ja, jag har blivit lite underminerad i mina motsatta åsikter.

Dölj