Vår rädsla för artificiell intelligens

För flera år sedan fikade jag med en vän som drev ett startup. Han hade precis fyllt 40. Hans pappa var sjuk, hans rygg var öm och han blev överväldigad av livet. Skratta inte åt mig, sa han, men jag räknade med singulariteten.

Min vän arbetade inom teknik; han hade sett förändringarna som snabbare mikroprocessorer och nätverk hade åstadkommit. Det var inte så mycket av ett steg för honom att tro att innan han drabbades av medelåldern, skulle maskinernas intelligens överträffa människors – ett ögonblick som futurister kallar singulariteten. En välvillig superintelligens kan analysera den mänskliga genetiska koden i hög hastighet och låsa upp hemligheten till evig ungdom. Åtminstone kanske den vet hur man fixar din rygg.

Den här historien var en del av vårt marsnummer 2015

• Se resten av frågan
• Prenumerera

Men tänk om det inte var så välvilligt? Nick Bostrom, en filosof som leder Future of Humanity Institute vid University of Oxford, beskriver följande scenario i sin bok Superintelligens , vilket har föranlett en hel del debatt om framtiden för artificiell intelligens. Föreställ dig en maskin som vi kan kalla en gem-maximerare – det vill säga en maskin programmerad för att göra så många gem som möjligt. Föreställ dig nu att den här maskinen på något sätt blev otroligt intelligent. Med tanke på dess mål kan det sedan besluta sig för att skapa nya, mer effektiva maskiner för tillverkning av gem – tills den, King Midas stil, hade konverterat i princip allt till gem.

Inga bekymmer, kan du säga: du kan bara programmera den för att göra exakt en miljon gem och stanna. Men vad händer om den gör gem och sedan bestämmer sig för att kontrollera sitt arbete? Har det räknats rätt? Det måste bli smartare för att vara säker. Den superintelligenta maskinen tillverkar något ännu ouppfunnit råmaterial (kalla det computronium) och använder det för att kontrollera varje tvivel. Men varje nytt tvivel ger ytterligare digitala tvivel, och så vidare, tills hela jorden omvandlas till computronium. Förutom de miljoner gem.

Saker granskade

• Superintelligens: vägar, faror, strategier

  Av Nick Bostrom
  Oxford University Press, 2014

  
  
  

Bostrom tror inte att gem-maximeraren kommer att bli, exakt; det är ett tankeexperiment, ett designat för att visa hur till och med noggrann systemdesign kan misslyckas med att hålla tillbaka extrem maskinintelligens. Men han tror att superintelligens kan dyka upp, och även om det kan vara bra, tror han att det också kan avgöra att det inte behöver människor runt omkring. Eller gör hur många andra saker som helst som förstör världen. Titeln på kapitel 8 är: Är standardutfallet undergång?

Om detta låter absurt för dig är du inte ensam. Kritiker som robotpionjären Rodney Brooks säger att människor som fruktar en skenande AI missförstår vad datorer gör när vi säger att de tänker eller blir smarta. Ur detta perspektiv ligger den förmodade superintelligens Bostrom beskriver långt fram i tiden och kanske omöjlig.

Ändå håller många smarta, omtänksamma människor med Bostrom och är oroliga nu. Varför?

Vilja

Frågan Kan en maskin tänka? har skuggat datavetenskap från dess början. Alan Turing föreslog 1950 att en maskin skulle kunna läras ut som ett barn; John McCarthy, uppfinnare av programmeringsspråket LISP, myntade termen artificiell intelligens 1955. När AI-forskare på 1960- och 1970-talen började använda datorer för att känna igen bilder, översätta mellan språk och förstå instruktioner på normalt språk och inte bara kod, idén att datorer så småningom skulle utveckla förmågan att tala och tänka – och därmed att göra ont – bubblade in i den vanliga kulturen. Även bortom den ofta refererade HAL från 2001: A Space Odyssey , filmen från 1970 Colossus: The Forbin Project innehöll en stor blinkande stordator som för världen till randen av kärnvapenförstörelse; ett liknande tema utforskades 13 år senare i Krigsspel . 1973-talets androider Westworld blev galen och började döda.

Extrema AI-förutsägelser är jämförbara med att se mer effektiva förbränningsmotorer ... och dra till slutsatsen att varpdreven är precis runt hörnet, skriver Rodney Brooks.

När AI-forskningen inte nådde sina högt ställda mål, torkade finansieringen ut till ett rinn, och började långa AI-vintrar. Trots det fördes den intelligenta maskinens fackla fram på 1980- och 90-talen av sci-fi-författare som Vernor Vinge, som populariserade begreppet singularitet; forskare som robotikern Hans Moravec, expert på datorseende; och ingenjören/entreprenören Ray Kurzweil, författare till 1999 års bok De andliga maskinernas tidsålder . Medan Turing hade anfört en mänsklig intelligens, tänkte Vinge, Moravec och Kurzweil större: när en dator blev kapabel att självständigt utforma sätt att uppnå mål, skulle den med stor sannolikhet vara kapabel till introspektion – och därmed kunna modifiera sin programvara och göra sig själv mer intelligent. På kort sikt skulle en sådan dator kunna designa sin egen hårdvara.

Som Kurzweil beskrev det skulle detta börja en vacker ny era. Sådana maskiner skulle ha insikten och tålamodet (mätt i pikosekunder) för att lösa de utestående problemen med nanoteknik och rymdfärd; de skulle förbättra det mänskliga tillståndet och låta oss ladda upp vårt medvetande till en odödlig digital form. Intelligens skulle spridas över hela kosmos.

Du kan också hitta raka motsatsen till sådan solig optimism. Stephen Hawking har varnat för att eftersom människor inte skulle kunna konkurrera med en avancerad AI, det kan betyda slutet på människosläktet. Vid läsning Superintelligens , twittrade entreprenören Elon Musk: Hoppas att vi inte bara är den biologiska startladdaren för digital superintelligens. Tyvärr är det allt mer troligt. Musk följde sedan med ett anslag på 10 miljoner dollar till Future of Life Institute. Inte att förväxla med Bostroms centrum, detta är en organisation som säger att den arbetar för att mildra existentiella risker som mänskligheten står inför, de som kan uppstå från utvecklingen av artificiell intelligens på mänsklig nivå.

Ingen antyder att något liknande superintelligens existerar nu. I själva verket har vi fortfarande ingenting som närmar sig en artificiell intelligens för allmänt bruk eller ens en tydlig väg till hur den skulle kunna uppnås. De senaste framstegen inom AI, från automatiserade assistenter som Apples Siri till Googles förarlösa bilar, avslöjar också teknikens allvarliga begränsningar; båda kan kastas ut av situationer som de inte har stött på tidigare. Konstgjorda neurala nätverk kan själva lära sig att känna igen katter på foton. Men de måste visas hundratusentals exempel och ändå hamna mycket mindre exakta på att upptäcka katter än ett barn.

Det är här skeptiker som Brooks , en grundare av iRobot och Rethink Robotics, kommer in. Även om det är imponerande – i förhållande till vad tidigare datorer kunde klara av – för en dator att känna igen en bild av en katt, har maskinen ingen vilja, ingen känsla för vad katt-skap är eller vad annat som händer i bilden, och ingen av de otaliga andra insikter som människor har. I denna uppfattning skulle AI möjligen kunna leda till intelligenta maskiner, men det skulle kräva mycket mer arbete än vad människor som Bostrom föreställer sig. Och även om det skulle kunna hända, kommer intelligens inte nödvändigtvis att leda till känslor. Att extrapolera från tillståndet för AI idag för att antyda att superintelligens är i antågande är jämförbart med att se mer effektiva förbränningsmotorer dyka upp och dra till slutsatsen att varpdrev är precis runt hörnet, skrev Brooks nyligen på edge.org . Malevolent AI är inget att oroa sig för, säger han, under åtminstone några hundra år.

Försäkringspolicy

Även om oddsen för att en superintelligens ska uppstå är väldigt långa, kanske det är oansvarigt att ta chansen. En person som delar Bostroms oro är Stuart J. Russell, professor i datavetenskap vid University of California, Berkeley. Russell är författaren, tillsammans med Peter Norvig (en kamrat till Kurzweil på Google), till Artificiell intelligens: ett modernt tillvägagångssätt , som har varit standard AI-lärobok i två decennier.

Det finns många förment smarta offentliga intellektuella som helt enkelt inte har en aning, sa Russell till mig. Han påpekade att AI har utvecklats enormt under det senaste decenniet, och att även om allmänheten kanske förstår framsteg i termer av Moores lag (snabbare datorer gör mer), har det senaste AI-arbetet faktiskt varit grundläggande, med tekniker som djupinlärning för att lägga grunden för datorer som automatiskt kan öka deras förståelse för omvärlden.

Bostroms bok föreslår sätt att anpassa datorer till mänskliga behov. Vi berättar i princip för en gud hur vi vill bli behandlade.

Eftersom Google, Facebook och andra företag aktivt letar efter att skapa en intelligent, lärande maskin, resonerar han, skulle jag säga att en av de saker vi inte borde göra är att fortsätta bygga upp superintelligens utan att tänka på potentialen. risker. Det verkar bara lite skumt. Russell gjorde en analogi: Det är som fusionsforskning. Om du frågar en fusionsforskare vad de gör, säger de att de arbetar med inneslutning. Om du vill ha obegränsad energi är det bättre att innehålla fusionsreaktionen. På samma sätt, säger han, om du vill ha obegränsad intelligens, bör du ta reda på hur du anpassar datorer till mänskliga behov.

Bostroms bok är ett forskningsförslag för att göra det. En superintelligens skulle vara gudliknande, men skulle den besjälas av vrede eller av kärlek? Det är upp till oss (det vill säga ingenjörerna). Som alla föräldrar måste vi ge vårt barn en uppsättning värderingar. Och inte vilka värderingar som helst, utan de som ligger i mänsklighetens bästa. Vi berättar i princip för en gud hur vi vill bli behandlade. Hur man fortsätter?

Bostrom bygger mycket på en idé från en tänkare som heter Eliezer Yudkowsky, som talar om koherent extrapolerad vilja - det konsensushärledda bästa jaget av alla människor. AI skulle, hoppas vi, önska ge oss rika, lyckliga, tillfredsställande liv: fixa våra ömma ryggar och visa oss hur vi kommer till Mars. Och eftersom människor aldrig kommer att vara helt överens om någonting, kommer vi ibland att behöva det för att bestämma åt oss – för att fatta de bästa besluten för mänskligheten som helhet. Hur programmerar vi då dessa värden i våra (potentiella) superintelligenser? Vilken typ av matematik kan definiera dem? Det är dessa problem, menar Bostrom, som forskare borde lösa nu. Bostrom säger att det är vår tids väsentliga uppgift.

För civila finns det ingen anledning att förlora sömn över läskiga robotar. Vi har ingen teknik som är avlägset nära superintelligens. Återigen, många av de största företagen i världen är djupt investerade i att göra sina datorer mer intelligenta; en sann AI skulle ge vilket som helst av dessa företag en otrolig fördel. De bör också vara anpassade till dess potentiella nackdelar och ta reda på hur man undviker dem.

Detta något mer nyanserade förslag – utan några påståenden om en hotande AI-mageddon – är grunden för ett öppet brev på webbplatsen för Future of Life Institute, gruppen som fick Musks donation. I stället för att varna för existentiell katastrof, efterlyser brevet mer forskning för att skörda fördelarna med AI samtidigt som man undviker potentiella fallgropar. Detta brev är undertecknat inte bara av AI-utomstående som Hawking, Musk och Bostrom utan också av framstående datavetare (inklusive Demis Hassabis, en toppforskare inom AI). Du kan se var de kommer ifrån. När allt kommer omkring, om de utvecklar en artificiell intelligens som inte delar de bästa mänskliga värdena, kommer det att innebära att de inte var smarta nog att kontrollera sina egna skapelser.

Paul Ford, en frilansskribent i New York, skrev om Bitcoin i mars/april 2014.

Dölj