211service.com
Ja, vi är oroliga för den existentiella risken med artificiell intelligens
Oren Etzioni, en välkänd AI-forskare, klagar på nyhetsbevakning av potentiella långsiktiga risker som uppstår till följd av framtida framgångar inom AI-forskning (se Nej, experter tror inte att superintelligent AI är ett hot mot mänskligheten ). Efter att ha pekat finger åt Oxford-filosofen Nick Bostrom och hans senaste bok, Superintelligens Etzioni klagar över att Bostroms huvudsakliga datakälla om tillkomsten av intelligens på mänsklig nivå består av undersökningar om åsikter från AI-forskare. Han granskar sedan AI-forskares åsikter och hävdar att hans resultat motbevisar Bostroms.
Det är viktigt att förstå att Etzioni inte ens tar upp orsaken Superintelligens har haft den inverkan han fördömer: dess tydliga förklaring av varför superintelligent AI kan ha godtyckligt negativa konsekvenser och varför det är viktigt att börja ta itu med problemet i god tid. Boström gör inte basera sitt fall på förutsägelser om att övermänskliga AI-system är nära förestående. Han skriver, Det är ingen del av argumentet i den här boken att vi står på tröskeln till ett stort genombrott inom artificiell intelligens, eller att vi med någon precision kan förutsäga när en sådan utveckling kan inträffa.
Enligt vår uppfattning distraherar Etzionis artikel således läsaren från bokens kärnargument och riktar en ad hominem attack mot Bostrom under förevändning att ifrågasätta hans undersökningsresultat. Vi anser att det är nödvändigt att korrigera journalen. En av oss (Russell) bidrog till och med till Etzionis undersökning, bara för att se att hans svar var helt felaktigt. Faktum är att som vår detaljerad analys visar Etzionis undersökningsresultat helt överensstämmande med de som Bostrom citerar.
Hur når Etzioni då sin romanavslutning? Genom att designa ett undersökningsinstrument dvs lägre till Bostroms och sedan misstolka resultaten.
Underrubriken till artikeln lyder: Om du frågar de människor som verkligen borde veta, kommer du att upptäcka att få tror att AI är ett hot mot mänskligheten. Så läsaren förleds att tro att Etzioni ställde denna fråga till de människor som verkligen borde veta, medan Bostrom inte gjorde det. I själva verket är det tvärtom: Bostrom gjorde fråga folk som egentligen borde veta, men Etzioni frågade ingen alls. Bostrom undersökte de 100 mest citerade AI-forskarna. Mer än hälften av de tillfrågade sa att de tror att det finns en betydande (minst 15 procent) chans att effekten av maskinintelligens på mänsklig nivå på mänskligheten kommer att vara dålig eller extremt dålig (existentiell katastrof). Etzionis undersökning, till skillnad från Bostroms, ställde inga frågor om ett hot mot mänskligheten.
Istället ställer han helt enkelt en fråga om när vi kommer att uppnå superintelligens. Som Bostroms data redan skulle ha förutspått föll något mer än hälften (67,5 procent) av Etzionis svarande i mer än 25 år för att uppnå superintelligens – trots allt gav mer än hälften av Bostroms respondenter datum efter 25 år för bara 50 procents sannolikhet för uppnå enbart intelligens på mänsklig nivå. En av oss (Russell) svarade på Etzionis undersökning med mer än 25 år, och Bostrom skriver själv, om sina egna undersökningar, Min egen uppfattning är att mediantalen som rapporterats i expertundersökningen inte har tillräcklig sannolikhetsmassa vid senare ankomstdatum.
Nu, efter att ha utformat en undersökning där respondenterna kan förväntas välja mer än 25 år, springer Etzioni sin fälla: han hävdar att 25 år är bortom den förutsebara horisonten och drar därmed slutsatsen att varken Russell eller faktiskt Bostrom själv tror att superintelligent AI är ett hot till mänskligheten. Detta kommer som en överraskning för Russell och Bostrom, och förmodligen för många andra respondenter i undersökningen. (Ja, Etzionis rubrik kunde lika gärna ha varit att 75 procent av experterna tycker att superintelligent AI är oundvikligt.) Ska vi ignorera katastrofala risker bara för att de flesta experter tror att de är mer än 25 år bort? Enligt Etzionis logik bör vi också ignorera de katastrofala riskerna med klimatförändringar och kasta ut dem som tar upp dem.
Tvärtemot synpunkter från Etzioni och några andra i AI-gemenskap , vilket pekar på långsiktiga risker från AI är inte motsvarar att hävda att superintelligent AI och dess medföljande risker är överhängande. Listan över dem som har pekat på riskerna inkluderar sådana armaturer som Alan Turing, Norbert Wiener, I.J. Bra, och Marvin Minsky. Till och med Oren Etzioni har erkände dessa utmaningar . Såvitt vi vet har ingen av dessa någonsin hävdat att superintelligent AI var nära förestående. Inte heller, som nämnts ovan, kom Bostrom med Superintelligens .
Etzioni upprepar sedan det tvivelaktiga argumentet att förutsägelser om undergång och dysterhet ofta misslyckas med att överväga de potentiella fördelarna med AI för att förhindra medicinska fel, minska bilolyckor och mer. Argumentet gäller inte ens Bostrom, som förutspår att framgång med att kontrollera AI kommer att resultera i en medkännande och jublande användning av mänsklighetens kosmiska begåvning. Argumentet är också nonsens. Det är som att argumentera för att kärnkraftsingenjörer som analyserar möjligheten till härdsmältningar i kärnkraftverk misslyckas med att överväga de potentiella fördelarna med billig el, och att eftersom kärnkraftverk en dag kan generera riktigt billig el, bör vi varken nämna eller arbeta med att förebygga , möjligheten till en härdsmälta.
Vår erfarenhet av Tjernobyl tyder på att det kan vara oklokt att hävda att en kraftfull teknik inte medför några risker. Det kan också vara oklokt att hävda att en kraftfull teknik aldrig kommer att bli verklighet. Den 11 september 1933 beskrev Lord Rutherford, världens kanske mest framstående kärnfysiker, möjligheten att utvinna energi från atomer som inget annat än månsken. Mindre än 24 timmar senare uppfann Leo Szilard den neutroninducerade kärnkedjereaktionen; detaljerade konstruktioner för kärnreaktorer och kärnvapen följde några år senare. Visst är det bättre att förutse mänsklig uppfinningsrikedom än att underskatta den, bättre att erkänna riskerna än att förneka dem.
Många framstående AI-experter har insett möjligheten att AI utgör en existentiell risk. I motsats till felaktiga framställningar i media behöver denna risk inte uppstå från spontant illvilligt medvetande. Risken uppstår snarare från oförutsägbarheten och den potentiella oåterkalleligheten av att implementera en optimeringsprocess som är mer intelligent än de människor som specificerade dess mål. Detta problem uttalades tydligt av Norbert Wiener 1960, och vi har fortfarande inte löst det. Vi uppmanar läsaren att stödja de pågående ansträngningarna att göra det.
Allan Dafoe är biträdande professor i statsvetenskap vid Yale University.
Stuart Russell är professor i datavetenskap vid University of California, Berkeley.
Svar från Oren Etzioni, 2 november 2016:
Jag är glad över att professorerna Dafoe & Russell och jag verkar vara överens i tre kritiska frågor. För det första bör vi avstå från ad hominem-attacker. Här måste jag be om ursäkt: Jag borde inte ha citerat den anonyma AAAI-stipendiaten som liknade Dr Bostrom med Donald Trump. Jag menade inte att ge min röst till den jämförelsen; Jag bad uppriktigt Bostrom om ursäkt för detta misstag via e-post, en ursäkt som han nådigt accepterade. Två, som forskare måste vi bedöma uttalanden om risken med AI baserat på data. Det var min viktigaste poäng kort artikel , och artikeln erbjöd unik information om detta ämne. Tre, vi är också överens om att media har felaktigt framställt konsekvenserna av Bostroms arbete – ett ämne av stor oro som i viss mån mildrades av Vita husets rapport om AI . Naturligtvis skiljer vi oss åt i många av detaljerna och krångligheterna i argumenten, men tiden får utvisa.