AI Doomsayer säger att hans idéer slår igenom

Under det senaste året, Oxford University filosofi professor Nick Boström har fått synlighet för att varna för de potentiella riskerna med mer avancerade former av artificiell intelligens. Han säger nu att hans varningar uppmärksammas av företag som tänjer på gränserna för forskning om artificiell intelligens.

Nick Boström

Många som arbetar med AI är fortfarande skeptiska till eller till och med fientliga till Bostroms idéer. Men sedan hans bok om ämnet, Superintelligens , dök upp förra sommaren, har några framstående teknologer och vetenskapsmän – inklusive Elon Musk, Stephen Hawking och Bill Gates – upprepat några av hans oro. Google håller till och med att sammansätta en etisk kommitté för att övervaka dess arbete med artificiell intelligens.

Boström träffade förra veckan med MIT Technology Review byråchefen i San Francisco, Tom Simonite, för att diskutera hans ansträngning att få forskare med artificiell intelligens att överväga farorna med deras arbete (se Our Fear of Artificial Intelligence).

Hur kom du att tro att artificiell intelligens var ett mer pressande problem för världen än, säg, nukleär förintelse eller en stor pandemi?

Många saker kan orsaka katastrofer, men relativt få kan faktiskt hota hela framtiden för jordbefolkande intelligent liv. Jag tror att artificiell intelligens är en av de största, och det verkar vara en där ansträngningar från ett litet antal människor, eller en extra enhet av resurser, kan göra en icke-trivial skillnad. Med kärnvapenkrig är många stora, mäktiga grupper redan intresserade av det.

Hur är det med klimatförändringarna, som allmänt ses som det största hotet som mänskligheten står inför just nu?

Det är en väldigt, väldigt liten existentiell risk. För att det ska bli en, måste våra nuvarande modeller vara fel - även de värsta scenarierna betyder [bara] att klimatet i vissa delar av världen skulle vara lite mer ogynnsamt. Då skulle vi behöva vara oförmögna att åtgärda det genom lite geoteknik, vilket också ser osannolikt ut.

Vissa etiska teorier antyder att existentiell risk bara är mycket viktigare. Sammantaget borde den existentiella riskreduceringen vara mycket större än den är idag. Världen spenderar mycket mer på att utveckla nya former av läppstift än på existentiella risker.

Om någon kom till dig och sa: Mitt företag har utvecklat teknik som ser ut att kunna göra artificiell intelligens mycket kraftfullare, vad skulle du råda dig till?

Det första förslaget skulle vara att bygga upp viss kompetens internt inom AI-säkerhetsforskning. En avgörande sak är att skapa en bra arbetsrelation mellan de personer som arbetar med AI och de personer som funderar på säkerhetsfrågor. Det enda sättet det kan finnas ett bra scenario är om dessa idéer skapas och sedan implementeras.

Google, Facebook och andra stora teknikföretag verkar leda framstegen inom artificiell intelligens. Pratar du redan med dem?

Jag vill inte nämna namn. Det är de som har stort intresse för detta område. Jag tror att det finns ett erkännande att det är vettigt att låta vissa människor tänka på [AI-säkerhet] nu, och sedan kanske, när och när saker går framåt, att öka det. Det är bra att ha ett frö där inne, någon som håller ett öga på dessa saker.

Vilken typ av forskning är möjlig om något så långt ifrån att vara verkligt idag?

Det som har producerats upp till dags dato är en tydligare förståelse av vad problemet är och några begrepp som kan användas för att tänka på dessa saker. Dessa kanske inte ser ut som mycket på pappret, men tidigare var det inte möjligt att gå till nästa steg, som är att utveckla en teknisk forskningsagenda.

Kan du ge ett exempel på ett tekniskt projekt som kan vara på det?

Kan du till exempel designa ett AI-motivationssystem [så] att AI:n inte motstår att programmeraren kommer in för att ändra sitt mål? Det finns en hel uppsättning saker som kan vara praktiskt användbara, som boxningsmetoder – verktyg som kan innehålla en AI innan den är redo att släppas.

Men de är långt ifrån de typer av system som forskare på till exempel Google faktiskt bygger idag.

Ja. En av utmaningarna är att göra ett användbart arbete inom detta område långt före när man faktiskt har ett system där de skulle kunna eller bör tillämpas.

Kan inte en artificiell intelligens som är långt under mänsklig nivå fortfarande orsaka problem? Till exempel, om den används av en regering som ett vapen, eller av misstag om den släpps loss på finansmarknaderna?

Det finns en hel klass av mer överhängande och mindre problem som vissa människor säger är mer verkliga. Det finns algoritmisk handel, eller drönare, eller automatisering och dess inverkan på arbetsmarknaden, eller om system skulle kunna diskriminera medvetet eller omedvetet på grundval av ras. Jag förnekar inte att dessa problem existerar – jag tror bara att det finns detta ytterligare problem som världen kanske inte tar itu med eftersom det verkligen blir allvarligt först när AI når en viss mycket hög nivå.

Du är noga med att säga att ingen riktigt kan förutse hur nära den nivån är. Men finns det särskilda framsteg som skulle signalera att vi är på väg någonstans?

Mycket troligt skulle ett antal stora genombrott behöva inträffa, för att ge mer sunt förnuft resonemang, allmän inlärningsförmåga inom olika områden, [och] mer flexibel planeringsförmåga.

Det har varit minst två perioder där hypebubblor inom fältet sedan följdes av perioder av desillusion. Det kan mycket väl vara så att vi nu befinner oss i en tredje hypebubbla och att vi når gränsen för vad som kan göras med dessa nya tekniker och det kommer att ta lång tid innan nästa stora gräns. Men det kan också vara vågen som går hela vägen dit.

Förblir du optimistisk om våra chanser om det gör det?

Min långsiktiga syn är att det är mest troligt att vi antingen hamnar på ett dåligt eller väldigt bra ställe, inte någonstans som är så som så. Förhoppningsvis kommer det att bli jättebra.

Dölj