211service.com
Singulariteten och den fasta punkten
Vissa futurister som Ray Kurzweil har antagit att vi en dag snart kommer att passera genom en singularitet – det vill säga en tidsperiod av snabb teknisk förändring bortom vilken vi inte kan föreställa oss samhällets framtid. De flesta visioner av denna singularitet fokuserar på skapandet av maskiner som är tillräckligt intelligenta för att skapa maskiner som är ännu mer intelligenta än de själva, och så vidare rekursivt, och därmed lanserar en positiv återkopplingsslinga av intelligensförstärkning. Det är en spännande tanke. (En av de första sakerna jag ville göra när jag kom till MIT som grundutbildning var att bygga en robotforskare som kunde göra upptäckter snabbare och bättre än någon annan.) Till och med CTO för Intel, Justin Rattner, har nyligen spekulerat offentligt att vi är på god väg mot denna singularitet, och konferenser som Singularity Summit (där Jag ska prata i oktober ) undersöker hur sådana transformationer kan ske.
Som hjärningenjör tror jag dock att enbart fokus på intelligensökning som framtidens drivkraft utelämnar en kritisk del av analysen – nämligen de förändringar i motivation som kan uppstå när intelligensen förstärks. Kalla det behovet av maskinledarskap eller maskinfilosofi – utan det kan en sådan återkopplingsslinga snabbt sprängas.
Vi vet alla att intelligens, som vanligen definieras, inte räcker för att påverka världen ensam. Förmågan att envist sträva efter ett mål mot hinder, ignorera verklighetens grymhet (ibland till och med till en vanföreställning – dvs mot intelligens), är också viktig. De flesta science-fiction-historier föredrar att deras artificiella intelligens är extremt motiverade att göra saker – till exempel att förslava eller utplåna människor, om Matrisen och Terminator II har något att säga om ämnet. Men jag tycker att roboten Marvin, den superintelligenta maskinen från Douglas Adams, är lika rimlig. De Liftarens guide till galaxen , som använde sin enorma intelligens främst för att sitta och klaga, i avsaknad av något stort mål.
Faktum är att en riktigt avancerad intelligens, felaktigt motiverad, kan inse alltings förgänglighet, beräkna att solen kommer att brinna ut om några miljarder år och besluta sig för att spela tv-spel under resten av sin existens, och dra slutsatsen att uppfinna en ännu smartare maskinen är meningslös. (En följd av detta tänkande kan förklara varför vi inte har hittat utomjordiskt liv ännu: intelligenser på gränsen för att uppnå interstellära resor kan vara benägna att tro att med galaxerna som kokar bort på bara 1019 år, kan det vara bättre att bara stanna hemma och titta på TV.) Om man försöker bygga en intelligent maskin som kan utveckla mer intelligenta maskiner, är det viktigt att hitta ett sätt att bygga in inte bara motivation, utan motivationsförstärkning - den fortsatta viljan att bygga in självuppehållande motivation, allt eftersom intelligensen förstärks. Om sådan motivation ska ägas av framtida generationer av intelligens – metamotivation, så att säga – så är det viktigt att upptäcka dessa principer nu.
Det finns en andra fråga. En intelligent varelse kanske kan föreställa sig många fler möjligheter än en mindre intelligent, men det kanske inte alltid leder till mer effektiv handling, särskilt om vissa möjligheter distraherar intelligensen från de ursprungliga målen (t.ex. målet att bygga en mer intelligent intelligens). ). Universums inneboende osäkerhet kan också överväldiga, eller göra irrelevant, beslutsprocessen för denna intelligens. För ett mycket högdimensionellt utrymme av möjligheter (med axlarna som representerar olika parametrar för den åtgärd som ska vidtas) kan det faktiskt vara mycket svårt att utvärdera vilken väg som är den bästa. Sinnet kan göra planer parallellt, men handlingar är i slutändan enhetliga, och givet ändliga tillgängliga resurser kommer effektiva handlingar ofta att vara sparsamma.
De två sista styckena gäller inte bara AI och ET, utan beskriver också egenskaper hos det mänskliga sinnet som ibland påverkar beslutsfattandet hos många av oss – brist på motivation och drivkraft och förlamning av beslutsfattande inför alltför många möjliga val . Men det blir värre: vi vet att en motivation kan kapas av alternativ som simulerar den tillfredsställelse som motivationen syftar till. Substansberoende plågar tiotals miljoner människor bara i USA, och missbruk av mer subtila saker, inklusive vissa typer av information (som e-post), är också framträdande. Och få konster är mer utmanande än att föra motivationen vidare till nästa generation, för jakten på en stor idé. Intelligenser som uppfinner mer och mer intressanta och absorberande teknologier, som bättre kan fånga och behålla deras uppmärksamhet, samtidigt som de minskar påverkan på världen, kan komma in i motsatsen till en singularitet.
Vad är motsatsen till en singularitet? Singulariteten beror på en matematisk rekursion: uppfinn en superintelligens, och sedan kommer den att uppfinna en ännu kraftfullare superintelligens. Men som alla matematikstudenter vet finns det andra resultat av en itererad process, som en fast punkt. En fast punkt är en punkt som, när en funktion används, ger dig samma punkt igen. Att tillämpa en sådan funktion på punkter nära den fasta punkten kommer ofta att skicka dem mot den fasta punkten.
En samhällelig fixpunkt kan därför definieras som ett tillstånd som självförstärker, förblir i status quo – vilket i princip kan vara fredligt och självförsörjande, men kan också vara extremt tråkigt – säg, som involverar många människor som är anslutna till internet tittar på videor för alltid. Således kanske vi som människor vill, någon gång snart, börja lägga ut designregler för teknologier så att de kommer att motivera oss till något högt mål eller mål – eller åtminstone bort från återvändsgränd samhälleliga fixpunkter. Denna process kommer att innebära att man funderar på hur teknik kan hjälpa till att konfrontera en gammal filosofisk fråga – nämligen vad ska jag göra med tanke på alla dessa möjliga vägar? Kanske är det dags för ett empiriskt svar på denna fråga, hämtat från egenskaperna hos våra hjärnor och det universum vi lever i.