Kurzweil svarar: Underskatta inte singulariteten

Även om Paul Allen parafraserar min bok från 2005, Singulariteten är nära , i titeln på sin uppsats (samskriven med sin kollega Mark Greaves), verkar det som att han faktiskt inte har läst boken. Hans enda citat är till en uppsats jag skrev 2001 (The Law of Accelerating Returns) och hans artikel erkänner eller svarar inte på argument jag faktiskt framför i boken.

Kredit: Technology Review

När min bok från 1999, The Age of Spiritual Machines, publicerades, och utökades ett par år senare med 2001 års uppsats, genererade den flera rader av kritik, som t.ex. Moores lag kommer att upphöra, hårdvarukapaciteten kan expandera exponentiellt men mjukvara har fastnat i leran, hjärnan är för komplicerad, det finns kapacitet i hjärnan som i sig inte kan replikeras i mjukvara, och flera andra. Jag skrev specifikt Singulariteten är nära att svara på den kritiken.

Jag kan inte säga att Allen nödvändigtvis skulle bli övertygad av de argument jag framför i boken, men han kunde åtminstone ha svarat på det jag faktiskt skrev. Istället erbjuder han om igen argument som om ingenting någonsin har skrivits för att svara på dessa frågor. Allens beskrivningar av mina egna positioner verkar vara hämtade från min 10 år gamla uppsats. Medan jag fortsätter att stå vid den uppsatsen, sammanfattar Allen inte mina ståndpunkter korrekt ens från den uppsatsen.

Allen skriver att lagen om accelererande avkastning (LOAR)... inte är en fysisk lag. Jag vill påpeka att de flesta vetenskapliga lagar inte är fysiska lagar, utan härrör från de framträdande egenskaperna hos ett stort antal händelser på en finare nivå. Ett klassiskt exempel är termodynamikens lagar (LOT). Om du tittar på matematiken som ligger bakom LOT, modellerar de varje partikel som följer en slumpmässig promenad. Så per definition kan vi inte förutsäga var någon speciell partikel kommer att vara vid någon framtida tidpunkt. Ändå är gasens övergripande egenskaper mycket förutsägbara till en hög grad av precision enligt lagar av termodynamiken. Så är det med lagen om accelererande avkastning. Varje teknikprojekt och bidragsgivare är oförutsägbar, men den övergripande banan, kvantifierad genom grundläggande mått på pris-prestanda och kapacitet, följer ändå anmärkningsvärt förutsägbara vägar.

Om datortekniken eftersträvades av bara en handfull forskare, skulle det verkligen vara oförutsägbart. Men det eftersträvas av ett tillräckligt dynamiskt system av konkurrenskraftiga projekt att ett grundläggande mått som instruktioner per sekund per konstant dollar följer en mycket jämn exponentiell väg tillbaka till 1890 års amerikanska folkräkning. Jag diskuterar den teoretiska grunden för LOAR utförligt i min bok, men det starkaste argumentet är det omfattande empiriska bevis som jag och andra presenterar.

Allen skriver att dessa 'lagar' fungerar tills de inte gör det. Här blandar Allen ihop paradigm med den pågående banan för ett grundläggande område inom informationsteknologi. Om vi ​​undersökte trenden att skapa allt mindre vakuumrör, paradigmet för att förbättra beräkningen på 1950-talet, är det sant att denna specifika trend fortsatte tills den inte gjorde det. Men när slutet på just detta paradigm blev tydligt växte forskningstrycket för nästa paradigm. Transistortekniken höll den underliggande trenden med den exponentiella tillväxten av prisprestanda igång, och det ledde till det femte paradigmet (Moores lag) och den kontinuerliga komprimeringen av funktioner på integrerade kretsar. Det har förekommit regelbundna förutsägelser om att Moores lag kommer att upphöra. De halvledarindustrins färdplan titeln projekt sju nanometer funktioner i början av 2020-talet. Vid den tidpunkten kommer nyckelegenskaper att vara bredden på 35 kolatomer, och det kommer att vara svårt att fortsätta att krympa dem. Men Intel och andra kretstillverkare tar redan de första stegen mot det sjätte paradigmet, som är att beräkna i tre dimensioner för att fortsätta exponentiell förbättring av prisprestanda. Intel räknar med att tredimensionella kretsar kommer att vara mainstream vid tonåren. Redan tredimensionella transistorer och tredimensionella minneschips har introducerats.

Detta sjätte paradigm kommer att hålla LOAR igång med avseende på datorprisprestanda till den punkt, senare under detta århundrade, där tusen dollar av beräkningar kommer att vara biljoner gånger kraftfullare än den mänskliga hjärnan. [ett] Och det verkar som att Allen och jag är åtminstone överens om vilken nivå av beräkning som krävs för att funktionellt simulera den mänskliga hjärnan. [två]

Allen fortsätter sedan med att ge standardargumentet att mjukvaran inte utvecklas på samma exponentiella sätt som hårdvara. I Singulariteten är nära , Jag tar upp denna fråga utförligt och citerar olika metoder för att mäta komplexitet och kapacitet i programvara som visar en liknande exponentiell tillväxt. En nyligen genomförd studie (Rapport till presidenten och kongressen, Designing a Digital Future: Federally Funded Research and Development in Networking and Information Technology av President's Council of Advisors on Science and Technology) säger följande:

Ännu mer anmärkningsvärt – och ännu mindre allmänt förstådd – är att på många områden, prestandavinster på grund av förbättringar i algoritmer har vida överträffat till och med de dramatiska prestandavinsterna på grund av ökad processorhastighet . Algoritmerna som vi använder idag för taligenkänning, för översättning av naturliga språk, för schackspel, för logistikplanering, har utvecklats anmärkningsvärt under det senaste decenniet ... Här är bara ett exempel, som tillhandahålls av professor Martin Grötschel vid Konrad-Zuse-Zentrum für Informationstechnik Berlin. Grötschel, expert på optimering, observerar att en benchmark-produktionsplaneringsmodell löst med linjär programmering skulle ha tagit 82 år att lösa 1988, med hjälp av dagens datorer och linjära programmeringsalgoritmer. Femton år senare – 2003 – kunde samma modell lösas på ungefär en minut, en förbättring med en faktor på ungefär 43 miljoner. Av detta berodde en faktor på ungefär 1 000 på ökad processorhastighet, medan en faktor på ungefär 43 000 berodde på förbättringar av algoritmer! Grötschel nämner också en algoritmisk förbättring på cirka 30 000 för programmering med blandade heltal mellan 1991 och 2008. Utformningen och analysen av algoritmer, och studiet av problemens inneboende beräkningskomplexitet, är grundläggande delområden inom datavetenskap.

Jag nämner många andra sådana här exempel i boken. [3]

När det gäller AI är Allen snabb med att avfärda IBMs Watson som smal, stel och spröd. Jag förstår att Allen skulle avfärda alla demonstrationer utan att ha godkänt Turing-testet. Jag vill påpeka att Watson inte är så smal. Den behandlar ett brett spektrum av mänsklig kunskap och kan hantera subtila former av språk, inklusive ordlekar, liknelser och metaforer. Det är inte perfekt, men det är inte människor heller, och det var tillräckligt bra för att få en högre poäng än de två bästa människorna Jeopardy! spelare tillsammans.

Allen skriver att Watson sattes ihop av forskarna själva och byggde varje länk av smal kunskap inom specifika områden. Även om vissa områden av Watsons kunskap programmerades direkt, enligt IBM, skaffade Watson det mesta av sin kunskap på egen hand genom att läsa dokument på naturliga språk som uppslagsverk. Det representerar dess nyckelstyrka. Den kan inte bara förstå det invecklade språket i Jeopardy! frågor (svar på jakt efter en fråga), men den skaffade sig sin kunskap genom att läsa stora mängder dokument på naturliga språk. IBM arbetar nu med Nuance (ett företag som jag ursprungligen grundade som Kurzweil Computer Products) för att låta Watson läsa tiotusentals medicinska artiklar för att skapa en medicinsk diagnostiker.

Ett ord om karaktären av Watsons förståelse är på sin plats här. Det har skrivits mycket om att Watson arbetar genom statistisk kunskap snarare än sann förståelse. Många läsare tolkar detta som att Watson bara samlar in statistik om ordsekvenser. Termen statistisk information i Watsons fall syftar på distribuerade koefficienter i självorganiserande metoder som Markov-modeller. Man skulle lika gärna kunna referera till de distribuerade signalsubstanskoncentrationerna i den mänskliga cortexen som statistisk information. Faktum är att vi löser tvetydigheter på ungefär samma sätt som Watson gör genom att överväga sannolikheten för olika tolkningar av en fras.

Allen skriver: Varje struktur [i hjärnan] har formats exakt av miljontals år av evolution för att göra en viss sak, vad den än kan vara. Det är inte som en dator, med miljarder identiska transistorer i vanliga minnesarrayer som styrs av en CPU med några olika element. I hjärnan har varje individuell struktur och neurala kretsar förfinats individuellt av evolution och miljöfaktorer.

Allens uttalande att varje struktur och neural krets är unik är helt enkelt omöjligt. Det skulle innebära att utformningen av hjärnan skulle kräva hundratals biljoner bytes information. Ändå finns hjärnans design (som resten av kroppen) i genomet. Och även om översättningen av genomet till en hjärna inte är enkel, kan hjärnan inte ha mer designinformation än genomet. Observera att epigenetisk information (såsom peptiderna som kontrollerar genuttryck) inte nämnvärt ökar mängden information i genomet. Erfarenhet och lärande bidrar avsevärt till mängden information, men detsamma kan sägas om AI-system. Jag visar in Singulariteten är nära att efter förlustfri komprimering (på grund av massiv redundans i genomet) är mängden designinformation i genomet cirka 50 miljoner byte, varav ungefär hälften avser hjärnan. [4] Det är inte enkelt, men det är en komplexitetsnivå vi kan hantera och representerar mindre komplexitet än många mjukvarusystem i den moderna världen.

Hur får vi i storleksordningen 100 biljoner anslutningar i hjärnan från endast tiotals miljoner bytes designinformation? Uppenbarligen är svaret genom redundans. Det finns i storleksordningen en miljard mönsterigenkänningsmekanismer i cortex. De är sammanlänkade på invecklade sätt, men även i anslutningarna finns det massiv redundans. Lillhjärnan har också miljarder upprepade mönster av neuroner. Det är sant att de massivt upprepade strukturerna i hjärnan lär sig olika information när vi lär oss och får erfarenhet, men samma sak är sant för artificiellt intelligenta system som Watson.

Dharmendra S. Modha, chef för kognitiv databehandling för IBM Research, skriver : …neuroanatomister har inte hittat ett hopplöst trassligt, godtyckligt sammankopplat nätverk, helt idiosynkratiskt för varje individs hjärna, utan istället en hel del upprepad struktur inom en individuell hjärna och en hel del homologi över arter … Den häpnadsväckande naturliga omkonfigurerbarheten ger hopp att kärnalgoritmerna för neuroberäkning är oberoende av de specifika sensoriska eller motoriska modaliteterna och att mycket av den observerade variationen i kortikal struktur över områden representerar en förfining av en kanonisk krets; det är verkligen denna kanoniska krets vi vill omvända konstruera.

Allen uttrycker det jag i min bok beskriver som vetenskapsmannens pessimism. Forskare som arbetar med nästa generation kämpar undantagslöst med nästa uppsättning utmaningar, så om någon beskriver hur tekniken kommer att se ut om 10 generationer, blir deras ögon blixtrande. En av pionjärerna inom integrerade kretsar beskrev nyligen för mig kampen för att gå från 10 mikron (10 000 nanometer) funktioner till fem mikron (5 000 nanometer) för över 30 år sedan. De var försiktigt övertygade om detta mål, men när folk förutspådde att vi en dag faktiskt skulle ha kretsar med funktionsstorlekar under en mikron (1 000 nanometer), tyckte de flesta av forskarna som kämpade för att komma till fem mikron att det var för vilt att tänka på. Invändningar gjordes mot kretsarnas bräcklighet på den nivån av precision, termiska effekter och så vidare. Tja, idag börjar Intel använda chips med 22-nanometers grindlängder.

Vi såg samma pessimism med genomprojektet. Halvvägs genom det 15-åriga projektet hade bara 1 procent av arvsmassan samlats in, och kritiker föreslog grundläggande gränser för hur snabbt genomet kunde sekvenseras utan att förstöra de känsliga genetiska strukturerna. Men den exponentiella tillväxten i både kapacitet och prisutveckling fortsatte (båda fördubblades ungefär varje år), och projektet avslutades sju år senare. Projektet att omvända den mänskliga hjärnan gör liknande framsteg. Det är först nyligen, till exempel, som vi har nått en tröskel med icke-invasiva scanningstekniker som vi kan se individuella internuronala förbindelser bildas och avfyras i realtid.

Allens komplexitetsbroms förvirrar skogen med träden. Om du vill förstå, modellera, simulera och återskapa en bukspottkörtel behöver du inte återskapa eller simulera varje organell i varje cell i bukspottkörteln. Du skulle istället vilja förstå en cell i öarna fullt ut, sedan abstrahera dess grundläggande funktionalitet och sedan utöka den till en stor grupp av sådana celler. Denna algoritm är välkänd med avseende på öceller. Det finns nu konstgjorda bukspottkörtel som använder denna funktionella modell som testas. Även om det förvisso är mycket mer invecklad och variation i hjärnan än i de massivt upprepade cellöarna i bukspottkörteln, finns det inte desto mindre en massiv upprepning av funktioner.

Allen felkarakteriserar mitt förslag att lära sig om hjärnan genom att skanna hjärnan för att förstå dess fina struktur. Det är inte mitt förslag att simulera en hel hjärna nerifrån och upp utan att förstå informationsbearbetningsfunktionerna. Vi behöver förstå i detalj hur enskilda typer av neuroner fungerar, och sedan samla information om hur funktionella moduler hänger ihop. De funktionella metoder som härrör från denna typ av analys kan sedan styra utvecklingen av intelligenta system. I grund och botten letar vi efter biologiskt inspirerade metoder som kan påskynda arbetet inom AI, varav mycket har utvecklats utan betydande insikt om hur hjärnan utför liknande funktioner. Från mitt eget arbete med taligenkänning vet jag att vårt arbete accelererade kraftigt när vi fick insikter om hur hjärnan förbereder och transformerar auditiv information.

Sättet som dessa massivt överflödiga strukturer i hjärnan särskiljer är genom lärande och erfarenhet. Den aktuella tekniken inom AI gör det dock möjligt för system att också lära sig av sina egna erfarenheter. Googles självkörande bilar (som har kört över 140 000 miles genom städer och städer i Kalifornien) lär sig av sin egen körupplevelse såväl som från Googles bilar som körs av mänskliga förare. Som jag nämnde lärde sig Watson det mesta av sin kunskap genom att läsa på egen hand.

Det är sant att Watson inte är riktigt på mänskliga nivåer i sin förmåga att förstå mänskligt språk (om det vore så skulle vi vara på Turing-testnivå nu), men det kunde besegra de bästa människorna. Detta beror på den inneboende hastigheten och tillförlitligheten hos minne som datorer har. Så när en dator når mänskliga nivåer, vilket jag tror kommer att ske i slutet av 2020-talet, kommer den att kunna gå ut på webben och läsa miljarder sidor samt ha erfarenheter i virtuella världar online. Att kombinera mönsterigenkänning på mänsklig nivå med datorernas inneboende hastighet och noggrannhet kommer att vara mycket kraftfullt. Men detta är inte en utomjordisk invasion av intelligensmaskiner – vi skapar dessa verktyg för att göra oss själva smartare. Jag tror att Allen håller med mig om att det är det som är unikt med den mänskliga arten: vi bygger dessa verktyg för att utöka vår egen räckvidd.

Ray Kurzweil är en uppfinnare och författare. Hans sista stycke för Teknikgranskning var om bekämpa åldrandeprocessen .

[ett] Kapitel 2, Singulariteten är nära av Ray Kurzweil, Viking, 2005.

[två] Se slutnot 2 i The Singularity Isn't Near av Paul G. Allen och Mark Greaves.

[3] Kapitel 9, Singulariteten är nära.

[4] Kapitel 4, Singulariteten är nära.

Dölj