211service.com
Den röriga, hemliga verkligheten bakom OpenAI:s försök att rädda världen
Greg Brockman, medgrundare och CTO; Ilya Sutskever, medgrundare och chefsforskare; och Dario Amodi, forskningschef. Christie Där Klok
Varje år röstar OpenAI:s anställda om när de tror att artificiell allmän intelligens, eller AGI, äntligen kommer. Det ses mest som ett roligt sätt att knyta an, och deras uppskattningar skiljer sig mycket åt. Men inom ett område som fortfarande diskuterar huruvida mänskliga autonoma system ens är möjliga, tror hälften av labbet att det sannolikt kommer att hända inom 15 år.
Under de fyra korta åren av dess existens har OpenAI blivit ett av de ledande AI-forskningslabben i världen. Det har skapat sig ett namn och producerar konsekvent rubrik-gripande forskning, tillsammans med andra AI-tungviktare som Alphabets DeepMind. Det är också en älskling i Silicon Valley, och räknar Elon Musk och den legendariske investeraren Sam Altman bland sina grundare.
Framför allt är det lioniserat för sitt uppdrag. Dess mål är att vara först med att skapa AGI – en maskin med inlärnings- och resonemangsförmågan hos ett mänskligt sinne. Syftet är inte världsherravälde; snarare vill labbet säkerställa att tekniken utvecklas på ett säkert sätt och att fördelarna fördelas jämnt till världen.
Innebörden är att AGI lätt kan bli amok om teknikens utveckling lämnas att följa minsta motståndets väg. Smal intelligens, den sortens klumpiga AI som omger oss idag, har redan tjänat som ett exempel. Vi vet nu att algoritmer är partiska och ömtåliga; de kan begå stora övergrepp och stora bedrägerier; och kostnaden för att utveckla och driva dem tenderar att koncentrera sin makt i händerna på ett fåtal. Genom extrapolering kan AGI vara katastrofal utan noggrann vägledning av en välvillig herde.
OpenAI vill vara den herden, och den har noggrant utformat sin image för att passa räkningen. På ett område som dominerades av rika företag grundades det som en ideell organisation. Dess första tillkännagivandet sade att denna distinktion skulle göra det möjligt att skapa värde för alla snarare än för aktieägare. Dess charter – ett dokument så heligt att anställdas lön är kopplad till hur väl de följer den – förklarar vidare att OpenAI:s primära förtroendeplikt är mot mänskligheten. Att uppnå AGI säkert är så viktigt, fortsätter det, att om en annan organisation var nära att komma dit först, så skulle OpenAI sluta konkurrera med den och samarbeta istället. Denna lockande berättelse spelar bra med investerare och media, och i juli injicerade Microsoft labbet med en ny miljard dollar.
OpenAI:s logotyp hänger på kontoret. Christie Hemm Klok
Men tre dagar på OpenAI:s kontor – och nästan tre dussin intervjuer med tidigare och nuvarande anställda, medarbetare, vänner och andra experter på området – tyder på en annan bild. Det finns en missanpassning mellan vad företaget offentligt förespråkar och hur det fungerar bakom stängda dörrar. Med tiden har det tillåtit en hård konkurrenskraft och ett ökande tryck för allt mer finansiering för att urholka dess grundidéer om transparens, öppenhet och samarbete. Många som arbetar eller arbetade för företaget insisterade på anonymitet eftersom de inte hade tillstånd att uttala sig eller fruktade repressalier. Deras konton tyder på att OpenAI, trots alla sina ädla ambitioner, är besatt av att upprätthålla sekretess, skydda sin image och behålla sina anställdas lojalitet.
Sedan dess tidigaste uppfattning har AI som ett område strävat efter att förstå mänsklig intelligens och sedan återskapa den. 1950 började Alan Turing, den berömda engelske matematikern och datavetaren, ett papper med den nu berömda provokationen Kan maskiner tänka? Sex år senare, fångade av den tjatande idén, samlades en grupp forskare vid Dartmouth College för att formalisera disciplinen.
Det är en av de mest grundläggande frågorna i all intellektuell historia, eller hur? säger Oren Etzioni, VD för Allen Institute for Artificial Intelligence (AI2), ett Seattle-baserat ideellt AI-forskningslabb. Det är som om vi förstår universums ursprung? Förstår vi materia?
Problemet är att AGI alltid har varit vag. Ingen kan riktigt beskriva hur det kan se ut eller minimum av vad det borde göra. Det är till exempel inte uppenbart att det bara finns en typ av allmän intelligens; mänsklig intelligens kan bara vara en delmängd. Det finns också olika åsikter om vilket syfte AGI skulle kunna tjäna. I den mer romantiserade synen kan en maskinell intelligens obehindrad av behovet av sömn eller ineffektiviteten hos mänsklig kommunikation hjälpa till att lösa komplexa utmaningar som klimatförändringar, fattigdom och hunger.
Men den rungande samsynen inom området är att sådana avancerade förmågor skulle ta årtionden, till och med århundraden – om det verkligen är möjligt att utveckla dem överhuvudtaget. Många fruktar också att en övernitisk strävan efter detta mål kan slå tillbaka. På 1970-talet och igen i slutet av 80-talet och början av 90-talet överlovade och underlevererade fältet. Över en natt torkade finansieringen ut och lämnade djupa ärr hos en hel generation forskare. Fältet kändes som ett bakvatten, säger Peter Eckersley, fram till nyligen forskningschef på branschgruppen Partnership on AI, där OpenAI är medlem.
Ett konferensrum på första våningen som heter Infinite Jest. Christie Hemm Klok
Mot denna bakgrund gick OpenAI in i världen med ett stänk den 11 december 2015. Det var inte det första som öppet förklarade att det drev AGI; DeepMind hade gjort det fem år tidigare och hade köpts upp av Google 2014. Men OpenAI verkade annorlunda. För det första var klistermärkespriset chockerande: satsningen skulle börja med 1 miljard dollar från privata investerare, inklusive Musk, Altman och PayPals medgrundare Peter Thiel.
Den stjärnspäckade investerarlistan väckte en mediafrenzy, liksom den imponerande listan över initiala anställda: Greg Brockman, som hade drivit teknik för betalningsföretaget Stripe, skulle bli teknikchef; Ilya Sutskever, som hade studerat under AI-pionjären Geoffrey Hinton, skulle bli forskningschef; och sju forskare, nyutexaminerade från toppuniversitet eller hämtade från andra företag, skulle utgöra det tekniska kärnteamet. (Fbruari förra året, Musk meddelat att han skiljde sig från företaget på grund av oenighet om dess inriktning. En månad senare, Altman avgick som president för startupacceleratorn Y Combinator för att bli OpenAI:s VD.)
Men mer än något annat gjorde OpenAI:s ideella status ett uttalande. Det kommer att vara viktigt att ha en ledande forskningsinstitution som kan prioritera ett bra resultat för hela sitt eget intresse, sa tillkännagivandet . Forskare kommer att uppmuntras starkt att publicera sitt arbete, antingen som tidningar, blogginlägg eller kod, och våra patent (om några) kommer att delas med världen. Även om det aldrig gjorde kritiken explicit, var implikationen tydlig: andra labb, som DeepMind, kunde inte tjäna mänskligheten eftersom de var begränsade av kommersiella intressen. Medan de var stängda skulle OpenAI vara det öppen .
I ett forskningslandskap som hade blivit allt mer privatiserat och fokuserat på kortsiktiga ekonomiska vinster, erbjöd OpenAI ett nytt sätt att finansiera framsteg med de största problemen. Det var en ledstjärna av hopp, säger Chip Huyen, en maskininlärningsexpert som noga har följt labbets resa.
I korsningen mellan 18th och Folsom Streets i San Francisco ser OpenAIs kontor ut som ett mystiskt lager. Den historiska byggnaden har trist grå panel och tonade fönster, med de flesta nyanserna neddragna. Bokstäverna PIONEER BUILDING – resterna av dess svunna ägare, Pioneer Truck Factory – sveper runt hörnet i blek röd färg.
Inuti är utrymmet ljust och luftigt. Den första våningen har några gemensamma utrymmen och två konferensrum. En, en hälsosam storlek för större möten, kallas A Space Odyssey; den andra, mer av en glorifierad telefonkiosk, heter Infinite Jest. Det här är utrymmet jag är begränsad till under mitt besök. Jag är förbjuden att besöka andra och tredje våningen, som rymmer allas skrivbord, flera robotar och i stort sett allt intressant. När det är dags för deras intervjuer kommer folk till mig. En anställd tränar ett vakande öga på mig mellan mötena.
Pionjärbyggnaden. wikimedia commons / tfinc
Den vackra blåhimmeldagen när jag kommer för att träffa Brockman ser han nervös och bevakad ut. Vi har aldrig gett någon så mycket tillgång förut, säger han med ett trevande leende. Han bär vardagskläder och, som många på OpenAI, har han en formlös frisyr som verkar spegla en effektiv mentalitet utan krusiduller.
Brockman, 31, växte upp på en hobbygård i North Dakota och hade vad han beskriver som en fokuserad, lugn barndom. Han mjölkade kor, plockade ägg och blev kär i matematik medan han studerade på egen hand. 2008 började han på Harvard med avsikt att ta dubbelmajor i matematik och datavetenskap, men han blev snabbt rastlös för att komma in i den verkliga världen. Han hoppade av ett år senare, gick in på MIT istället och hoppade av igen inom några månader. Andra gången var hans beslut slutgiltigt. När han väl flyttade till San Francisco såg han sig aldrig tillbaka.
Brockman tar mig till lunch för att ta bort mig från kontoret under ett möte med hela företaget. På kaféet tvärs över gatan talar han om OpenAI med intensitet, uppriktighet och förundran, och drar ofta paralleller mellan dess uppdrag och landmärken i vetenskapshistorien. Det är lätt att uppskatta hans karisma som ledare. Han återberättar minnesvärda stycken från böckerna han har läst, och tittar på dalens favoritberättelse, Amerikas lopp mot månen. (En berättelse jag verkligen älskar är berättelsen om vaktmästaren, säger han och hänvisar till en berömd men förmodligen apokryfisk berättelse. Kennedy går fram till honom och frågar honom: 'Vad gör du?' och han säger: 'Åh, jag gör det. hjälpa till att sätta en man på månen!') Det finns också den transkontinentala järnvägen (Det var faktiskt det sista megaprojektet som gjordes helt för hand ... ett projekt av enorm skala som var totalt riskabelt) och Thomas Edisons glödlampa (En kommitté av framstående experter sa ' Det kommer aldrig att fungera', och ett år senare skickade han).
Greg Brockman, medgrundare och CTO. Christie Hemm klocka
Brockman är medveten om den chansning OpenAI har tagit på sig – och medveten om att den framkallar cynism och granskning. Men med varje referens är hans budskap tydligt: Människor kan vara skeptiska så mycket de vill. Det är priset för att våga mycket.
De som gick med i OpenAI i början minns energin, spänningen och känslan av syfte. Teamet var litet – bildat genom en tät väv av kontakter – och ledningen förblev lös och informell. Alla trodde på en platt struktur där idéer och debatt skulle vara välkomna från vem som helst.
Musk spelade ingen liten roll i att bygga en kollektiv mytologi. Sättet han presenterade det för mig var 'Titta, jag förstår det.' AGI kan vara långt borta, men tänk om det inte är det?’ minns Pieter Abbeel, en professor vid UC Berkeley som arbetade där, tillsammans med flera av sina studenter, under de första två åren. 'Tänk om det till och med bara är en 1% eller 0,1% chans att det händer under de kommande fem till 10 åren? Borde vi inte tänka på det väldigt noga?’ Det fick genklang hos mig, säger han.
Men informaliteten ledde också till en viss vag riktning. I maj 2016 fick Altman och Brockman besök av Dario Amodei, då en Google-forskare, som sa till dem att ingen förstod vad de gjorde. På ett konto publicerat i New Yorkern , det var inte klart att laget självt visste det heller. Vårt mål just nu ... är att göra det bästa som finns att göra, sa Brockman. Det är lite vagt.
Ändå kom Amodi med i laget några månader senare. Hans syster, Daniela Amodi, hade tidigare arbetat med Brockman, och han kände redan många av OpenAI:s medlemmar. Efter två år, på Brockmans begäran, gick även Daniela med. Tänk dig – vi började med ingenting, säger Brockman. Vi hade just detta ideal att vi ville att AGI skulle gå bra.
Under hela vår lunch reciterar Brockman stadgan som skrift, en förklaring till varje aspekt av företagets existens.
I mars 2017, efter 15 månader, insåg ledningen att det var dags för mer fokus. Så Brockman och några andra kärnmedlemmar började utarbeta ett internt dokument för att lägga ut en väg till AGI. Men processen avslöjade snabbt ett fatalt fel. När teamet studerade trender inom området insåg de att det var ekonomiskt ohållbart att vara ideell. De beräkningsresurser som andra inom området använde för att uppnå genombrottsresultat fördubblades var 3,4:e månad . Det blev tydligt att för att förbli relevanta, säger Brockman, skulle de behöva tillräckligt med kapital för att matcha eller överträffa denna exponentiella uppgång. Det krävde en ny organisationsmodell som snabbt kunde samla pengar – samtidigt som den på något sätt också förblir trogen uppdraget.
Utan om allmänheten – och de flesta anställda – var det med detta i åtanke som OpenAI släppte dess stadga i april 2018. Dokumentet återartikulerade labbets kärnvärden men ändrade på ett subtilt sätt språket för att återspegla den nya verkligheten. Vid sidan av sitt engagemang för att undvika att möjliggöra användning av AI eller AGI som skadar mänskligheten eller orimligt koncentrerad makt, betonade den också behovet av resurser. Vi räknar med att behöva samla betydande resurser för att uppfylla vårt uppdrag, sades det, men kommer alltid flitigt att agera för att minimera intressekonflikter mellan våra anställda och intressenter som kan äventyra bred nytta.
Vi tillbringade lång tid internt med att iterera med anställda för att få in hela företaget i en uppsättning principer, säger Brockman. Saker som fick förbli oföränderliga även om vi ändrade vår struktur.
Från vänster till höger: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (teknisk personal), Greg Brockman, Alec Radford (teamledare för tekniskt språk), Christine Payne (teknisk personal), Ilya Sutskever och Chris Berner (chef). av infrastruktur). Christie Hemm Klok
Den strukturförändringen skedde i mars 2019. OpenAI avskaffade sin rena ideella status genom att inrätta en vinstbegränsad arm – en vinstdrivande med en 100-faldig gräns för investerarnas avkastning, om än övervakad av en styrelse som är en del av en ideell enhet. Kort därefter tillkännagav den Microsofts miljardinvesteringar (även om den inte avslöjade att denna delades upp mellan kontanter och krediter till Azure, Microsofts molnbaserade plattform).
Förutsägbart satte flytten igång en våg av anklagelser om att OpenAI gick tillbaka på sitt uppdrag. I ett inlägg på Hacker Nyheter strax efter tillkännagivandet frågade en användare hur en 100-faldig gräns överhuvudtaget skulle vara begränsande: Tidiga investerare i Google har fått en ungefär 20x avkastning på sitt kapital, skrev de. Din insats är att du kommer att ha en företagsstruktur som ger större storleksordningar mer än Google ... men du vill inte 'koncentrera makten i onödan'? Hur kommer detta att fungera? Vad är makt egentligen, om inte koncentrationen av resurser?
Flytten skramlade också många anställda, som uttryckte liknande oro. För att dämpa intern oro skrev ledningen upp en FAQ som en del av en serie mycket skyddade övergångsdokument. Kan jag lita på OpenAI? en fråga ställd. Ja, började svaret, följt av ett förklaringsstycke.
Stadgan är ryggraden i OpenAI. Det fungerar som språngbräda för alla labbets strategier och åtgärder. Under hela vår lunch reciterar Brockman det som skrifterna, en förklaring till varje aspekt av företagets existens. (Förresten, han förtydligar halvvägs genom en recitation, jag antar att jag kan alla dessa rader eftersom jag tillbringade mycket tid med att verkligen titta på dem för att få dem exakt rätt. Det är inte som att jag läste detta innan mötet.)
Hur kommer du att säkerställa att människor fortsätter att leva meningsfulla liv när du utvecklar mer avancerade förmågor? Som vi skrev tror vi att dess effekt borde vara att ge alla ekonomisk frihet, att låta dem hitta nya möjligheter som inte är tänkbara idag. Hur kommer du att strukturera dig för att fördela AGI jämnt? Jag tror att ett verktyg är den bästa analogin för den vision vi har. Men återigen, allt är föremål för stadgan. Hur tävlar du om att nå AGI först utan att kompromissa med säkerheten? Jag tror att det absolut finns den här viktiga balansgången, och vårt bästa skott på det är vad som står i stadgan.
9 APRIL 2018 5 MINUTS LÄS OpenAI
För Brockman är en strikt efterlevnad av dokumentet det som gör att OpenAI:s struktur fungerar. Intern anpassning behandlas som av största vikt: alla heltidsanställda måste arbeta från samma kontor, med få undantag. För policyteamet, särskilt Jack Clark, regissören, innebär detta ett liv delat mellan San Francisco och Washington, DC. Clark har inget emot det - i själva verket håller han med om mentaliteten. Det är stunderna däremellan, som lunchtid med kollegor, säger han, som hjälper alla att hålla samma sida.
På många sätt fungerar detta synsätt helt klart: företaget har en imponerande enhetlig kultur. De anställda arbetar långa dagar och pratar oavbrutet om sina jobb genom måltider och sociala timmar; många går till samma fester och ansluter sig till den rationella filosofin effektiv altruism . De drar skämt med hjälp av maskininlärningsterminologi för att beskriva sina liv: Vad är ditt liv en funktion av? Vad optimerar du för? Allt är i princip en minmax-funktion. För att vara rättvis älskar även andra AI-forskare att göra detta, men personer som är bekanta med OpenAI håller med: mer än andra på området behandlar dess anställda AI-forskning inte som ett jobb utan som en identitet. (I november, Brockman gift hans flickvän sedan ett år, Anna, på kontoret mot en bakgrund av blommor arrangerade i en OpenAI-logotyp. Sutskever fungerade som officiant; en robothand var ringbäraren.)
Men någon gång i mitten av förra året blev stadgan mer än bara lunchsamtalsfoder. Kort efter att ha bytt till en vinsttakst, inrättade ledningen en ny lönestruktur, delvis baserad på varje anställds absorption av uppdraget. Vid sidan av kolumner som ingenjörsexpertis och forskningsinriktning i en kalkylbladsflik med titeln Unified Technical Ladder, beskriver den sista kolumnen de kulturrelaterade förväntningarna för varje nivå. Nivå 3: Du förstår och internaliserar OpenAI-stadgan. Nivå 5: Du säkerställer att alla projekt du och dina lagkamrater arbetar med är förenliga med stadgan. Nivå 7: Du är ansvarig för att upprätthålla och förbättra stadgan, och hålla andra i organisationen ansvariga för att göra detsamma.
Första gången de flesta hörde talas om OpenAI var den 14 februari 2019. Den dagen var labbet meddelat imponerande ny forskning: en modell som kan generera övertygande essäer och artiklar med en knapptryckning. Mata den en mening från Sagan om ringen eller början på en (falsk) nyhet om Miley Cyrus snatteri, och det skulle spotta ut stycke efter stycke av text i samma veva.
Men det fanns också en hake: modellen, kallad GPT-2, var för farlig för att släppa, sa forskarna. Om en sådan kraftfull teknik hamnade i orätta händer, skulle den lätt kunna beväpnas för att producera desinformation i enorm skala.
Motreaktionen bland forskare var omedelbar. OpenAI gjorde ett reklamtrick, sa vissa. GPT-2 var inte alls tillräckligt avancerad för att vara ett hot. Och om så var fallet, varför tillkännage dess existens och sedan utesluta offentlig granskning? Det verkade som om OpenAI försökte utnyttja paniken kring AI, säger Britt Paris, biträdande professor vid Rutgers University som studerar AI-genererad desinformation.
Jack Clark, policychef. Christie Hemm klocka
I maj hade OpenAI reviderat sin hållning och tillkännagett planer på en etappvis release. Under de följande månaderna drack den successivt ut fler och kraftfullare versioner av GPT-2. Under tiden har man också engagerat sig med flera forskningsorganisationer för att granska algoritmens potential för missbruk och utveckla motåtgärder. Slutligen släppte den hela koden i november, efter att ha hittat, det stod , inga starka bevis på missbruk än så länge.
Mitt i fortsatta anklagelser om publicitetssökande, insisterade OpenAI på att GPT-2 inte hade varit ett jippo. Det var snarare ett noggrant genomtänkt experiment, man enades om efter en rad interna diskussioner och debatter. Konsensus var att även om det hade varit lite överdrivet den här gången, skulle åtgärden skapa ett prejudikat för att hantera farligare forskning. Dessutom hade stadgan förutspått att säkerhets- och säkerhetsproblem gradvis skulle tvinga labbet att minska vår traditionella publicering i framtiden.
Detta var också argumentet som policyteamet noggrant lade fram i sin sex månaders uppföljande blogginlägg , som de diskuterade när jag satt på ett möte. Jag tror att det definitivt är en del av framgångshistorien, sa Miles Brundage, en policyforskare, och lyfte fram något i ett Google-dokument. Ledningen för det här avsnittet borde vara: Vi gjorde en ambitiös sak, nu replikerar några människor det, och här är några anledningar till varför det var fördelaktigt.
Men OpenAI:s mediekampanj med GPT-2 följde också ett väletablerat mönster som har gjort den bredare AI-gemenskapen orolig. Under årens lopp har labbets stora, stänkande forskningsmeddelanden upprepade gånger anklagats för att underblåsa AI-hypecykeln. Mer än en gång har kritiker också anklagat labbet för att prata upp sina resultat till den grad att det blir felaktigt. Av dessa skäl har många inom området tenderat att hålla OpenAI på en armlängds avstånd.
Omslagsbilder av OpenAI:s forskningsreleaser hänger på dess kontorsvägg. Christie Hemm Klok
Detta har inte hindrat labbet från att fortsätta att lägga resurser på sin offentliga image. Förutom forskningsartiklar publicerar den sina resultat i högproducerade företagsblogginlägg där den gör allt internt, från att skriva till multimediaproduktion till design av omslagsbilder för varje release. Vid ett tillfälle började man också utveckla en dokumentär om ett av sina projekt att konkurrera med en 90-minutersfilm om DeepMinds AlphaGo . Det ledde så småningom ut ansträngningen till en fristående produktion, som Brockman och hans fru Anna nu delvis finansierar. (Jag gick också med på att medverka i dokumentären för att ge teknisk förklaring och sammanhang till OpenAI:s prestation. Jag fick ingen kompensation för detta.)
Och i takt med att tillbakaslaget har ökat, har interna diskussioner för att ta itu med det också. Anställda har blivit frustrerade över den ständiga kritiken utifrån, och ledarskapet oroar sig för att det kommer att undergräva labbets inflytande och förmåga att anställa de bästa talangerna. Ett internt dokument belyser detta problem och en uppsökande strategi för att ta itu med det: För att ha politiskt inflytande på regeringsnivå måste vi ses som den mest pålitliga källan för ML [maskininlärning] forskning och AGI, säger en rad under policyn sektion. Utbredd stöd och uppbackning från forskarvärlden är inte bara nödvändigt för att få ett sådant rykte, utan kommer att förstärka vårt budskap. En annan, under Strategi, lyder: 'Behandla ML-gemenskapen uttryckligen som en kommunikationsintressent. Ändra vår ton och externa meddelanden så att vi bara motarbetar dem när vi avsiktligt väljer det.'
Det fanns en annan anledning till att GPT-2 hade utlöst en sådan akut motreaktion. Folk kände att OpenAI återigen gick tillbaka till sina tidigare löften om öppenhet och transparens. Med nyheterna om övergången till vinst en månad senare gjorde den undanhållna forskningen människor ännu mer misstänksamma. Kan det vara så att tekniken hade hållits hemlig som förberedelse för licensiering av den i framtiden?
Ilya Sutskever, medgrundare och chefsforskare. Christie Hemm Klok
Men föga visste folk att detta inte var den enda gången OpenAI hade valt att dölja sin forskning. I själva verket hade det hållit en annan insats helt hemlig.
Det finns två rådande tekniska teorier om vad som krävs för att nå AGI. I ett finns redan alla nödvändiga tekniker; det är bara en fråga om att ta reda på hur man skalar och sätter ihop dem. I den andra behöver det finnas ett helt nytt paradigm; djupinlärning, den nuvarande dominerande tekniken inom AI, kommer inte att räcka.
De flesta forskare hamnar någonstans mellan dessa ytterligheter, men OpenAI har genomgående suttit nästan uteslutande på skala-och-montera änden av spektrumet. De flesta av dess genombrott har varit produkten av att dramatiskt större beräkningsresurser sänks ner i tekniska innovationer som utvecklats i andra labb.
Brockman och Sutskever förnekar att detta är deras enda strategi, men labbets hårt bevakade forskning tyder på något annat. Ett team som heter Foresight kör experiment för att testa hur långt de kan driva AI-kapaciteten framåt genom att träna befintliga algoritmer med allt större mängder data och datorkraft. För ledarskapet har resultaten av dessa experiment bekräftat dess instinkter att labbets all-in, beräkningsdrivna strategi är det bästa tillvägagångssättet.
I ungefär sex månader var dessa resultat dolda för allmänheten eftersom OpenAI ser denna kunskap som sin främsta konkurrensfördel. Anställda och praktikanter instruerades uttryckligen att inte avslöja dem, och de som lämnade skrev under sekretessavtal. Det var först i januari som laget, utan den vanliga fanfaren, tyst postade ett papper på en av de primära databaserna med öppen källkod för AI-forskning. Människor som upplevde det intensiva hemlighetsmakeriet kring insatsen visste inte vad de skulle göra av denna förändring. I synnerhet, ett annat papper med liknande resultat från olika forskare hade lagts ut några månader tidigare.
Christie Där Klok
I början var denna nivå av sekretess aldrig avsikten, men det har sedan blivit vanligt. Med tiden har ledarskapet flyttat från sin ursprungliga övertygelse om att öppenhet är det bästa sättet att bygga en fördelaktig AGI. Nu imponeras vikten av att hålla tyst på de som arbetar med eller på labbet. Detta inkluderar att aldrig prata med reportrar utan uttryckligt tillstånd från kommunikationsteamet. Efter mina första besök på kontoret, när jag började kontakta olika anställda, fick jag ett mejl från kommunikationschefen som påminde mig om att alla intervjuförfrågningar måste gå via henne. När jag tackade nej och sa att detta skulle undergräva giltigheten av vad folk berättade för mig, instruerade hon anställda att hålla henne informerad om min uppsökande verksamhet. Ett Slack-meddelande från Clark, en före detta journalist, berömde senare människor för att de höll ett tätt lock när en reporter nosade runt.
I ett uttalande som svar på denna ökade sekretess hänvisade en talesperson för OpenAI tillbaka till en del av dess stadga. Vi förväntar oss att säkerhetsfrågor kommer att minska vår traditionella publicering i framtiden, säger avsnittet, samtidigt som det ökar vikten av att dela forskning om säkerhet, policy och standarder. Talesmannen tillade också: Dessutom körs var och en av våra releaser genom en infohazard-process för att utvärdera dessa avvägningar och vi vill släppa våra resultat långsamt för att förstå potentiella risker och effekter innan vi sätter oss lös i naturen.
En av de största hemligheterna är projektet OpenAI arbetar med nästa. Källor beskrev det för mig som kulmen på dess tidigare fyra års forskning: ett AI-system tränat på bilder, text och annan data med hjälp av enorma beräkningsresurser. Ett litet team har tilldelats den första insatsen, med en förväntning om att andra team, tillsammans med deras arbete, så småningom kommer att falla in. Den dagen det tillkännagavs vid ett möte för alla företag fick praktikanter inte delta. Personer som är bekanta med planen ger en förklaring: ledarskapet tycker att detta är det mest lovande sättet att nå AGI.
Mannen som driver OpenAI:s strategi är Dario Amodei, ex-Googleren som nu fungerar som forskningschef. När jag träffar honom ser han mig som en mer orolig version av Brockman. Han har en liknande uppriktighet och känslighet, men en luft av orolig nervös energi. Han ser avlägsen ut när han pratar, ögonbrynen rynkade, en hand som absurt rycker i hans lockar.
Amodei delar upp labbets strategi i två delar. Den första delen, som dikterar hur man planerar att nå avancerade AI-funktioner, liknar han med en investerares portfölj av vad. Olika lag på OpenAI spelar olika vad. Språkteamet, till exempel, har sina pengar på en teori som postulerar att AI kan utveckla en betydande förståelse för världen genom enbart språkinlärning. Robotteamet, däremot, för fram en motsatt teori om att intelligens kräver en fysisk förkroppsligande för att utvecklas.
Liksom i en investerares portfölj har inte alla insatser lika stor vikt. Men för vetenskaplig rigoritet bör allt testas innan det kasseras. Amodei pekar på GPT-2, med dess anmärkningsvärt realistiska autogenererade texter, som ett exempel på varför det är viktigt att ha ett öppet sinne. Rent språk är en riktning som fältet och även några av oss var något skeptiska till, säger han. Men nu är det som 'Wow, det här är verkligen lovande.'
Med tiden, när olika satsningar höjer sig över andra, kommer de att locka till sig mer intensiva ansträngningar. Då kommer de att korspollinera och kombineras. Målet är att ha färre och färre team som i slutändan kollapsar i en enda teknisk riktning för AGI. Detta är den exakta processen som OpenAI:s senaste topphemliga projekt förmodligen redan har påbörjat.
Dario Amodi, forskningschef. Christie Hemm klocka
Den andra delen av strategin, förklarar Amodei, fokuserar på hur man gör sådana ständigt framåtskridande AI-system säkra. Detta inkluderar att se till att de speglar mänskliga värderingar, kan förklara logiken bakom sina beslut och kan lära sig utan att skada människor i processen. Team som är dedikerade till vart och ett av dessa säkerhetsmål försöker utveckla metoder som kan tillämpas över projekt när de mognar. Tekniker som utvecklats av förklaringsteamet kan till exempel användas för att avslöja logiken bakom GPT-2s meningskonstruktioner eller en robots rörelser.
Amodei medger att denna del av strategin är något slumpartad, byggd mindre på etablerade teorier inom området och mer på magkänsla. Någon gång kommer vi att bygga AGI, och vid det laget vill jag må bra av att dessa system fungerar i världen, säger han. Allt där jag för närvarande inte mår bra skapar och rekryterar jag ett team för att fokusera på den saken.
Trots all publicitetsjakt och sekretess ser Amodei uppriktig ut när han säger detta. Möjligheten att misslyckas verkar störa honom.
Vi är i den besvärliga situationen: vi vet inte hur AGI ser ut, säger han. Vi vet inte när det kommer att hända. Sedan, med noggrann självmedvetenhet, tillägger han: Sinnet hos en given person är begränsat. Det bästa jag har hittat är att anställa andra säkerhetsforskare som ofta har visioner som är annorlunda än det naturliga jag kanske har tänkt på. Jag vill ha den typen av variation och mångfald eftersom det är det enda sättet att fånga allt.
Saken är den att OpenAI faktiskt har liten variation och mångfald – ett faktum som slogs in på min tredje dag på kontoret. Under den ena lunchen jag blev beviljad att mingla med anställda satte jag mig vid det mest påtagliga bordet med stor marginal. Mindre än en minut senare insåg jag att de som åt där faktiskt inte var OpenAI-anställda. Neuralink, Musks startup som arbetar med dator-hjärna-gränssnitt, delar samma byggnad och matsal.
Daniela Amodei, chef för personalverksamheten. Christie Hemm Klok
Enligt en labbtalesman är 25% av de över 120 anställda kvinnor eller icke-binära. Det finns också två kvinnor i ledningsgruppen och ledningsgruppen är 30 % kvinnor, sa hon, även om hon inte specificerade vilka som räknades till dessa team. (Alla fyra C-suites chefer, inklusive Brockman och Altman, är vita män. Av över 112 anställda som jag identifierade på LinkedIn och andra källor var det överväldigande antalet vita eller asiatiska.)
I rättvisans namn är denna brist på mångfald typisk inom AI. Förra året a Rapportera från det New York-baserade forskningsinstitutet AI Now fann att kvinnor endast stod för 18 % av författarna vid ledande AI-konferenser, 20 % av AI-professurerna och 15 % och 10 % av forskarpersonalen på Facebook respektive Google. Det finns definitivt fortfarande mycket arbete att göra inom akademin och industrin, sa OpenAI:s talesperson. Mångfald och inkludering är något vi tar på allvar och ständigt arbetar för att förbättra genom att arbeta med initiativ som WiML, Girl Geek och vårt Scholars-program.
OpenAI har faktiskt försökt att bredda sin talangpool. Det började sitt program för fjärranslutna Scholars för underrepresenterade minoriteter 2018. Men bara två av de första åtta forskare blev heltidsanställda, även om de rapporterade positiva erfarenheter. Den vanligaste anledningen till att avböja att stanna: kravet att bo i San Francisco. För Nadja Rhodes, en före detta forskare som nu är ledande maskininlärningsingenjör på ett New York-baserat företag, hade staden helt enkelt för lite mångfald.
Men om mångfald är ett problem för AI-branschen i allmänhet, är det något mer existentiellt för ett företag vars uppdrag är att sprida tekniken jämnt till alla. Faktum är att det saknar representation från de grupper som mest riskerar att hamna utanför.
Det är inte heller helt klart just hur OpenAI planerar att distribuera fördelarna med AGI till hela mänskligheten, som Brockman ofta säger när han citerar sitt uppdrag. Ledningen talar om detta i vaga ordalag och har gjort lite för att konkretisera detaljerna. (I januari, Future of Humanity Institute vid Oxford University släppt en rapport i samarbete med labbet föreslår att fördelar fördelas genom att dela ut en procentandel av vinsten. Men författarna citerade betydande olösta frågor angående … sättet på vilket det skulle implementeras.) Detta är mitt största problem med OpenAI, säger en före detta anställd, som talade på villkor av anonymitet.
Christie Där Klok
De använder sofistikerade tekniska metoder för att försöka svara på sociala problem med AI, upprepar Britt Paris från Rutgers. Det verkar som om de inte riktigt har förmågan att faktiskt förstå det sociala. De förstår bara att det är ett slags lukrativ plats att positionera sig på just nu.
Brockman håller med om att både teknisk och social expertis i slutändan kommer att vara nödvändig för att OpenAI ska uppnå sitt uppdrag. Men han håller inte med om att de sociala frågorna måste lösas redan från början. Hur exakt bakar man in etiken, eller dessa andra perspektiv? Och när tar man in dem och hur? En strategi man skulle kunna driva är att redan från början försöka baka in allt man kan tänkas behöva, säger han. Jag gör inte tror att den strategin sannolikt kommer att lyckas.
Det första att ta reda på, säger han, är hur AGI ens kommer att se ut. Först då är det dags att se till att vi förstår konsekvenserna.
Förra sommaren, veckorna efter övergången till en modell med tak för vinst och tillskottet på 1 miljard dollar från Microsoft, försäkrade ledningen de anställda att dessa uppdateringar inte funktionellt skulle förändra OpenAI:s syn på forskning. Microsoft var väl i linje med labbets värderingar, och alla kommersialiseringsansträngningar skulle vara långt borta; strävan efter grundläggande frågor skulle fortfarande vara kärnan i arbetet.
Ett tag verkade dessa försäkringar stämma, och projekten fortsatte som de var. Många anställda visste inte ens vilka löften, om några, hade getts till Microsoft.
Men under de senaste månaderna har kommersialiseringstrycket ökat och behovet av att producera pengar att tjäna forskning känns inte längre som något i en avlägsen framtid. Genom att dela sin vision för 2020 för labbet privat med anställda är Altmans budskap tydligt: OpenAI måste tjäna pengar för att kunna forska – inte tvärtom.
Detta är en svår men nödvändig avvägning, har ledningen sagt - en som den var tvungen att göra på grund av brist på rika filantropiska givare. Däremot får Seattle-baserade AI2, en ideell organisation som ambitiöst främjar grundläggande AI-forskning, sina medel från en självförsörjande (åtminstone under överskådlig framtid) pool av pengar som lämnats efter av den bortgångne Paul Allen, en miljardär som är mest känd för att vara medgrundande Microsoft.
Men sanningen är att OpenAI står inför denna avvägning inte bara för att den inte är rik, utan också för att den gjorde det strategiska valet att försöka nå AGI före någon annan. Den pressen tvingar den att fatta beslut som verkar landa längre och längre bort från sin ursprungliga avsikt. Den lutar sig in i hajpen i sin bråttom för att attrahera finansiering och talang, bevakar sin forskning i hopp om att behålla övertaget och jagar en beräkningstung strategi – inte för att den ses som den enda vägen till AGI, utan för att den verkar vara den snabbaste .
Ändå är OpenAI fortfarande en bastion av talang och spetsforskning, fylld av människor som uppriktigt strävar efter att arbeta för mänsklighetens bästa. Med andra ord, det har fortfarande de viktigaste delarna, och det finns fortfarande tid för det att förändras.
Nära slutet av min intervju med Rhodes, den tidigare fjärrforskaren, frågar jag henne en sak om OpenAI som jag inte bör utelämna från den här profilen. Jag antar att det enligt min mening finns problem, börjar hon tveksamt. Några av dem kommer kanske från miljön den möter; några av dem kommer från den typ av människor som den tenderar att locka och andra människor som den utelämnar.
Men för mig känns det som att de gör något lite rätt, säger hon. Jag fick en känsla av att folket där verkligen försöker.
Uppdatering: Vi gjorde några ändringar i den här berättelsen efter att OpenAI bad oss förtydliga att när Greg Brockman sa att han inte trodde att det var möjligt att baka in etik... redan från början när han utvecklade AI, menade han att det skulle betyda att etiska frågor inte kunde lösas från början, inte att de inte kunde åtgärdas från början. Dessutom att han efter att ha hoppat av Harvard flyttade direkt till MIT istället för att vänta ett år. Dessutom att han inte växte upp på en gård utan 'på en hobbygård'. Brockman anser att denna distinktion är viktig.
Dessutom har vi förtydligat att även om OpenAI verkligen 'avböjde sin ideella status', övervakar en styrelse som är en del av en ideell enhet fortfarande den, och att OpenAI publicerar sin forskning i form av företagsblogginlägg såväl som, inte i istället för forskningsartiklar. Vi har också korrigerat datumet för publiceringen av en artikel av externa forskare och anknytningen till Peter Eckersley (tidigare, inte nuvarande, forskningschef för Partnership on AI, som han nyligen lämnade).