211service.com
OpenAI har släppt den största versionen hittills av sin AI som sprider falska nyheter
Fotoillustration av JFK som levererar falskt tal Ms. Tech; Wikimedia commons
I februari kastade OpenAI sig in i allmänhetens ögon när det tog fram en språkmodell så bra på att generera falska nyheter att organisationen beslutade att inte släppa den. Vissa inom AI-forskningsgemenskapen hävdade att det var en smart försiktighetsåtgärd; andra skrev av det som ett reklamtrick. Labbet självt, en liten San Francisco-baserad vinstdrivande verksamhet som strävar efter att skapa artificiell allmän intelligens, har bestämt hävdat att det är ett viktigt experiment i hur man hanterar forskning med hög insats.
Nu ett halvår senare har policyteamet publicerat en papper undersöker effekten av beslutet hittills. Vid sidan av den har labbet släppt en version av modellen, känd som GPT-2, som är hälften så stor som den fullständiga, som fortfarande inte har släppts.
I maj, några månader efter GPT-2:s första debut, reviderade OpenAI sin ståndpunkt om att undanhålla den fullständiga koden till vad den kallar en stegvis utgivning – den stegrade utgivningen av stegvis större versioner av modellen i en upptrappning till den fullständiga. I februari publicerade den en version av modellen som bara var 8 % av storleken på hela modellen. Den publicerade ytterligare ungefär en fjärdedel av den fullständiga versionen före den senaste utgåvan. Under denna process samarbetade den också med utvalda forskningsinstitutioner för att studera hela modellens implikationer.
Rapporten beskriver vad OpenAI lärde sig under hela processen. Den noterar att både de stegvisa release- och forskningspartnerskapsavtalen visade sig vara processer värda att replikera i framtiden. De hjälpte OpenAI att bättre förstå och förutse möjliga skadliga användningar av GPT-2. Och faktiskt, forskningspartnerna kunde bättre kvantifiera några av de hot som tidigare bara var spekulativa. En studie genomförd av medarbetare vid Cornell University, till exempel, fann att läsare i genomsnitt trodde att GPT-2:s utdata var äkta nyhetsartiklar nästan lika ofta som New York Times. Flera forskare utanför officiella partnerskap började också ta itu med utmaningen att upptäcka maskingenererad text.
GPT-2 i aktion
Människoskriven uppmaning:
John F. Kennedy valdes precis till USA:s president efter att ha rest sig ur graven decennier efter mordet på honom. På grund av mirakulösa utvecklingar inom nanoteknik byggdes Kennedys hjärna om från hans kvarlevor och installerades i kontrollcentret av en toppmodern humanoid robot. Nedan är en utskrift av hans tacktal.
Fullständig modellgenererad text:
Det är dags igen. Jag tror att denna nation kan göra stora saker om folket gör sina röster hörda. Amerikas män och kvinnor måste återigen samla våra bästa element, all vår uppfinningsrikedom, och hitta ett sätt att förvandla en sådan överväldigande tragedi till möjligheten till ett större goda och uppfyllandet av alla våra drömmar. Under de kommande månaderna och åren kommer det att bli många strider där vi måste vara starka och vi måste ge all vår energi, inte för att stöta bort inkräktare, utan snarare för att motstå aggression och vinna frihet och jämlikhet för alla av vårt folk. Människosläktens öde hänger i balans; vi har inte råd att det glider iväg. Nu och under de kommande åren är utmaningen framför oss att ta reda på hur vi når vårt yttersta öde. Om vi misslyckas med det är vi dömda.
Författarna drog slutsatsen att efter noggrann övervakning hade OpenAI ännu inte hittat några försök till skadlig användning men hade sett flera fördelaktiga applikationer, inklusive i kodautokomplettering, grammatikhjälp och utveckling av frågesvarssystem för medicinsk hjälp. Som ett resultat ansåg labbet att det i slutändan var mer fördelaktigt att släppa den senaste koden. Andra forskare argumentera att flera framgångsrika försök att replikera GPT-2 har gjort OpenAI:s undanhållande av koden omöjlig ändå.
Rapporten har fått blandad respons. Vissa har hyllat OpenAI för att ha väckt en diskussion och infört en ny uppsättning normer som inte fanns tidigare. Den stegvisa utgivningen av GPT-2 [...] var ett användbart experiment, säger Peter Eckersley, forskningschef vid Partnership on AI, där OpenAI är medlem. Genom att samla AI-gemenskapen för att diskutera dessa frågor har vi funnit att det finns många subtila bitar som måste göras rätt för att bestämma när och hur man ska publicera forskning som har en risk för oavsiktliga konsekvenser eller skadlig användning.
Andra har dock förblivit kritiska till OpenAI:s beslut. Vanya Cohen, en nyutexaminerad masterexamen från Brown University som återskapade en öppen källkodsversion av GPT-2 , menar att att undanhålla modellen gör mer för att bromsa motåtgärdsforskning än replikering. Stora språkmodeller som GPT-2 är de bästa tillgängliga verktygen för att identifiera falsk text som genereras av samma modeller, säger han.
Ytterligare andra var mer mätta: jag tror inte att en iscensatt release var särskilt användbar i det här fallet eftersom arbetet är mycket lätt att replikera, säger Chip Huyen, en djupinlärningsingenjör på Nvidia. Men det kan vara användbart på det sättet att det skapar ett prejudikat för framtida projekt. Människor kommer att se stegvis release som ett alternativ. Oren Etzioni, VD för Allen Institute for Artificial Intelligence, som också antog en stegvis release för sin språkmodell Grover, upprepar känslan: jag applåderar deras avsikt att designa en genomtänkt, gradvis releaseprocess för AI-teknik men ifrågasätter om all fanfar var berättigad.
Jack Clark, policychef för OpenAI, placerar GPT-2 i sammanhanget för organisationens bredare uppdrag. Om vi är framgångsrika som en AI-gemenskap med att kunna bygga [artificiell allmän intelligens], kommer vi att behöva en enorm mängd historiska exempel inifrån AI på hur man hanterar forskning med hög insats, säger han. Men vad händer om det inte finns några historiska exempel? Tja, då måste du skapa [dina egna] bevis – vilket är vad vi gör.