211service.com
Hur kan vi vara säkra på att AI kommer att bete sig? Kanske genom att se den argumentera med sig själv.
OpenAI-bloggen
Någon gång kan det vara helt normalt att se ett AI-system slåss med sig själv.
Konceptet kommer från forskare vid OpenAI , en ideell organisation grundad av flera Silicon Valley armaturer, inklusive Y Combinator partner Sam Altman, LinkedIn ordförande Reid Hoffman, Facebook styrelsemedlem och Palantir grundare Peter Thiel, och Tesla och SpaceX chef Elon Musk.
OpenAI-forskarna har tidigare visat att AI-system som tränar sig själva ibland kan utveckla oväntade och oönskade vanor. Till exempel, i ett datorspel kan en agent komma på hur man gör tekniskt fel vägen till en högre poäng. I vissa fall kan det vara möjligt för en person att övervaka utbildningsprocessen . Men om AI-programmet gör något omöjligt komplext kanske detta inte är genomförbart. Så forskarna föreslår att två system diskuterar ett visst mål istället.
Vi tror att detta eller ett liknande tillvägagångssätt så småningom kan hjälpa oss att träna AI-system för att utföra mycket mer kognitivt avancerade uppgifter än vad människor kan, samtidigt som de förblir i linje med mänskliga preferenser, skriver forskarna i ett blogginlägg beskriver konceptet.
Ta till exempel ett AI-system designat för att försvara sig mot mänskliga eller AI-hackers. För att förhindra att systemet gör något skadligt eller oetiskt kan det vara nödvändigt att utmana det för att förklara logiken för en viss handling. Den logiken kan vara för komplex för en person att förstå, så forskarna föreslår att en annan AI diskuterar handlingens visdom med det första systemet, med naturligt språk, medan personen observerar. Ytterligare detaljer finns i en uppsats .
Att låta AI-program argumentera med varandra kräver mer sofistikerad teknik än vad som finns för närvarande. Hittills har OpenAI-forskarna bara utforskat idén med ett par extremt enkla exempel. Det ena involverar två AI-system som försöker övertyga en observatör om en dold karaktär genom att långsamt avslöja individuella pixlar.
Forskarna har skapat en hemsida där två personer kan prova att spela rollerna som de debatterande AI-systemen medan en tredje fungerar som domare. De två deltagarna tävlar om att övertyga domaren om bildens karaktär samtidigt som de lyfter fram delar av den. Så småningom blir det lättare för betraktaren att se vem som är ärlig.
Vincent Conitzer , en forskare vid Duke University som studerar etiska frågor som involverar AI, säger att arbetet är i ett tidigt skede men lovar. Att skapa AI-system som kan förklara deras beslut är en utmanande forskningsagenda, säger han. Om det lyckas kan det i hög grad bidra till en ansvarsfull användning av AI.
Som det ser ut – och trots det några bisarr uttalanden från sådana som Elon Musk (en OpenAI-finansiär och tills nyligen medlem av dess styrelse) – vi är fortfarande långt ifrån att ha AI-system som kan lura och överlista oss i den typ av scenario som skildras i filmer som Ex Machine och Henne .
Ändå undersöker vissa AI-forskare sätt att säkerställa att tekniken inte beter sig på oavsiktliga sätt. Detta kan bli viktigare när AI-program blir mer komplexa och outgrundliga (se Den mörka hemligheten i hjärtat av AI).
Jag tycker att idén om värdeanpassning genom debatt är väldigt intressant och potentiellt användbar, säger Ariel Procaccia , professor i datavetenskap vid CMU som studerar beslutsfattande med autonoma system.
Procaccia konstaterar dock att arbetet är mycket preliminärt, och att konceptet till och med kan innehålla en grundläggande motsägelse. För att debattera värdeladdade frågor på ett sätt som är förståeligt för en mänsklig domare, kan AI-agenterna behöva ha ett gediget grepp om mänskliga värderingar i första hand, säger han. Så tillvägagångssättet är utan tvekan att sätta vagnen före hästen.
Iyad Rawan , en forskare vid MIT:s medialabb, tillägger att forskarna skulle behöva vara försiktiga så att ett par AI: er inte hamnar i ett cirkulärt argument. Jag tror att de kommer att träffa några väldigt knepiga problem väldigt snabbt, säger han. Först är hur man automatiserar argumentation i naturligt språk, vilket fortfarande är ett olöst problem.