211service.com
Det finns ett nytt sätt att tämja språk AI så att det inte generar dig
En bild av textutmatning av AI-modell GPT-2. Ms. Tech
Under de senaste två åren har AI-underområdet för naturspråksbearbetning sett enorma framsteg. Till exempel har en språkmodell utvecklad av det San Francisco-baserade forskningslabbet OpenAI, kallad GPT-2, använts för att skapa fiktion , falska nyhetsartiklar , och en praktiskt taget oändlig Välj ditt eget textspel i äventyrsstil .
Men den här typen av modeller är i grunden massiva textförutsägelsesystem som inte tar hänsyn till mening, så meningarna de producerar är mer benägna att vara ytligt flytande än att de verkligen är meningsfulla. Det är svårt att säga till en modell att hålla sig till ett visst ämne som till exempel hälso- och sjukvård. Ändå modeller som GPT-2 kan fortfarande spelas att producera rasistisk och giftig produktion, vilket gör dem ännu mindre användbara.
Nu har forskare vid Uber AI tagit fram ett sätt att styra dessa språkmodeller, vilket gör det lättare för användare att specificera ämnet eller till och med känslan av meningarna de genererar. Med tanke på uppmaningen Frågan fokuserade på, till exempel, en modell som uppmanas att fokusera på militären skulle kunna ge ett resultat som detta: Frågan fokuserade på det faktum att regeringen hade spenderat miljarder på militären och att den inte kunde sätta in trupperna i tid. Om det istället skulle bli tillsagt att fokusera på politik, kan resultatet bli mer så här: Frågan fokuserade på en enskild del av lagstiftningen. Det är oklart om kommittén kommer att rösta för att förlänga lagen.
Även om modellen fortfarande inte förstår meningen, ger tekniken mer kontroll. Det tar oss ett steg närmare att ta sprången i AI-genererat språk till mer domänspecifika applikationer, som chatbots för hälsovård eller finansiella tjänster. Det kan också användas för att vägleda modeller bort från att ge offensiva resultat.
Tekniken använder två separata statistiska modeller. Den första är helt enkelt originalspråksmodellen, som GPT-2, som konstruerar meningar baserat på sannolikheten för att vissa ord ska dyka upp bredvid andra. Den andra modellen bedömer hur väl den första modellens utdata visar ett önskat attribut – oavsett om det till exempel håller sig till ett föreskrivet ämne eller en viss känsla. Om det önskade attributet är ett ämne som rymden, kan modellen betygsätta den första modellens utdata på hur många relevanta ord den innehåller, som planet, galax och omloppsbana. Om attributet är ett sentiment som positivitet, kan utvärderingsmodellen tränas för att bedöma det känslomässiga innehållet i dess ord.
När en första prompt matas in i den första modellen, börjar den processen att förutsäga efterföljande ord. Men efter varje ord kontrollerar den sin poäng med utvärderingsmodellen och justerar på basis av feedbacken. Den sista meningen slutar med det önskade attributet, samtidigt som den gigantiska språkmodellens flytande behålls.
Den nya metoden är mycket flexibel och kan kombinera flera mål. Det skulle kunna riktas till att skriva om matlagning med en negativ ton till exempel. Det har också fördelen att det är beräkningseffektivt. Andra metoder kan fokusera resultatet av en språkmodell mot specifika ämnen eller känslor, men de kan kräva betydande omskolning. I skalan av GPT-2 är detta både miljömässigt och ekonomiskt dyrt. En doktorand som jag har inte de resurserna, säger Sumanth Dathathri, som studerar vid Caltech och var medförfattare till uppsatsen under en praktik hos Uber. Den nya metoden undviker omskolning helt genom att ge mer kontroll över vilken modell som helst som redan finns.
Teamet förutser att denna teknik kommer att användas i många olika applikationer, oavsett om det är dialogsystem, översättningssystem eller till och med konst. Under 2016 utvecklade labbet en liknande metod för att kontrollera genereringen av bilder snarare än språket. Det fanns många artister som använde det för att producera vackra saker, minns Jason Yosinski, en grundare av Uber AI som hade tillsyn över tidningen. Jag kunde se många andra artister göra samma sak här.
För att få fler berättelser som denna levererade direkt till din inkorg, registrera dig för vårt Webby-nominerade AI-nyhetsbrev The Algorithm. Det är gratis.