211service.com
Facebook vill göra AI bättre genom att be folk att bryta den
Yatheesh Gowda / Pixabay
De explosiva framgångarna för AI under det senaste decenniet eller så är vanligtvis sammanfattade med massor av data och massor av datorkraft. Men riktmärken spelar också en avgörande roll för att driva framsteg – tester som forskare kan ställa sin AI mot för att se hur avancerad den är. Till exempel, ImageNet, en offentlig datauppsättning med 14 miljoner bilder, sätter ett mål för bildigenkänning. MNIST gjorde samma sak för handskriftsigenkänning och GLUE (General Language Understanding Evaluation) för bearbetning av naturliga språk, vilket ledde till genombrott språkmodeller som GPT-3 .
Ett fast mål blir snart omkört. ImageNet uppdateras och GLUE har ersatts av SuperGLUE, en uppsättning svårare språkliga uppgifter. Ändå kommer forskare förr eller senare att rapportera att deras AI har nått övermänskliga nivåer och överträffat människor i den eller den utmaningen. Och det är ett problem om vi vill att riktmärken ska fortsätta driva framsteg.
Så Facebook släpper en ny typ av test som ställer AI:er mot människor som gör sitt bästa för att slänga dem. Kallad Dynabench , testet kommer att vara så svårt som folk väljer att göra det.
Benchmarks kan vara väldigt missvisande, säger Douwe Kiela på Facebook AI Research, som ledde teamet bakom verktyget. Att fokusera för mycket på riktmärken kan innebära att man förlorar bredare mål ur sikte. Testet kan bli uppgiften.
Man får ett system som är bättre på testet än vad människor är men inte bättre på den övergripande uppgiften, säger han. Det är väldigt bedrägligt, för det får det att se ut som att vi är mycket längre än vi faktiskt är.
Kiela tror att det är ett särskilt problem med NLP just nu. En språkmodell som GPT-3 verkar intelligent eftersom den är så bra på att härma språk. Men det är svårt att säga hur mycket dessa system faktiskt förstår.
Tänk på att försöka mäta mänsklig intelligens, säger han. Du kan ge människor IQ-tester, men det säger dig inte om de verkligen förstår ett ämne. För att göra det måste du prata med dem, ställa frågor.
Dynabench gör något liknande, använder människor för att förhöra AI: er. Släppt online idag, det uppmanar folk att gå till webbplatsen och testa modellerna bakom den. Till exempel kan du ge en språkmodell en Wikipedia-sida och sedan ställa frågor till den och poängsätta svaren.
På vissa sätt liknar idén hur folk redan spelar med GPT-3, testar dess gränser, eller hur chatbots utvärderas för Loebner-priset, en tävling där bots försöker passera som mänskliga. Men med Dynabench kommer fel som uppstår under testning automatiskt att matas tillbaka till framtida modeller, vilket gör dem bättre hela tiden.
För närvarande kommer Dynabench att fokusera på språkmodeller eftersom de är en av de enklaste typerna av AI för människor att interagera med. Alla pratar ett språk, säger Kiela. Du behöver ingen riktig kunskap om hur man bryter dessa modeller.
Men tillvägagångssättet bör också fungera för andra typer av neurala nätverk, såsom tal- eller bildigenkänningssystem. Du skulle bara behöva ett sätt för folk att ladda upp sina egna bilder – eller låta dem rita saker – för att testa det, säger Kiela: Den långsiktiga visionen för detta är att öppna upp det så att vem som helst kan skapa sin egen modell och börja samla in sina egna uppgifter.
Vi vill övertyga AI-gemenskapen om att det finns ett bättre sätt att mäta framsteg, tillägger han. Förhoppningsvis kommer det att resultera i snabbare framsteg och en bättre förståelse för varför maskininlärningsmodeller fortfarande misslyckas.