En debatt mellan AI-experter visar en kamp om teknikens framtid

Gary Marcus och Danny Lange Marcus: R. Farrell/ITU; Lange: Cody Glenn/Web Summit

Sedan 1950-talet har artificiell intelligens upprepade gånger överlovat och underlevererat. Medan de senaste åren har sett otroliga språng tack vare djup inlärning, är AI idag fortfarande smal: den är bräcklig inför attacker, kan inte generalisera för att anpassa sig till föränderliga miljöer och är full av partiskhet. Alla dessa utmaningar gör tekniken svår att lita på och begränsar dess potential att gynna samhället.

Den 26 mars vid MIT Technology Reviews årliga EmTech Digital-evenemang, tog två framstående personer inom AI till den virtuella scenen för att diskutera hur fältet skulle kunna övervinna dessa problem.

Gary Marcus, professor emeritus vid NYU och grundare och VD för Robust.AI, är en välkänd kritiker av djupinlärning. I hans bok Startar om AI , publicerad förra året, hävdade han att AI:s brister är inneboende i tekniken. Forskare måste därför se bortom djupt lärande, hävdar han, och kombinera det med klassisk, eller symbolisk, AI — system som kodar kunskap och som kan resonera.

Danny Lange, vice vd för AI och maskininlärning på Unity, sitter rakt på sak i lägret för djupinlärning. Han byggde sin karriär på teknikens löfte och potential, efter att ha varit chef för maskininlärning på Uber, general manager för Amazon Machine Learning och produktledare på Microsoft med fokus på storskalig maskininlärning. På Unity hjälper han nu labb som DeepMind och OpenAI att bygga virtuella träningsmiljöer som lär deras algoritmer en känsla av världen.

Under evenemanget höll varje talare en kort presentation och satte sig sedan ner för en paneldiskussion. Oenigheten de uttryckte speglar många av sammandrabbningarna inom fältet, och belyser hur kraftfullt tekniken har formats av en ihållande idéstrid och hur liten säkerhet det finns om vart den är på väg härnäst.

Nedan har deras paneldiskussion förtätats och lätt redigerats för tydlighetens skull.

Gary, du använder din expertis inom neurovetenskap och psykologi för att ta reda på vad som för närvarande saknas inom AI. Vad är det med klassisk AI som du tror gör det till det rätta systemet att kombinera med djupinlärning?

Gary Marcus: Det första jag kommer att säga är att vi kan behöva hybrider som är mer komplicerade än bara djupinlärning plus klassisk AI. Vi behöver kl minst den där. Men det kan finnas en hel massa saker som vi inte ens har drömt om ännu. Vi måste vara öppna.

Varför lägga till klassisk AI till mixen? Jo, vi gör alla möjliga resonemang utifrån vår kunskap i världen. Djup inlärning representerar helt enkelt inte det. Det finns inget sätt i dessa system att representera vad en boll är eller vad en flaska är och vad dessa saker gör med varandra. Så resultaten ser bra ut, men de är vanligtvis inte särskilt generaliserbara.

Klassisk AI – det är dess styrhytt. Den kan till exempel analysera en mening till dess semantiska representation, eller ha kunskap om vad som händer i världen och sedan dra slutsatser om det. Det har sina egna problem: det har vanligtvis inte tillräckligt med täckning, eftersom för mycket av det är handskrivet och så vidare. Men åtminstone i princip är det det enda sättet vi vet att skapa system som kan göra saker som logisk slutledning och induktiv slutledning över abstrakt kunskap. Det betyder fortfarande inte att det är helt rätt, men det är överlägset det bästa vi har.

Och sedan finns det många psykologiska bevis för att människor kan göra en viss nivå av symbolisk representation. I mitt tidigare liv som kognitiv utvecklingsperson gjorde jag experiment med sju månader gamla spädbarn och visade att dessa spädbarn kunde generalisera symbolisk kunskap. Så om ett sju månader gammalt spädbarn kan göra det, varför håller vi händerna bakom ryggen och försöker bygga AI utan mekanismer som spädbarn har?

Har du sett några projekt där de framgångsrikt har kombinerat djupinlärning och symbolisk AI på lovande sätt?

GM: I en artikel jag skrev heter Nästa decennium inom AI , listade jag ett 20-tal olika nya projekt som försöker sätta ihop hybridmodeller som har viss djupinlärning och viss symbolisk kunskap. Ett exempel som alla känner till är Google-sökning. När du skriver in en sökfråga finns det en del klassisk AI där som försöker disambiguera ord. Den försöker ta reda på när du pratar om Paris, pratar du om Paris Hilton, Paris, Texas eller Paris, Frankrike, med hjälp av Googles kunskapsdiagram. Och sedan använder den djupinlärning för att göra andra saker – till exempel för att hitta synonymer med hjälp av BERT modell . Naturligtvis är Google-sökning inte den AI som vi i slutändan hoppas kunna uppnå, men det är ett ganska solidt bevis på att detta inte är en omöjlig dröm.

Danny, håller du med om att vi borde titta på dessa hybridmodeller?

Danny Lange: Nej, jag håller inte med. Problemet jag har med symbolisk AI är dess försök att försöka efterlikna den mänskliga hjärnan i en mycket djup mening. Det påminner mig lite om, du vet, på 1700-talet om man ville ha snabbare transporter, skulle man jobba på att bygga en mekanisk häst istället för att uppfinna förbränningsmotorn. Så jag är väldigt skeptisk till att försöka lösa AI genom att försöka efterlikna den mänskliga hjärnan.

Djup inlärning är inte nödvändigtvis en silverkula, men om du matar den med tillräckligt med data och du har rätt neurala nätverksarkitektur, kan den lära sig abstraktioner som vi som människor inte kan tolka men som gör systemet mycket effektivt för att lösa ett brett spektrum av uppgifter.

Det låter som att ni båda i grunden är oense om vad målet med AI är.

GM: Jag tror att det finns en ironi. När jag hade en debatt med Yoshua Bengio i december, sa Bengio att det enda engagemanget för djupinlärning var att det var neurologiskt baserat. Så jag har hört båda motsatta ytterligheterna från djupinlärning. Det är lite konstigt, och jag tycker inte att vi ska ta dessa argument på allvar.

Istället borde vi säga: Kan symboler hjälpa oss? Och svaret är, överväldigande, ja. Nästan all världens mjukvara är byggd på symboler. Och då måste du säga, empiriskt, gör de djupinlärningsgrejer det vi vill att de ska göra? Och problemet hittills är att det har varit modellfritt. Vicarious [en AI-driven industrirobotstart] hade en stor demonstration av ett Atari-spelinlärningssystem som DeepMind gjorde mycket populärt, där det lärde sig att spela Breakout på en övermänsklig nivå. Men sedan flyttade Vicarious paddeln några pixlar och det hela föll isär, eftersom inlärningsnivån var alldeles för ytlig. Den hade inte ett koncept av en paddel, en boll, en uppsättning tegelstenar. En symbolisk algoritm för Breakout skulle mycket enkelt kunna kompensera för dessa saker.

Anledningen till att titta på människor är för att det finns vissa saker som människor gör mycket bättre än system för djupinlärning. Det betyder inte att människor i slutändan kommer att vara rätt modell. Vi vill ha system som har vissa egenskaper hos datorer och vissa egenskaper som har lånats av människor. Vi vill inte att våra AI-system ska ha dåligt minne bara för att människor har det. Men eftersom människor är den enda modellen av ett system som kan utveckla en djup förståelse av något – bokstavligen den enda modellen vi har – måste vi ta den modellen på allvar.

DL: Ja, så exemplet på att världens programmeringsspråk är symboliskt baserade - det är sant eftersom de är designade för människor att implementera sina idéer och tankar.

Djup inlärning är inte en replikering av den mänskliga hjärnan. Kanske kan du säga att det är inspirerat av den neurala världen, men det är en mjukvara. Vi har inte riktigt gått på djupet med djupinlärning än. Vi har haft en begränsad mängd träningsdata hittills. Vi har haft begränsade strukturer med begränsad beräkningskraft. Men nyckelpunkten är att djupinlärning lär sig konceptet, det lär sig funktionerna. Det är inte en mänsklig sak. Jag tror att den stora skillnaden mellan Garys tillvägagångssätt och mitt tillvägagångssätt är om de mänskliga ingenjörerna ger intelligens till systemet eller om systemet lär sig intelligens själv.

Danny, du nämnde att vi inte riktigt har sett potentialen med djupinlärning fullt ut på grund av begränsningar i data och beräkning. Borde vi inte utveckla nya tekniker med tanke på att djupinlärning är så ineffektivt? Vi har varit tvungna att drastiskt öka beräkningen för att låsa upp nya djupinlärningsförmågor.

DL: Ett av problemen med djupinlärning är att det hittills verkligen har varit baserat på ett slags klassiskt tillvägagångssätt: du genererar en stor träningsdatauppsättning och sedan matar du in den. En sak som verkligen skulle kunna förbättra djupinlärningen är att ha en aktiv inlärningsprocess där nätverket tränas för att optimera träningsdata. Du behöver inte bara mata in en bedövande mängd data för att förbättra inlärningsprocessen. Du kan ständigt skräddarsy dina träningsdata för att rikta in dig på ett specifikt område.

Gary, du påpekar djupinlärnings sårbarheter för partiskhet och till motstridiga attacker . Danny, du nämnde att syntetisk data är en lösning på detta eftersom det inte finns någon partiskhet, och du kan köra miljontals simuleringar som antagligen blir av med kontradiktoriska sårbarheter. Vad är var och en av dina svar på det?

GM: Enbart data är ännu ingen lösning. Syntetisk data kommer inte att hjälpa till med saker som partiskhet i lån eller partiskhet i anställningsintervjuer. Det verkliga problemet där är att dessa system har en tendens att vidmakthålla fördomar som fanns där av historiska skäl. Det är inte uppenbart att syntetisk data är lösningen, i motsats till att bygga system som är tillräckligt sofistikerade för att förstå de kulturella fördomar som vi försöker ersätta.

Motstridiga attacker är en annan sorts sak. Data kan hjälpa till med några av dem, men hittills har vi inte riktigt eliminerat de många olika typerna av kontradiktoriska attacker. Jag visade dig basebollen med skum på som beskrivs som espresso. Om någon i förväg tänker göra basebollar med espresso i simulering och märka dem noggrant, okej. Det kommer alltid att finnas några fall som ingen har tänkt på. Ett system som är rent datadrivet kommer att fortsätta att vara sårbart.

DL: Verklig data är väldigt partisk, oavsett vad du gör. Du samlar in data i en viss miljö, till exempel för självkörande fordon, och du har en representation av kanske 90 % vuxna och 10 % barn på gatorna. Det är normalfördelningen. Men ett maskininlärningssystem måste träna på jämna mängder vuxna och barn för att säkert undvika att träffa någon av dem. Så med syntetisk data kan du i princip balansera och undvika fördomar om du är försiktig. Det betyder inte att du inte kan skapa nya fördomar. Det måste du se upp med. Visst löser du integritetsproblem, eftersom det inte finns några riktiga människor eller riktiga barn i någon av dina träningsdata.

När det gäller motstridiga exempel är problemet med många av dem att de i grunden utvecklas mot svaga datorseende modeller - modeller som har tränats på 10 eller 20 miljoner bilder, säg från ImageNet. Det är långt ifrån tillräckligt med data för att faktiskt generalisera en modell. Vi behöver stora mängder datamängder med otroliga mängder domänrandomisering för att generalisera dessa datorseende modeller så att de faktiskt inte blir lurade.

Vad är det du är mest exalterad över inför AI:s framtid?

GM: Det har skett en verklig rörelse mot hybridmodeller under det senaste året. Människor utforskar nya saker som de inte har gjort tidigare, och det är spännande.

DL: Jag tror att det verkligen är multimodellsystem – system som har sammansatts av många olika modeller för perception och beteende tillsammans för att lösa verkliga komplexa uppgifter.

Dölj