En radikal ny teknik låter AI lära sig praktiskt taget utan data

En noshörning - en korsning mellan en noshörning och en enhörning.

Det mytomspunna noshörningen. Ms Tech / Pixabay





Maskininlärning kräver vanligtvis massor av exempel. För att få en AI-modell att känna igen en häst måste du visa den tusentals bilder av hästar. Det är detta som gör tekniken beräkningsmässigt dyr – och mycket annorlunda än mänskligt lärande. Ett barn behöver ofta bara se några få exempel på ett föremål, eller till och med bara ett, innan det kan känna igen det för livet.

I själva verket behöver barn ibland inte några exempel för att identifiera något. Visat foton av en häst och en noshörning, och berättat att en enhörning är något mittemellan, kan de känna igen den mytiska varelsen i en bilderbok första gången de ser den.

Rhinocorn, en korsning mellan en noshörning och enhörning

Hmm...okej, inte riktigt.



MS TECH / PIXABAY

Nu till nytt papper från University of Waterloo i Ontario föreslår att AI-modeller också borde kunna göra detta – en process som forskarna kallar mindre än one-shot, eller LO-shot, inlärning. Med andra ord bör en AI-modell kunna känna igen exakt Mer objekt än antalet exempel den tränades på. Det kan vara en stor sak för ett fält som har blivit allt dyrare och otillgängligt i takt med att datauppsättningarna som används blir allt större.

Hur mindre än engångsinlärning fungerar

Forskarna visade först denna idé medan de experimenterade med den populära datauppsättningen för datorseende som kallas MNIST . MNIST, som innehåller 60 000 träningsbilder av handskrivna siffror från 0 till 9, används ofta för att testa nya idéer på området.

I en tidigare tidning MIT-forskare hade introducerat en teknik för att destillera gigantiska datamängder till små, och som ett bevis på konceptet hade de komprimerat MNIST till endast 10 bilder. Bilderna valdes inte ut från den ursprungliga datamängden utan noggrant konstruerade och optimerade för att innehålla motsvarande mängd information som hela uppsättningen. Som ett resultat, när den tränas uteslutande på de 10 bilderna, kunde en AI-modell uppnå nästan samma noggrannhet som en tränad på alla MNISTs bilder.



Handskrivna siffror mellan 0 och 9 samplade från MNIST-datauppsättningen.

Exempelbilder från MNIST-datauppsättningen.

WIKIMEDIA Äpplen och apelsiner ritade på ett diagram efter vikt och färg.

De 10 bilderna 'destillerade' från MNIST som kan träna en AI-modell för att uppnå 94 % igenkänningsnoggrannhet på handskrivna siffror.

TONGZHOU WANG ET AL.

Waterloo-forskarna ville ta destillationsprocessen vidare. Om det är möjligt att krympa 60 000 bilder till 10, varför inte klämma ihop dem till fem? Tricket, insåg de, var att skapa bilder som blandar flera siffror tillsammans och sedan mata in dem i en AI-modell med hybrid- eller mjuka etiketter. (Tänk tillbaka på en häst och noshörning som har delvis drag av en enhörning.)



Om du tänker på siffran 3 så ser den också ut som siffran 8 men ingenting som siffran 7, säger Ilia Sucholutsky, doktorand vid Waterloo och huvudförfattare till tidningen. Mjuka etiketter försöker fånga dessa delade funktioner. Så istället för att säga till maskinen, 'Den här bilden är siffran 3', säger vi, 'Den här bilden är 60 % siffran 3, 30 % siffran 8 och 10 % siffran 0.

Gränserna för LO-shot inlärning

När forskarna framgångsrikt använde mjuka etiketter för att uppnå LO-shot-inlärning på MNIST började de undra hur långt denna idé faktiskt kunde gå. Finns det en gräns för antalet kategorier du kan lära en AI-modell att identifiera från ett litet antal exempel?

Förvånansvärt nog verkar svaret vara nej. Med noggrant konstruerade mjuka etiketter kan till och med två exempel teoretiskt koda hur många kategorier som helst. Med två poäng kan du separera tusen klasser eller 10 000 klasser eller en miljon klasser, säger Sucholutsky.



Olika diagram som visar gränslinjerna som ritas ut av en kNN-algoritm. Varje diagram har fler och fler gränslinjer, alla kodade i små datamängder.

Rita äpplen (gröna och röda prickar) och apelsiner (orange prickar) efter vikt och färg.

ANPASSAD FRÅN JASON MAYES 'MACHINE LEARNING 101' SLIDEDECK

Detta är vad forskarna visar i sin senaste uppsats, genom en rent matematisk utforskning. De spelar ut konceptet med en av de enklaste maskininlärningsalgoritmerna, känd som k-nearest neighbors (kNN), som klassificerar objekt med hjälp av ett grafiskt tillvägagångssätt.

För att förstå hur kNN fungerar, ta uppgiften att klassificera frukter som ett exempel. Om du vill träna en kNN-modell för att förstå skillnaden mellan äpplen och apelsiner måste du först välja de funktioner du vill använda för att representera varje frukt. Du kanske väljer färg och vikt, så för varje äpple och apelsin matar du kNN med en datapunkt med fruktens färg som x-värde och vikt som y-värde. kNN-algoritmen plottar sedan alla datapunkter på ett 2D-diagram och ritar en gränslinje rakt ner i mitten mellan äpplena och apelsinerna. Vid denna tidpunkt delas plottet snyggt upp i två klasser, och algoritmen kan nu avgöra om nya datapunkter representerar den ena eller den andra baserat på vilken sida av linjen de faller på.

För att utforska LO-shot-inlärning med kNN-algoritmen skapade forskarna en serie små syntetiska datamängder och konstruerade noggrant deras mjuka etiketter. Sedan lät de kNN plotta gränslinjerna den såg och fann att den lyckades dela upp plottet i fler klasser än datapunkter. Forskarna hade också en hög grad av kontroll över var gränslinjerna gick. Genom att använda olika justeringar av de mjuka etiketterna kunde de få kNN-algoritmen att rita exakta mönster i form av blommor.

Forskarna använde mjukt märkta exempel för att träna en kNN-algoritm för att koda allt mer komplexa gränslinjer, och dela upp diagrammet i mycket fler klasser än datapunkter. Var och en av de färgade områdena på plotten representerar en annan klass, medan cirkeldiagrammen vid sidan av varje plot visar den mjuka etikettfördelningen för varje datapunkt.

ILIA SUCHOLUTSKY ET AL.

Naturligtvis har dessa teoretiska undersökningar vissa gränser. Medan idén om LO-shot-inlärning bör överföras till mer komplexa algoritmer, blir uppgiften att konstruera de mjukt märkta exemplen betydligt svårare. kNN-algoritmen är tolkningsbar och visuell, vilket gör det möjligt för människor att designa etiketterna; neurala nätverk är komplicerade och ogenomträngliga, vilket betyder att detsamma kanske inte är sant. Datadestillation, som fungerar för att designa mjukt märkta exempel för neurala nätverk, har också en stor nackdel: det kräver att du börjar med en gigantisk datamängd för att krympa ner den till något mer effektivt.

Sucholutsky säger att han nu arbetar på att ta reda på andra sätt att konstruera dessa små syntetiska datamängder – oavsett om det innebär att designa dem för hand eller med en annan algoritm. Trots dessa ytterligare forskningsutmaningar ger uppsatsen de teoretiska grunderna för LO-shot-inlärning. Slutsatsen är beroende på vilken typ av datamängder man har så kan man förmodligen få massiva effektivitetsvinster, säger han.

Detta är det som mest intresserar Tongzhou Wang, en doktorand vid MIT som ledde den tidigare forskningen om datadestillation. Uppsatsen bygger på ett riktigt nytt och viktigt mål: lära sig kraftfulla modeller från små datamängder, säger han om Sucholutskys bidrag.

Ryan Khurana, en forskare vid Montreal AI Ethics Institute, upprepar denna känsla: Framför allt skulle inlärning av 'mindre än ett'-skott radikalt minska datakraven för att få en fungerande modell byggd. Detta kan göra AI mer tillgänglig för företag och branscher som hittills har hämmats av fältets datakrav. Det skulle också kunna förbättra datasekretessen, eftersom mindre information skulle behöva extraheras från individer för att träna användbara modeller.

Sucholutsky betonar att forskningen fortfarande är tidig, men han är exalterad. Varje gång han börjar presentera sin uppsats för andra forskare, är deras första reaktion att säga att idén är omöjlig, säger han. När de plötsligt inser att det inte är det, öppnar det upp en helt ny värld.

Dölj