211service.com
Felfyllda datamängder förvränger vår känsla av hur bra AI verkligen är
Jeremy Lwanga/Unsplash
De 10 mest citerade AI-datauppsättningar är genomsyrade av etikettfel, enligt en ny studie från MIT , och det förvränger vår förståelse av fältets framsteg.
Dataryggrad: Datauppsättningar är ryggraden i AI-forskning, men vissa är mer kritiska än andra. Det finns en kärnuppsättning av dem som forskare använder för att utvärdera maskininlärningsmodeller som ett sätt att spåra hur AI-kapaciteten utvecklas över tiden. En av de mest kända är den kanoniska bildigenkänningsdatauppsättningen ImageNet, som startade den moderna AI-revolutionen. Det finns också MNIST, som sammanställer bilder av handskrivna siffror mellan 0 och 9. Andra datamängder testar modeller tränade att känna igen ljud, text och handritningar.
Ja men: Under senare år har studier funnit att dessa datamängder kan innehålla allvarliga brister. ImageNet innehåller till exempel rasistiska och sexistiska etiketter samt bilder på människors ansikten erhållits utan samtycke . Den senaste studien tittar nu på ett annat problem: många av etiketterna är helt enkelt fel. En svamp är märkt som en sked, en groda märks som en katt och en hög ton från Ariana Grande är märkt som en visselpipa. ImageNet-testsetet har en uppskattad etikettfelfrekvens på 5,8 %. Samtidigt har testsetet för QuickDraw, en sammanställning av handritningar, en uppskattad felfrekvens på 10,1 %.
Hur mättes det? Var och en av de 10 datauppsättningarna som används för att utvärdera modeller har en motsvarande datauppsättning som används för att träna dem. Forskarna, MIT-studenterna Curtis G. Northcutt och Anish Athalye och alun Jonas Mueller, använde träningsdatauppsättningarna för att utveckla en maskininlärningsmodell och använde den sedan för att förutsäga etiketterna i testdata. Om modellen inte höll med originaletiketten flaggades datapunkten för manuell granskning. Fem mänskliga recensenter på Amazon Mechanical Turk ombads rösta på vilken etikett – modellens eller originalet – de tyckte var korrekt. Om majoriteten av de mänskliga granskarna höll med modellen, räknades den ursprungliga etiketten som ett fel och korrigerades sedan.
Spelar detta någon roll? Ja. Forskarna tittade på 34 modeller vars prestanda tidigare hade mätts mot ImageNets testset. Sedan mätte de om varje modell mot de cirka 1 500 exemplen där dataetiketterna visade sig vara felaktiga. De upptäckte att modellerna som inte presterade så bra på originalet felaktig Etiketter var några av de bäst presterande efter att etiketterna korrigerats. Särskilt de enklare modellerna verkade klara sig bättre på den korrigerade datan än de mer komplicerade modellerna som används av teknikjättar som Google för bildigenkänning och antas vara de bästa på området. Med andra ord kan vi ha en uppblåst känsla av hur bra dessa komplicerade modeller är på grund av felaktiga testdata.
Nu då? Northcutt uppmuntrar AI-fältet att skapa renare datamängder för att utvärdera modeller och spåra fältets framsteg. Han rekommenderar också att forskare förbättrar sin datahygien när de arbetar med sin egen data. Annars, säger han, om du har en bullrig datauppsättning och ett gäng modeller du provar, och du kommer att distribuera dem i den verkliga världen, kan du sluta med att du väljer fel modell. För detta ändamål använde han öppen källkod koden han använde i sin studie för att korrigera etikettfel, som han säger redan används på några stora teknikföretag.