211service.com
Varför och hur Baidu lurade ett test av artificiell intelligens
Sporten att träna mjukvara för att agera intelligent fick precis sin första fuskskandal. Förra månaden meddelade det kinesiska sökföretaget Baidu att dess bildigenkänningsprogram hade gått före Googles på ett standardiserat test av noggrannhet. På tisdagen erkände företaget att det uppnådde dessa resultat genom att bryta mot reglerna för det testet.
De akademiska experterna som upprätthåller det testet säger det gör Baidus påståenden om att slå Google meningslösa . Ren Wu, Baidu-forskaren som ledde arbetet med programvaran i fråga, har bett om ursäkt och sagt att företaget ser över sina resultat. Företaget har ändrade ett tekniskt dokument den släpptes på sin programvara.
Vi vet inte om detta var en individs agerande eller en strategi för laget som helhet. Men varför ett företag med mångmiljarder dollar kan bry sig om att fuska på ett obskyrt test som drivs av akademiker på frivillig basis är faktiskt ganska klart.
Baidu, Google, Facebook och andra stora datorföretag har spenderat mycket de senaste åren för att bygga forskargrupper dedikerade till djupinlärning, ett tillvägagångssätt för att bygga programvara för maskininlärning som har gjort stora framsteg i tal- och bildigenkänning. Dessa företag har arbetat hårt för att anställa ledande experter inom det lilla området – ofta från varandra (se Is Google Cornering the Market on Deep Learning ). En handfull standardiserade test som utvecklats i akademin är den valuta med vilken dessa forskargrupper jämför varandras framsteg och främjar deras prestationer för allmänheten.
Baidu fick en orättvis fördel genom att utnyttja testets design. För att få din programvara poängsatt mot ImageNet Challenge tränar du den först med en standardiserad uppsättning av 1,5 miljoner bilder. Sedan skickar du in koden till ImageNet Challenge-servern så att dess noggrannhet kan testas på en samling av 100 000 valideringsbilder som programvaran aldrig har sett förut.
Utmaningsreglerna säger att du bara får testa din kod två gånger i veckan, eftersom det finns en del av slumpen i resultaten.
Baidu har erkänt att de använde flera e-postkonton för att testa sin kod ungefär 200 gånger på knappt sex månader – mer än fyra gånger vad reglerna tillåter.
Oren Etzioni, VD för Allen Institutet för artificiell intelligens , liknar vad Baidu gjorde med att köpa flera lotter. Får du köpa två biljetter i veckan har du en viss chans om du köper 200 i veckan har du större chans, säger han. Utöver det kan testning av något annorlunda kod över många tester hjälpa ett forskarlag att optimera sin programvara för egenheter i samlingen av valideringsbilder som inte återspeglas i verkliga bilder.
Framgången med djupinlärning på just detta test är så stor att även en liten fördel kan göra skillnad. Baidu hade rapporterat att det uppnådde en felfrekvens på endast 4,58 procent, vilket slog det tidigare bästa på 4,82 procent, rapporterat av Google i mars. Faktum är att vissa experter har noterat att de små segermarginalerna i loppet för att bli bättre på just detta test gör det allt mer meningslöst. Att Baidu och andra fortsätter att basunera ut sina resultat ändå - och kanske till och med är villiga att bryta mot reglerna - tyder på att det verkligen betyder mycket för dem att vara bäst på maskininlärning.