211service.com
AI besegrar Hivemind
Amazons Mechancial Turk är det ultimata inom nästan anonym outsourcing: alla uppgifter som kan utföras online kan utföras genom kombinationen av automatiserad marknadsplats och mänskligt arbete. De som registrerar sig för att slutföra uppgifter - turkare - betalas så låga löner som öre per sysslor för att göra allt från inmatning av data till folkkonst .
(DC) Jim Linwood
Mechanical Turk är utformad för att utföra uppgifter som är lätta för människor och svåra för maskiner, som att kategorisera eller identifiera innehållet i bilder. Problemet för Amazon och alla dess imitatorer är dock att maskiner blir bättre på många uppgifter, medan människorna på Mechanical Turk, av skäl som jag ska utforska i morgondagens inlägg, blir sämre.
Nyligen släppte till exempel forskare som arbetar på onlinerecensionssajten Yelp en papper (pdf) om deras erfarenhet av att matcha tusentals Mechanical Turkers mot en övervakad inlärningsalgoritm .
Resultaten var inte snygga: för att hitta en population av turkare vars arbete var acceptabelt använde forskarna först Mechanical Turk för att administrera ett test till 4 660 sökande. Det var ett flervalstest för att avgöra om en turkare kunde identifiera rätt kategori för ett företag (restaurang, shopping, etc.) och verifiera, via sin officiella hemsida eller via telefon, dess korrekta telefonnummer och adress.
79 passerade. Detta var en extremt grundläggande flervalstest. Det får en att undra hur de andra 4 581 var smarta nog att använda en webbläsare i första hand.
Dessa 79 högkvalitativa arbetare kastades sedan över problemet med att verifiera affärsinformation tre åt gången. Detta gjorde det möjligt för forskarna att endast ta de resultat som en enkel majoritet av turkare var överens om var korrekta, eller i vissa fall att ta det resultat som valts av turkaren som historiskt sett varit den mest korrekta.
Forskare kastade en naiv Bayes-klassificerare mot samma uppsättning problem. Detta är en sorts övervakad inlärningsalgoritm; en som, enligt en 2006 års jämförelse av dessa system , är inte ens den bästa sorten som finns.
Bayes klassificeraren vann överlägset.
I nästan alla fall identifierade algoritmen, som tränades på en pool av 12 miljoner användarinskickade Yelp-recensioner, korrekt kategorin för ett företag en tredjedel oftare än människorna. I bilkategorin var det dubbelt så troligt att datorn korrekt identifierade ett företag som de samlade massorna.
Dessa resultat tyder inte nödvändigtvis på att företagskategorisering är ett problem som schack, där den mänskliga datorn äntligen har överträffats av sin mekaniska motsvarighet. Snarare antyder de att något med Mechanical Turk själv är trasigt – antingen incitamentsystemet eller dess mekanismer för polisens kvalitet. Det har länge varit känt att lönerna på Mechanical Turk är ganska låga - arbetare tjänar i genomsnitt mellan två och tre dollar i timmen för sitt arbete, och det är troligt att detta är en del av problemet. Ekonomer har bara börjat ta upp frågan; mer om det imorgon.
