211service.com
Wisdom of the Crowd förutspår noggrant högsta domstolens beslut
FantasySCOTUS är en fantasyliga online där tävlande tävlar genom att förutsäga beslut fattade av USA:s högsta domstol. Spelare rankas som i vilken fantasiliga som helst, och de bästa spelarna kan vinna priser som en gyllene klubba och till och med $10 000 i kontanter.
Sedan 2011 har cirka 7 000 spelare gjort över 600 000 förutsägelser om resultatet av över 400 beslut i högsta domstolen. Dessa personer behöver inga speciella kvalifikationer och inträdet är gratis, även om priserna är begränsade till amerikanska medborgare. Spelare kan komma och gå som de vill, ta del av vissa förutsägelser men inte andra.
Allt detta gör detta till en intressant grupp. Samhällsvetare har länge varit intresserade av folkmassornas visdom – fenomenet där ett stort antal individer, som till synes agerar självständigt, tillsammans kan fatta förvånansvärt korrekta beslut, ibland till och med bättre än de smartaste bland dem.
Landskapet av crowdsourced visdom när det gäller att förutsäga SCOTUS-beslut
Forskare vet att i vissa omständigheter är folkmassornas visdom mycket exakt, men att det i andra inte är bättre än slumpmässiga gissningar, och ibland värre. Så hur bra är publiken på att förutsäga högsta domstolens beslut?
Idag får vi ett svar tack vare Daniel Martin Katz' arbete vid Chicago Kent College of Law i Illinois och ett par kompisar som har knäckt data från FantasySCOTUS för att ta reda på hur bra visdomen hos publiken verkligen är. Och de visar att crowdsourcing är ganska bra på att förutsäga resultatet över ett brett spektrum av förhållanden.
Deras metod är okomplicerad. Dessa killar kommer på följande scenario:
Tänk om följande berättelse var verklig. I oktober 2011 tillkännagavs ett miljonpris för att förutsäga sex år av avgöranden från USA:s högsta domstol med hjälp av crowdsourcingdata. Tusentals team från hela industrin och akademin svarar på utmaningen, var och en gör lite olika men rimliga val om hur de ska göra sina förutsägelser.
Katz och co frågar hur de här teamen kan ta sig an problemet. Vissa lag kan följa publikens visdom i allmänhet, andra kan välja en undergrupp av inflytelserika individer att följa, ett annat tillvägagångssätt kan vara att vikta individers inflytande efter deras noggrannhet i det förflutna, och så vidare. Dessa modeller kan också utvecklas över tiden när teamen lär sig vilken typ av tillvägagångssätt som fungerar bäst.
Frågan som Katz och co ställer är hur bra dessa modeller kan vara. För att ta reda på det skapar de ett brett utbud av modeller – cirka 250 000 av dem – och testar dem på data från FantasySCOTUS. Vi simulerar uttömmande modeller över ett brett spektrum av rimliga val, och analyserar sedan prestandan för dessa modeller sammantaget, säger forskarna.
De jämför sedan modellernas prestanda med en nollmodell. I det här fallet är nollmodellen en tumregel som advokater använder för att gissa resultatet av högsta domstolens beslut. Denna regel är att anta att SCOTUS kommer att upphäva beslut från en lägre domstol. Och det här är faktiskt vad som händer runt 60 procent av tiden.
Analysen visar att crowdsourcede modeller är ännu bättre. Katz och co säger att många modeller konsekvent överträffar nollmodellen, de bästa förutsägande SCOTUS-besluten med 80 procents noggrannhet. Vi ger starkt stöd för påståendet att crowdsourcing exakt och robust kan förutsäga besluten från USA:s högsta domstol, säger de.
Teamet planerar att använda samma metod för att förutsäga resultatet av andra lagstiftningsprocesser och till och med val.
Arbetet ger dock ingen inblick i svagheterna med crowdsourcing-visdom. Till exempel går folkmassornas visdom ofta sönder när individers åsikter blir korrelerade - när de påverkar varandra för starkt. Detta kan resultera i katastrofala situationer, som när stora grupper har irrationella eller felaktiga åsikter under kontroll av grupptänkande.
Naturligtvis ligger det intressanta området mellan dessa ytterligheter – mellan visdom och dårskap. Det är därför att förstå hur och när visdom går sönder kan vara en intressant väg för framtida arbete.
Ref: arxiv.org/abs/1712.03846 : Crowdsourcing förutsäger noggrant och stabilt högsta domstolens beslut