Datautvinning avslöjar de avgörande faktorerna som avgör när människor gör misstag

Sättet som människor fattar beslut i den verkliga världen är ett ämne av ökande intresse bland psykologer, samhällsvetare, ekonomer och andra. Det avgör hur ekonomier presterar, hur val genomförs och hur konflikter bryter ut och löses.

En idé har utgjort en samlingspunkt för beslutsfattande forskning. Detta är föreställningen om begränsad rationalitet – att människor begränsas av olika begränsningar i den verkliga världen, och dessa spelar en avgörande roll i beslutsprocessen. Människor begränsas av svårigheten i beslutet de måste fatta, deras egen förmåga att fatta beslut och den tid de kan lägga på problemet. Icke desto mindre, oavsett omständigheterna, måste ett beslut fattas och konsekvenserna accepteras.

Det väcker en viktig uppsättning frågor. Hur påverkar dessa faktorer kvaliteten på det beslut som fattas? Har tidspress en större inverkan än t.ex. beslutsförmåga på kvaliteten på ett beslut?

Det är svåra frågor att svara på, med tanke på svårigheten att sätta upp ett kontrollerat experiment för att testa dem. Ingen har faktiskt hittat ett tillfredsställande sätt att studera problemet.

Tills nu. Idag avslöjar Ashton Anderson vid Microsoft Research i New York City, Jon Kleinberg vid Cornell University i Ithaca och Sendhil Mullainathan vid Harvard University i Cambridge den första storskaliga studien av beslutsfattande under kontrollerade förhållanden. För första gången har dessa killar kunnat studera hur kvaliteten på beslutsfattandet förändras med den tid som finns tillgänglig, beslutsfattarens skicklighet och svårigheten i beslutet.

Deras laboratorium? Spelet schack. Vi har använt schack som ett modellsystem för att undersöka vilka typer av funktioner som hjälper till att analysera och förutsäga fel i mänskligt beslutsfattande, säger de.

Deras forskning fokuserar på en databas med 200 miljoner schackspel som spelas online mellan amatörer och en annan databas med omkring en miljon partier som spelas mellan stormästare. Det som är intressant med dessa databaser är att resultatet av spelet avslöjar om en spelare har gjort ett misstag. Och de inspelade dragen avslöjar exakt när den förlorande spelaren gör felet.

Teamet kan sedan se vilka faktorer som har spelat in. De kan till exempel se om spelaren var under tidspress. De kan se svårigheten med beslutet genom att undersöka ställningen i styrelsen och dess komplexitet. De gör detta genom att samla ihop alla möjliga drag och sedan räkna ut vilken del av dem som är misstag. Så en position där alla drag utom ett är blunders är svårare än en position där bara ett drag av många är en blunder.

Laget känner också till spelarnas skicklighetsnivå. Skicklighetsnivån för varje schackspelare ges av ett nummer som kallas Elo-betyget (efter Arpad Elo, som kom på det). De flesta amatörer har ett betyg mellan 1000 och 2000, starka amatörer får upp till 2400, och världens bästa spelare får rankningar på runt 2600. Det finns i allmänhet bara en handfull spelare när som helst med en ranking över 2800. En skillnad på 400 poäng mellan spelare tyder på att den högre rankade spelaren är överväldigande sannolikt att vinna.

Och databasens enorma storlek gör att de kan klippa och tärna data på ett sätt som håller två av dessa variabler konstanta samtidigt som de tillåter den andra att variera. Till exempel kan laget undersöka styrelsepositioner med samma svårighetsgrad medan spelare är under samma tidspress för att se hur variationer i deras skicklighetsnivå påverkar kvaliteten på de beslut de fattar. På samma sätt kan forskarna hålla skicklighet och tidspress konstant samtidigt som styrelsepositionen kan variera; och så vidare.

Resultaten ger intressant läsning. De finner till exempel att mängden tid som läggs på ett beslut är en faktor för blunder, men bara upp till en viss punkt. Snabba beslut är mer benägna att leda till en blunder, men efter cirka 10 sekunder eller så planar sannolikheten för en blunder ut. Så när spelare spenderar mer tid än så här på ett drag beror det förmodligen på att de inte vet vad de ska göra.

Svårigheten i beslutet är också en viktig faktor. Svårare positioner leder mer sannolikt till en blunder. Och färdighetsnivåer har stor inverkan på att minska sannolikheten för en blunder. I allmänhet fattar bättre spelare bättre beslut.

Men Anderson och co har hittat bevis på ett helt kontraintuitivt fenomen där skicklighetsnivåer spelar motsatt roll, så att skickliga spelare är mer benägna att göra ett misstag än sina lägre rankade motsvarigheter. Teamet kallar dessa färdigheter onormala positioner.

Det är en extraordinär upptäckt som kommer att behöva rivas lite i framtida arbete. Förekomsten av skicklighetsanomala positioner är förvånande, eftersom det finns en no a priori anledning att tro att schack som domän bör innehålla vanliga situationer där starkare spelare gör fler fel än svagare, säger Anderson och co. Varför detta händer är inte klart.

Dessa resultat har en viktig tillämpning. De låter laget förutse när en spelare är mest sannolikt att göra ett misstag. Och det visar sig att en av faktorerna är en mycket mer kraftfull prediktor än de andra.

Summan av kardemumman är att svårigheten i beslutet är den viktigaste faktorn för att avgöra om en spelare gör ett misstag. Med andra ord, att undersöka brädpositionens komplexitet är en mycket bättre förutsägelse om huruvida en spelare sannolikt kommer att göra fel än hans eller hennes skicklighetsnivå eller hur lång tid som är kvar av spelet.

Det kan få viktiga konsekvenser för hur forskare granskar andra beslut. Hur är till exempel felfrekvensen för högutbildade förare under svåra förhållanden jämfört med dåliga förare under säkra förhållanden? Om svårigheten i beslutet är den avgörande faktorn, snarare än förarens skicklighet, måste mycket större vikt läggas vid detta. Vi tänker på oerfarna och distraherade förare som en stor riskkälla, men hur jämför dessa effekter med förekomsten av farliga vägförhållanden? fråga Anderson och co.

Och med tanke på teamets upptäckt av skicklighetsanomala förhållanden, finns det vägförhållanden som gör att skickliga förare är mer benägna att göra ett misstag än mindre skickliga?

Den här typen av arbete kommer att få stora konsekvenser utöver bilkörning. Ekonomer kan mycket väl fråga vad allt detta betyder för köpbeslut, valtjänstemän kommer att fråga om komplexiteten i information relaterad till röstbeslut, och förhandlare kommer att fundera över dess inverkan på att lösa konflikter.

Fascinerande arbete och mycket att tänka på.

Ref: arxiv.org/abs/1606.04956 : Att bedöma mänskliga misstag mot ett riktmärke för perfektion

Dölj