Datautvinning avslöjar hur människor utvärderar varandra

Sättet vi utvärderar andra människors prestationer är ett av de större mysterierna inom kognitiv psykologi. Denna process sker kontinuerligt när vi bedömer individers förmåga att utföra vissa uppgifter, och bedömer alla från elektriker och busschaufförer till revisorer och politiker.

Problemet är att vi endast har tillgång till en begränsad uppsättning data om en individs prestation – en del av den är direkt relevant, såsom en taxichaufförs körjournal, men mycket av den är irrelevant, såsom förarens kön. Faktum är att mängden information kan vara så stor att vi tvingas besluta oss för att använda en liten delmängd av den. Hur tas de besluten?

Idag får vi ett slags svar tack vare Luca Pappalardos arbete vid universitetet i Pisa i Italien och några kompisar som har studerat detta problem på idrottsarenan, där frågor om prestation kastas i stark lättnad. Deras arbete ger unik insikt i hur vi utvärderar mänsklig prestation och hur detta relaterar till objektiva mått.

De faktorer som mänskliga observatörer använder för att betygsätta prestanda är en liten delmängd av objektiva mått.

Sportprestationer är ett område där detaljerade register över individuella prestationer har samlats in under några år. Pappalardo och co fokuserar på fotboll, världens mest populära sport, och i synnerhet på prestandan för spelare som tävlar i toppen av sporten i Italiens Serie A fotbollsliga.

Under många år har italienska sporttidningar betygsatt spelarnas prestationer i varje match på en skala från 0 till 10, där 0 är oförglömligt dåligt och 10 oförglömligt fantastiskt. Detta system är baserat på det italienska systemet för skolbetyg, där en 6 anger att en elev har presterat tillräckligt. Hur spelarna betygsätts publiceras inte, men det görs förmodligen av en expert sportjournalist.

På senare år har samma spelare också utvärderats av ett objektivt mätsystem som räknar antalet passningar, skott, tacklingar, räddningar och så vidare som varje spelare gör. Denna tekniska åtgärd tar hänsyn till 150 olika parametrar och ger en omfattande redovisning av varje spelares prestation på planen.

Frågan som Pappalardo och co ställer är hur tidningens betyg korrelerar med de tekniska betygen, och om det är möjligt att använda tekniska data för att förstå de faktorer som påverkar mänskliga betyg.

Forskarna börjar med den tekniska datamängden på 760 matcher i Serie A under säsongerna 2015-16 och 2016-17. Detta består av över en miljon datapunkter som beskriver tidsstämplade händelser på planen. De använder data för att extrahera en teknisk prestandavektor för varje spelare i varje spel; detta fungerar som ett objektivt mått på hans prestation.

Forskarna har också betyg för varje spelare i varje match från tre sporttidningar: Gazzetta dello Sport , Corriere dello Sport , och Tuttosport .

Tidningsbetygen har några intressanta statistiska egenskaper. Endast 3 procent av betygen är lägre än 5 och endast 2 procent högre än 7. När betygen kategoriseras i linje med skolans betygssystem – lika dåligt om de är lägre än 6 och bra om de är 7 och högre – dåligt betyg visar sig vara tre gånger så vanliga som bra.

I allmänhet betygsätter tidningarna en prestation på samma sätt, även om det ibland kan förekomma oenighet med upp till 6 poäng. Vi observerar en god överenskommelse om parvisa betyg mellan tidningarna och konstaterar att betygen (i) har identiska fördelningar; (ii) är starkt korrelerade till varandra; och (iii) skiljer sig vanligtvis med en ratingenhet (0,5), säger Pappalardo och co.

För att analysera sambandet mellan tidningsbetygen och de tekniska betygen använder Pappalardo och co maskininlärning för att hitta korrelationer i datamängderna. I synnerhet skapar de en konstgjord domare som försöker återskapa tidningens betyg från en delmängd av teknisk data.

Detta leder till ett märkligt resultat. Den konstgjorda domaren kan matcha tidningsbetygen med en rimlig grad av träffsäkerhet, men inte lika bra som tidningarna matchar varandra. Oenigheten tyder på att de tekniska funktionerna i sig inte helt kan förklara [tidningens] värderingsprocessen, säger Pappalardo och co.

Tidningsbetygen måste med andra ord bero på externa faktorer som inte fångas upp av den tekniska datan, såsom förväntan på ett visst resultat, personlig fördom, och så vidare.

För att testa denna idé samlade Pappalardo och co ytterligare en uppsättning data som fångar externa faktorer. Dessa inkluderar spelarens ålder, nationalitet och klubb, det förväntade spelresultatet uppskattat av bookmakers, det faktiska spelresultatet och om ett spel spelas hemma eller borta.

När denna data ingår gör den konstgjorda domaren mycket bättre. Genom att lägga till kontextuell information ökar den statistiska överensstämmelsen mellan den konstgjorda domaren och den mänskliga domaren avsevärt, säger teamet.

De kan faktiskt tydligt se exempel på hur externa faktorer påverkar tidningarnas betyg. I hela datamängden har bara två spelare någonsin tilldelats en perfekt 10. En av dessa var den argentinske anfallaren Gonzalo Higuaín, som spelade för Napoli. Vid det här tillfället gjorde han tre mål i en match, och därigenom blev han den högsta målskytten någonsin på en säsong i Serie A. Den milstolpen var nästan säkert orsaken till det perfekta betyget, men det finns inget sätt att härleda detta. poäng från den tekniska datamängden.

En viktig fråga är vilka faktorer den konstgjorda domaren använder för att matcha tidningens betyg. Vi observerar att det mesta av en mänsklig domares uppmärksamhet ägnas åt ett litet antal funktioner, och den stora majoriteten av tekniska funktioner är dåligt övervägda eller förkastade under utvärderingsprocessen, säger Pappalardo och co.

Så när det gäller anfallande forwardsspelare tenderar tidningar att betygsätta dem med lätt observerade faktorer som antalet gjorda mål; de betygsätter målvakter efter antalet insläppta mål. Mittfältsspelare tenderar att bedömas utifrån mer generella parametrar som målskillnaden.

Det är vettigt – mänskliga observatörer har en begränsad bandbredd och kan förmodligen bara observera en liten del av prestandaindikatorerna. Teamet säger faktiskt att den konstgjorda domaren kan matcha mänskliga betyg med mindre än 20 av de tekniska och externa faktorerna.

Det är ett fascinerande resultat som har viktiga konsekvenser för hur vi tänker kring prestationsbetyg. Målet är naturligtvis att hitta mer effektiva sätt att utvärdera prestation i alla möjliga situationer. Pappalardo och co tror att deras arbete har stor betydelse för detta. Detta dokument kan användas för att ge mänskliga utvärderare möjlighet att få förståelse för den underliggande logiken i deras beslut, avslutar de.

Ref: arxiv.org/abs/1712.02224 : Mänsklig Perception of Performance

Dölj