211service.com
Benfords lag och konsten att lyckas i flervalstest
Redan på 1930-talet upptäckte den amerikanske fysikern Frank Benford att den första siffran i vissa listor med siffror var mycket mer sannolikt att vara en 1 än en 9. Han testade denna idé på en mängd olika datauppsättningar som ytan av floder, en lista över fysiska konstanter och till och med gatuadresserna för de första 342 inläggen i American Men of Science.
I varje fall hittade han samma mönster. Att siffran 1 är första siffran 30 procent av gångerna, siffran 2 är första siffran 18 procent av gångerna, siffran 3 är första 13 procent av gångerna och så vidare tills siffran 9 som är första bara 5 procent av tiden.
Han fortsatte med att föreslå Benfords lag: att fördelningen av första siffror i många, men inte alla, datauppsättningar följer samma logaritmiska mönster. Det visar sig att denna egenskap stämmer för många datauppsättningar som involverar fysiska kvantiteter men är inte sant för slumpmässigt genererade tal där fördelningen av första siffror är enhetlig.
Nu, 60 år senare, är Benfords lag känd. Dess mest kända applikation är att avslöja bedrägeri. Det är möjligt eftersom fördelningen av första siffror i ett företags konton visar sig följa Benfords lag. Så varje avvikelse från detta är ett bra bevis på att någon har lagat böckerna. Och detta har lett till att olika bedragare fallit.
Men det väcker en intressant fråga: var annars kan Benfords lag användas?
Idag lade Aaron Slepkov vid Trent University i Peterborough, Kanada, och ett par kompisar fram ett förslag. De påpekar att svaren på flervalsprov i fysik måste följa Benfords lag. Men om de felaktiga svaren väljs slumpmässigt kommer de inte att följa Benfords lag.
Så kan en företagsam student med förståelse om Benfords lag, men liten förståelse för fysik, få en fördel?
För att ta reda på det simulerade Slepkov och co ett sådant flervalsprov som involverade 5000 skenfrågor. För de korrekta svaren använde de en datauppsättning med siffror hämtade från svaren på riktiga fysikfrågor. Men de tog de felaktiga svaren från en datauppsättning med slumpmässiga siffror där de första siffrorna är jämnt fördelade (dvs den första siffran är lika sannolikt vilken som helst av siffrorna från 1 till 9).
Den bästa strategin i ett sådant flervalstest är att välja svaret med den lägsta första siffran. Och när två eller flera svar har samma lägsta siffra, välj sedan.
Och det var vad Slepkov och co gjorde när de tog testerna. Resultaten är avgörande. I ett flervalstest med tre möjliga svar gav denna strategi en poäng på 51 procent. Det är ett klart godkänt även om svaren valdes utan någon kunskap om fysiken som testas.
På sätt och vis är det inte riktigt förvånande. Benfords lag innebär att chansen att den första siffran är en 1, 2 eller 3 är större än 50 procent och detta skapar en tydlig fördom för någon som vet.
Men fungerar den här strategin för riktiga tentor? Slepkov och co testade det på en datauppsättning av välkända flervalsprov i fysik och deras resultat väcker en överraskning.
Den strategi som föreslås av Benfords lag ger ingen som helst fördel. De fann att det var omöjligt att klara ett fysikprov på detta sätt.
Hurså? Slepkov och co tittade närmare på de korrekta svaren och dummysvaren också i dessa tidningar och fann något överraskande. Medan de riktiga svaren följer Benfords lag, gör de felaktiga svaren det också. Så det finns ingen skillnad i fördelningen av första siffror som en företagsam student kan utnyttja.
Exakt varför de felaktiga svaren följer Benfords lag är inte klart. De är uppenbarligen inte slumpmässiga siffror så hur kan de väljas ut? Slepkov och co diskuterar ett antal möjligheter, kanske den mest uppenbara är att de är svar på andra frågor och så är de själva fysiska storheter. Men det finns andra möjligheter också.
Det kommer att vara en besvikelse för legionerna av fysikstudenter som läser detta och som hoppades klara sig med liten eller ingen kunskap om sitt ämne.
För dessa elever erbjuder Slepkov och co en flik av hopp. De påpekar att chanserna för ett korrekt svar på en fysikfråga som börjar med siffrorna 1, 2 eller 3 är över 50 procent. Men likaså är chansen att svaret börjar med 7, 8 eller 9 bara 15 procent.
Så de avslutar med detta:
Ett ringa råd vi kan ge den testkloke studenten är följande: I slutet av en lång konstruerad svarsundersökning, om du har lite tid att dubbelkolla svaren på alla frågorna, ägna tid åt dem frågor som gav slutliga svar som har de största ledande siffrorna; frågor förväntas ha svar med inledande siffror 7, 8 eller 9 endast 15 % av gångerna.
Lycka till!
Ref: arxiv.org/abs/1311.4787v1 : Benford's Law: Textbook Exercises and Multiple-choice Testbanks