211service.com
Det brittiska provdebaclet påminner oss om att algoritmer inte kan fixa trasiga system
Ms Tech | AP, Getty
När Storbritannien först gav sig i kast med att hitta ett alternativ till skolavslutande kvalifikationer verkade premissen helt rimlig. Covid-19 hade spårat ur alla möjligheter för studenter att göra proven personligen, men regeringen ville fortfarande ha ett sätt att bedöma dem för beslut om antagning till universitet.
Den främsta av dess bekymmer var en fråga om rättvisa. Lärare hade redan gjort förutsägelser om sina elevers provresultat, men tidigare studier hade visat att dessa kunde vara partiska på grundval av ålder, kön och etnicitet. Efter en rad expertpaneler och samråd , Ofqual, Office of Qualifications and Examinations Regulation, vände sig till en algoritm. Därifrån gick det fruktansvärt fel.
Nästan 40 % av eleverna slutade med att de fick provresultat nedgraderade från deras lärares förutsägelser, vilket hotade att kosta dem deras universitetsplatser. Analys av algoritmen avslöjade också att den hade skadat elever från arbetarklassen och missgynnade samhällen oproportionerligt mycket och ökat antalet elever från privata skolor. Den 16 augusti skanderade hundratals Fan av algoritmen framför det brittiska utbildningsdepartementets byggnad i London för att protestera mot resultaten. Nästa dag hade Ofqual ändrade sitt beslut . Eleverna kommer nu att tilldelas antingen lärarens förväntade poäng eller algoritmens – beroende på vilket som är högst.
Debaclet känns som ett läroboksexempel på algoritmisk diskriminering . De som har sedan dess dissekerades algoritmen har påpekat hur förutsägbart det var att det skulle gå snett; Det utbildades delvis inte bara om varje elevs tidigare akademiska prestationer utan också om de tidigare inträdesproven på elevens skola. Tillvägagångssättet kunde bara ha lett till bestraffning av utestående extremvärden till förmån för ett konsekvent genomsnitt.
Men roten till problemet ligger djupare än dålig data eller dålig algoritmisk design. De mer grundläggande felen gjordes innan Ofqual valde till och med att utöva en algoritm. I botten tappade regulatorn det slutliga målet ur sikte: att hjälpa studenter att övergå till universitetet under ångestfyllda tider. I denna aldrig tidigare skådade situation borde tentamenssystemet ha tänkts om helt.
Det var bara ett spektakulärt misslyckande för fantasin, säger Hye Jung Han, en forskare vid Human Rights Watch i USA, som fokuserar på barns rättigheter och teknologi. De ifrågasatte helt enkelt inte själva premissen för så många av deras processer även när de borde ha gjort det.
På en grundläggande nivå mötte Ofqual två potentiella mål efter att tentor hade ställts in. Den första var att undvika betygsinflation och standardisera poängen; den andra var att bedöma studenter så noggrant som möjligt på ett sätt som var användbart för antagning till universitet. Enligt ett direktiv från utrikesministern prioriterade den det första målet. Jag tror verkligen att det var det ögonblicket som var problemet, säger Hannah Fry, universitetslektor vid University College London och författare till Hello World: How to Be Human in the Age of the Machine . De optimerade för fel sak. Sedan spelar det i princip ingen roll vad algoritmen är – den skulle aldrig bli perfekt.
Det var bara ett spektakulärt misslyckande för fantasin.
Hej Jung Han
Målet formade helt hur Ofqual gick tillväga för att förfölja problemet. Behovet av standardisering åsidosatte allt annat. Regulatorn valde sedan logiskt sett ett av de bästa standardiseringsverktygen, en statistisk modell, för att förutsäga en fördelning av inträdesprovpoäng för 2020 som skulle matcha fördelningen från 2019.
Hade Ofqual valt det andra målet hade det gått helt annorlunda. Det skulle sannolikt ha skrotat algoritmen och arbetat med universiteten för att ändra hur provbetygen viktas i deras antagningsprocesser. Om de bara tittade ett steg förbi sitt omedelbara problem och tittade på vad som är syftet med betyg – att gå på universitet, för att kunna få jobb – kunde de flexibelt ha arbetat med universitet och med arbetsplatser för att säga: 'Hej, i år betyg kommer att se olika ut, vilket innebär att alla viktiga beslut som traditionellt tagits utifrån betyg också måste vara flexibla och måste ändras, säger Han.
Genom att fixera vid den upplevda rättvisa av en algoritmisk lösning, förblindade Ofqual sig själv för de uppenbara orättvisorna i det övergripande systemet. Det finns en inneboende orättvisa i att definiera problemet att förutsäga studentbetyg som om en pandemi inte hade hänt, säger Han. Den ignorerar faktiskt det vi redan vet, nämligen att pandemin avslöjade alla dessa digitala klyftor inom utbildning.
Ofquals misslyckanden är inte unika. I en rapport publicerad förra veckan av Oxford Internet Institute fann forskare att en av de vanligaste fällorna som organisationer hamnar i när de implementerar algoritmer är tron att de kommer att fixa riktigt komplexa strukturella problem. Dessa projekt lämpar sig för ett slags magiskt tänkande, säger Gina Neff, docent vid institutet, som var medförfattare till rapporten. På något sätt kommer algoritmen helt enkelt att tvätta bort all lärares fördomar, tvätta bort alla försök att fuska eller spela systemet.
Jag tror att det är första gången som en hel nation har känt orättvisan i en algoritm samtidigt.
Hannah Fry
Men sanningen är att algoritmer inte kan fixa trasiga system. De ärver bristerna i de system där de är placerade. I det här fallet bar eleverna och deras framtid i slutändan den största skadan. Jag tror att det är första gången som en hel nation har känt orättvisan i en algoritm samtidigt, säger Fry.
Fry, Neff och Han oroar sig alla för att detta inte kommer att vara slutet på algoritmiska misstag. Trots den nya allmänhetens medvetenhet om problemen är det verkligen svårt att designa och implementera rättvisa och fördelaktiga algoritmer.
Icke desto mindre uppmanar de organisationer att göra det bästa av lärdomarna från denna erfarenhet. Återgå först till målet och fundera kritiskt på om det är det rätta. För det andra, utvärdera de strukturella frågor som måste åtgärdas för att uppnå målet. (När regeringen avbröt provet i mars borde det ha varit signalen att komma med en annan strategi för att göra det möjligt för en mycket större ekologi för beslutsfattare att rättvist bedöma elevernas prestationer, säger Neff.)
Slutligen, välj en lösning som är lätt att förstå, implementera och bestrida, särskilt i tider av osäkerhet. I det här fallet, säger Fry, betyder det att man avstår från algoritmen till förmån för lärarförutspådda poäng: jag säger inte att det är perfekt, säger hon, men det är åtminstone ett enkelt och transparent system.