Zkouška Obrat: za algoritmem, který spustil chaos na úrovni A
„Semena politické katastrofy“ zasetá v dopise zaslaném Gavinem Williamsonem jako uzamčení bylo oznámeno v březnu
„Semínka politické katastrofy“ zasetá v dopise zaslaném Gavinem Williamsonem jako uzamčení bylo oznámeno v březnu
Chris J Ratcliffe/Getty Images
Když minulý týden propukl hněv po zveřejnění A-úrovňových známek, premiér Boris Johnson trval na tom, že výsledky jsou robustní, dobré a spolehlivé pro zaměstnavatele.
Ale jen o několik dní později, poté, co Ofqual náhle stáhl kritéria pro přitažlivé známky, byla vláda nucena k trapnému obratu, přičemž výsledky nyní budou založeny na předpovědích učitelů, nikoli na kontroverzním algoritmu.
Automatizovaný systém byl použit ve snaze vyhnout se tomu, co ministr školství Gavin Williamson popsal jako nekontrolovatelnou inflaci stupňů na pozadí pandemie koronaviru a zrušených zkoušek. Ale kdo přišel s algoritmem, který by mohl Williamsona stát práci v kabinetu?
Bezprecedentní okolnosti
Semena politické katastrofy byla zaseta v den, kdy vstoupila v platnost blokáda, když Williamson v dopise Ofqualovi varoval, že prioritou je vyhnout se inflaci. Časy zprávy.
Společnost Ofqual by měla zajistit, pokud je to možné, aby byly zachovány kvalifikační standardy a rozdělení známek mělo podobný profil jako v předchozích letech, řekl Williamson regulačnímu orgánu pro zkoušky.
Jinými slovy, píše se v novinách, navzdory tomu, že žáci neskládali zkoušky, vláda chtěla třídu roku 2020 pojmout jako v předchozích letech. S úrovněmi A se zacházelo jako se „zlatým standardem“ vzdělávacího systému a nesměly být devalvovány.
Ale při pověření regulátora zkoušek, aby uzavřel pojistku ve formě jeho nešťastného algoritmu, zašla tato touha omezit inflaci stupně příliš daleko, dodává BBC .
Co se pokazilo?
Na žádost tajemníka školství se do toho pustili statistici regulátoravymyslet systém rozdávání známekto neumožnilo, aby se výsledky zkoušek zvýšily oproti předchozím letům, vysvětluje Jo-Anne Bairdová, profesorka hodnocení vzdělání na Oxfordské univerzitě a členka poradního výboru Ofqual.
Problém byl v tom, že v případě třídy Covid přišla starost o udržování standardů podle BBC příliš drahá.
Celkem 39 % výsledků A-level zveřejněných minulý čtvrtek bylo sníženo a žáci ve znevýhodněných oblastech byli neúměrně zasaženi nejvíce, říká NS Tech , divize New Statesman.
Algoritmus předpovídal stupně po dodání různých bitů dat.
První byla učitelova předpokládaná známka pro každého studenta na základě jejich výkonu ve třídě a falešných zkoušek, vysvětluje zpravodajský web. To však bylo samo o sobě považováno za nedostatečné, takže učitelé byli také požádáni, aby seřadili každého studenta od nejvyššího po nejnižší z hlediska očekávané známky.
Školy se vrhly na úkol hodnocení, dodává The Times, přičemž vedoucí oddělení vedli schůzky, kde učitelé argumentovali za své žáky.
Ale, říká list, v systému Ofqual byl háček. A zpráva vydané minulý týden regulátorem odhalilo, že známky přidělené učiteli byly upřednostněny pouze ve třídách s méně než 15 studenty - systém, který upřednostňoval soukromé školy s menší velikostí tříd.
Naproti tomu u žáků ve větších školách byly známky mnohem více ovlivněny historickým výkonem školy a hodnocením jejich učitele než jejich předpokládanými známkami, dodává NS Tech.
Tento rozpor je způsoben neúměrným počtem studentů ze škol, které obvykle neposílají žáky na nejlepší britské univerzity, a jejich předpokládané známky se agresivně snižují.
Byl možný spravedlivější systém?
Podle Časy “ vědecký redaktor Tom Whipple, vytvořit férový algoritmus je jako snažit se uvařit vejce – to znamená nemožné.
Problém, píše Whipple, je v tom, že když lidé extrapolují z údajů o populaci, aby dělali předpovědi o jednotlivcích... můžete skončit dělat všemožné neintuitivní, překvapivé a někdy absurdní chyby.
To je to, co se pokazilo u algoritmu založeného tak silně na historických výsledcích školy, tvrdí. Je jasné, že to bude nespravedlivé k výjimečným dětem ve výjimečných školách, zatímco naopak k výjimečným ve výjimečných školách to bude příliš laskavé.
Sam Freedman, generální ředitel nevládní organizace Education Partnerships Group, s tímto verdiktem souhlasí. Algoritmus se nevyhnutelně chystal zasáhnout odlehlé studenty, kteří byli na vrcholu distribuce ve školách, které v minulosti neměly mnoho dobrých výsledků. tweety .
Freedman však dodává, že rozhodnutí vlády používat pouze známky předpokládané učiteli je také nespravedlivé vůči žákům ve školách, kteří známkovali opatrně, nespravedlivé vůči minulým/budoucím kohortám a vytvořili loterii pro místa na univerzitě.
A obrat může pro některé studenty přijít příliš pozdě, protože mnoho univerzit říká, že kurzy na příští akademický rok jsou již plné.
Pokud jde o algoritmus, statistika je z definice způsob, jak reprezentovat mnoho čísel v méně číslech, říká Whipple.
To je nesmírně užitečné, ale musíme vědět, co to znamená: zapomenout na jednotlivce.
