Jak dat analýza pomohla odhalit “podvádění učitelů” v Chicagu Veřejných Školách
rád bych se s vámi podělit o zajímavou aplikací, analýzu dat v odhalování nekalých praktik následuje několik učitelů v Chicagu Veřejných Školách vylíčit jejich studenti jsou více informovaní, aby si vylepšili svou vlastní pověst učitelů.
toto je skutečný výskyt konce 90. let a je komplikovaně diskutován ve slavné knize Freakonomics Stevena Levitta. Co mě na tomto incidentu udivuje, je nejen neposkvrněná aplikace analýzy dat, ale také pečlivé systematické myšlení, které bylo vloženo do řešení problému.
Chicago veřejné školy je obrovský systém vzdělávat více než 400,000 studentů ročně. Během 1990s nový koncept” high-stakes ” testování byl diskutován v americkém vzdělávacím systému. Testování bylo tzv. high-stakes, protože místo pouze testování studentů na jejich pokrok, školy jsou zodpovědní za výsledky. Chicago Public School system přijal high-stakes testování v 1996. Podle nové politiky, škola s nízkým skóre čtení by byla umístěna ve zkušební době a čelila hrozbě uzavření, její zaměstnanci budou propuštěni nebo přeřazeni. Státní zastupitelství se také zbavilo toho, co je známé jako sociální propagace. V minulosti byl známku zadržen pouze dramaticky nešikovný nebo obtížný student. Nyní, aby byl povýšen, každý student ve třetím, šestý, a osmá třída musela zvládnout minimální skóre na standardizovaném, zkouška s výběrem z více možností známá jako Iowa Test základních dovedností.
i když to podává zvýšit úroveň vzdělávání a motivovat studenty ke studiu těžší, ale také v pokušení studentů podvádět více jako nyní, jejich povýšení na další stupeň byl na kůlu. Děti samozřejmě měly motivaci podvádět tak dlouho, dokud byly testy. Testování” high-stakes ” však přineslo jednu radikální změnu — poskytlo učitelům obrovskou motivaci podvádět, protože s tím nyní přímo souvisí jejich osobní hodnocení a růst. Pokud její student provádí špatně na zkoušku, učitel nemusí být považován za zvýšení nebo povýšení. Pokud celá škola špatně testuje, může být jejich federální financování zadrženo a zaměstnanci propuštěni. Stát Kalifornie v jednu chvíli zavedl bonusy ve výši $ 25,000 pro učitele, kteří produkovali velké zisky z testů.
Jako podezření na podvádění učitelů vynořil bylo potřeba vymyslet způsob, jak odhalit činnosti, děje kolem školy.
Chicago veřejné školy zpřístupnily databázi testových odpovědí pro každého studenta CPS od třetí třídy do sedmé třídy od roku 1993 do roku 2000. To představuje zhruba 30 000 studentů na třídu ročně, více než 700 000 sad testových odpovědí a téměř 100 milionů individuálních odpovědí. Data, organizovaná podle učebny, zahrnovaly řetězce odpovědí každého studenta na otázky po otázkách pro čtení a matematické testy.
dovolte mi, abych vás provedl procesem analýzy dat, který byl následován, pomocí některých výňatků z těchto dat.
zvažte nyní řetězce odpovědí od studentů ve dvou šestých třídách v Chicagu, kteří absolvovali stejný matematický test. Každý horizontální řádek představuje odpovědi jednoho studenta.
písmeno a, b, c nebo d označuje správnou odpověď,
číslo indikuje špatnou odpověď, s 1 odpovídající, 2 odpovídající b, a tak dále.
nula představuje odpověď, která zůstala prázdná.
jedna z těchto tříd téměř jistě měla a druhá ne. Pokuste se zjistit rozdíl – i když buďte varováni, že to není snadné pouhým okem.
Učebna B
Pokud jste uhodl, že ve třídě byl podvádění ve třídě, gratulujeme!! Zde jsou opět řetězce odpovědí z učebny a, nyní přeskupené počítačem, který byl požádán o použití algoritmu podvádění a hledání podezřelých vzorců.
Třídě A (s podvádění algoritmus aplikován)
Jak je patrné z odpovědi označeny červeně, analýza dat algoritmus podařilo přijít s velmi čistým vzor — 15 z 22 studentů vzhledem k přesně stejné 6 po sobě jdoucích správné odpovědi, která se zdá být více než náhoda, když udeřen s následující informace měli:
- Tyto otázky,blíží se konec testu, byly těžší než dřívější otázky.
- To byla skupina průměrné studenty a velmi málo z nich má 6 po sobě jdoucích správné odpovědi, které nikde jinde na test, což je ještě více nepravděpodobné, že by si 6 kontinuální odpovědi přímo v těžší část zkoušky.
- až do tohoto bodu testu byly odpovědi patnácti studentů prakticky nekorelované.
- Tři studenti (řádku čísla 1, 9 a 12), vlevo více než jednu odpověď prázdné, než podezřelé řetězce, a pak skončil test s jinou řetězec polotovarů. To naznačuje, že dlouhý, nepřerušený řetězec prázdných odpovědí nebyl přerušen studentem, ale učitelem.
algoritmus také odhalil další důležitý vzorec-šesti správným odpovědím předchází další identický řetězec, 3-a-1-2, který obsahuje tři ze čtyř nesprávných odpovědí. A na všech patnácti testech, po šesti správných odpovědích následuje stejná nesprávná odpověď, a 4. Proč by se na zemi podvádějící učitel dostal do potíží s vymazáním zkušebního listu studenta a vyplněním špatné odpovědi? Možná jen strategicky zanechává stopu špatných odpovědí, aby se vyhnula podezření z padělání.
další známkou podvádění učitelů ve třídě A je celkový výkon třídy. Jako šesťáci, kteří byli při testu v osmém měsíci akademického roku, tito studenti potřebovali, aby se dosáhlo průměrné skóre 6.8 být považován až do národní normy. (Páťáci při testu v osmém měsíci roku zapotřebí, aby skóre 5.8, sedmáci 7.8, a tak dále.) Studenti ve třídě a průměrně 5.8 na jejich testy šesté třídy, což je úroveň plného stupně pod tam, kde by měly být. Takže to jsou chudí studenti. O rok dříve si však tito žáci vedli ještě hůř, v průměru jich na testech pátých tříd bylo jen 4,1. Místo zlepšení o jeden celý bod mezi páté a šesté třídě, jak by se dalo očekávat, se zlepšila o 1,7 bodu, téměř o dva stupně.
je fascinující, jak logická a pečlivá aplikace analýzy dat může přinést fakta a trendy z humongous datových sad způsobem, který by nikdy nebyl možný pouhým okem.
kromě detekce podvodníků by algoritmus mohl také identifikovat nejlepší učitele ve školním systému. Dobrý učitel je dopad byl téměř stejně výrazný jako podvodník. Místo toho, aby náhodné odpovědi správné, její studenty by ukázat skutečné zlepšení na jednodušší typy otázek, které již dříve uniklo, údaj o skutečné učení. A studenti dobrého učitele přenesli všechny své zisky do další třídy.
na začátku roku 2002 chtěl nový generální ředitel Chicagských veřejných škol Arne Duncan projít touto analýzou a podniknout nějaké kroky proti podvádění učitelů. Nejlepší způsob, jak se zbavit podvádění učitelů, rozhodl se Duncan, bylo znovu sestavit standardizovanou zkoušku. Měl však pouze prostředky na opakování 120 učeben, a tak požádal tvůrce podváděcího algoritmu, aby pomohli vybrat, které učebny testovat.
aby znovu otestovat výsledky přesvědčivé, 120 učebny pro přezkoušení byly vybrány takové, že více než polovina z nich byly osoby podezřelé, algoritmus, že podvádění učitelů. Zbývající byli ti, o nichž se předpokládalo, že mají vynikající až průměrné nepodvádějící učitele.
když byl proveden opakovaný test, výsledky byly stejně přesvědčivé, jak předpovídal algoritmus podvádění. Ve třídách, kde nebylo podezření na podvádění, skóre zůstalo stejné nebo dokonce vzrostlo. V kontrastu, studenti ze tříd je podezřelý z podvádění učitelů zaznamenal mnohem horší, než původní “upravené” výsledky.
to je To, jak analýza dat, doplněné o logické myšlení, přístup, pomohl Chicagu systém Veřejných Škol shromáždit dostatek důkazů proti a oheň výuku učitelů, čímž poskytuje ve prospěch improvizace vzdělávací systém.
