jak analiza danych pomogła odkryć “oszukujących nauczycieli” w szkołach publicznych w Chicago
chciałbym podzielić się z wami ciekawym zastosowaniem analizy danych w odkrywaniu nadużyć, a następnie kilku nauczycieli w szkołach publicznych w Chicago, aby przedstawić ich uczniowie są bardziej kompetentni, aby zwiększyć swoją reputację jako nauczyciele.
jest to prawdziwe wydarzenie z końca lat 90.i jest szczegółowo omówione w słynnej książce Freakonomics Stevena Levitta. To, co mnie zadziwia w tym incydencie, to nie tylko nieskazitelne zastosowanie analizy danych, ale także skrupulatne systematyczne myślenie, które zostało włożone w rozwiązanie problemu.
Chicago Public Schools to ogromny system kształcący ponad 400 tysięcy uczniów rocznie. W latach dziewięćdziesiątych w amerykańskim systemie edukacyjnym debatowano nad nową koncepcją testowania “wysokich stawek”. Testy zostały nazwane wysokimi stawkami, ponieważ zamiast testować uczniów tylko na ich postępach, szkoły są odpowiedzialne za wyniki. System Szkół Publicznych w Chicago objął testy na wysokie stawki w 1996 roku. Zgodnie z nową polityką, szkoła z niskimi wynikami w czytaniu zostałaby zawieszona i zagrożona zamknięciem, zwolnieniem lub przeniesieniem pracowników. CPS zlikwidowało również tzw. promocję społeczną. W przeszłości tylko dramatycznie nieudolny lub trudny uczeń wstrzymywał ocenę. Aby awansować, każdy uczeń trzeciej, szóstej i ósmej klasy musiał uzyskać minimalny wynik na standaryzowanym egzaminie wielokrotnego wyboru, znanym jako Iowa Test of Basic Skills.
chociaż służyło to podniesieniu standardów nauki i zachęceniu uczniów do cięższej nauki, skusiło również uczniów do większego oszukiwania, ponieważ teraz ich awans do następnej klasy był stawką. Dzieci, oczywiście, miały motywację do oszukiwania tak długo, jak były testy. Ale testy “na wysokie stawki” przyniosły jedną radykalną zmianę — stanowiły ogromną zachętę dla nauczycieli do oszukiwania, ponieważ teraz ich osobista ocena i rozwój były bezpośrednio z tym związane. Jeśli jej uczeń wypadnie słabo na teście, nauczyciel nie może być brany pod uwagę do podwyżki lub awansu. Jeśli cała szkoła źle sprawdzi, ich fundusze federalne mogą zostać wstrzymane, a personel zwolniony. Stan Kalifornia w pewnym momencie wprowadził premie w wysokości $25,000 dla nauczycieli, którzy wyprodukowali duże zyski z testów.
gdy pojawiły się podejrzenia o oszukiwanie nauczycieli, pojawiła się potrzeba znalezienia sposobu na odkrycie działań, które mają miejsce wokół szkół.
szkoły publiczne w Chicago udostępniły bazę danych odpowiedzi na testy dla każdego ucznia CPS od trzeciej klasy do siódmej klasy w latach 1993-2000. Wynosi to około 30 000 uczniów na klasę rocznie, ponad 700 000 zestawów odpowiedzi testowych i prawie 100 milionów indywidualnych odpowiedzi. Dane, uporządkowane według klas, obejmowały odpowiedzi każdego ucznia na pytania do czytania i testów matematycznych.
pozwól, że przeprowadzę Cię przez proces analizy danych, który został zastosowany, wykorzystując niektóre fragmenty tych danych.
zastanów się teraz nad odpowiedziami uczniów z dwóch klas szóstych, którzy zdawali identyczny test z matematyki. Każdy poziomy rząd przedstawia odpowiedzi jednego ucznia.
litera A, b, c lub d oznacza poprawną odpowiedź
liczba oznacza błędną odpowiedź, z 1 odpowiadającym a, 2 odpowiadającym b i tak dalej.
zero oznacza odpowiedź, która pozostała pusta.
jedna z tych klas prawie na pewno miała a a druga nie. Spróbuj odróżnić – chociaż ostrzegaj, że nie jest to łatwe gołym okiem.
Klasa B
jeśli zgadliście, że Klasa A była klasą oszukiwania, gratulacje!! Tutaj znowu są ciągi odpowiedzi z klasy A, teraz przekierowane przez komputer, który został poproszony o zastosowanie algorytmu oszustwa i wyszukanie podejrzanych wzorców.
Klasa A (z zastosowanym algorytmem oszustwa)
jak widać po odpowiedziach oznaczonych na Czerwono, algorytm analizy danych zdołał wymyślić bardzo czysty oczywisty wzór — 15 z 22 uczniów podało dokładnie te same 6 kolejnych odpowiedzi poprawnych, co wydaje się więcej niż zbiegiem okoliczności, gdy zapoznali się z następującymi informacjami, które mieli:
- te pytania, Zbliżające się do końca testu, były trudniejsze niż wcześniejsze pytania.
- to była grupa przeciętnych uczniów i bardzo niewielu z nich uzyskało 6 poprawnych odpowiedzi z rzędu gdziekolwiek indziej na teście, co jeszcze bardziej mało prawdopodobne, że uzyskaliby 6 ciągłych odpowiedzi w trudniejszej części testu.
- do tego momentu w teście odpowiedzi piętnastu uczniów były praktycznie nieskorelowane.
- trzech uczniów (wiersze 1, 9 i 12) pozostawiło więcej niż jedną odpowiedź pustą przed podejrzanym ciągiem, a następnie zakończyło test kolejnym ciągiem spacji. Sugeruje to, że długi, nieprzerwany ciąg pustych odpowiedzi został przerwany nie przez ucznia, ale przez nauczyciela.
algorytm odkrył również inny ważny wzór — sześć poprawnych odpowiedzi jest poprzedzonych innym identycznym ciągiem, 3-a-1–2, który zawiera trzy z czterech błędnych odpowiedzi. Na wszystkich piętnastu testach, po sześciu poprawnych odpowiedziach następuje ta sama błędna odpowiedź, a 4. Dlaczego Oszukujący nauczyciel miałby zadawać sobie trud wymazania arkusza egzaminacyjnego ucznia, a następnie wypełnienia błędnej odpowiedzi? Być może jest po prostu strategiczna, zostawiając ślady złych odpowiedzi, aby uniknąć podejrzeń o fałszerstwo.
kolejną oznaką oszukiwania nauczycieli w klasie A jest ogólna wydajność klasy. Jako szóstoklasiści, którzy zdawali test w ósmym miesiącu roku akademickiego, studenci Ci musieli osiągnąć średni wynik 6,8, aby można było uznać go za zgodny z normami krajowymi. (Piątoklasiści przystępujący do testu w ósmym miesiącu roku musieli uzyskać wynik 5,8, siódmoklasiści 7,8 i tak dalej.) Uczniowie w klasie A średnio 5.8 na sprawdzianach szóstoklasisty, czyli na pełnym poziomie niższym niż powinien. To są biedni uczniowie. Rok wcześniej ci uczniowie spisali się jednak jeszcze gorzej, uzyskując średnio 4,1 na testach w piątej klasie. Zamiast poprawić się o jeden pełny punkt między piątą a szóstą klasą, jak można się było spodziewać, poprawili się o 1,7 punktu, czyli o prawie dwie klasy.
to fascynujące, jak logiczne i skrupulatne zastosowanie analizy danych może wydobyć fakty i trendy z ogromnych zbiorów danych w sposób, który nigdy nie byłby możliwy gołym okiem.
oprócz wykrywania oszustów, algorytm mógł również zidentyfikować najlepszych nauczycieli w systemie szkolnym. Wpływ dobrego nauczyciela był prawie tak charakterystyczny jak oszust. zamiast uzyskiwać poprawne losowe odpowiedzi, jej uczniowie wykazywali prawdziwą poprawę w zakresie łatwiejszych typów pytań, które wcześniej przegapili, co wskazywało na rzeczywistą naukę. A uczniowie dobrego nauczyciela przenieśli wszystkie swoje zyski do następnej klasy.
na początku 2002 roku nowy dyrektor Szkoły Publicznej w Chicago, Arne Duncan, chciał przejść przez tę analizę i podjąć pewne działania przeciwko oszukującym nauczycielom. Najlepszym sposobem na pozbycie się oszukujących nauczycieli, Duncan zdecydował, było ponowne zapoznanie się ze standardowym egzaminem. Miał tylko środki, aby ponownie przetestować 120 sal lekcyjnych, więc poprosił twórców algorytmu oszustwa o pomoc w wyborze klas do testowania.
aby wyniki powtórnego testu były przekonujące, wybrano 120 klas do powtórnego testu w taki sposób, że ponad połowa z nich to osoby podejrzewane przez algorytm o oszukiwanie nauczycieli. Pozostali to ci, którzy mieli znakomitych i przeciętnych nauczycieli, którzy nie oszukują.
kiedy przeprowadzono ponowny test, wyniki były tak przekonujące, jak przewidywał algorytm oszustwa. W klasach, w których nie podejrzewano oszustwa, wyniki pozostały takie same, a nawet wzrosły. Natomiast uczniowie klas podejrzewani o oszukiwanie nauczycieli uzyskali znacznie gorsze wyniki niż początkowe “skorygowane” wyniki.
w ten sposób analiza danych, uzupełniona logicznym podejściem do myślenia, pomogła Chicagowskiemu systemowi Szkół Publicznych zebrać wystarczające dowody przeciwko nauczycielom i ich zwolnić, zapewniając tym samym korzyści z improwizacji systemu edukacyjnego.
