hur dataanalys hjälpte avslöja “fusk lärare” i Chicago offentliga skolor
jag skulle vilja dela med dig en intressant tillämpning av dataanalys för att avslöja felaktigheterna följt av några lärare i Chicago Public Schools att skildra deras elever som mer kunniga för att förbättra sitt eget rykte som lärare.
Detta är en sann förekomst av slutet av 90-talet och diskuteras detaljerat i den berömda boken Freakonomics av Steven Levitt. Det som förvånar mig om denna händelse är inte bara den obefläckade tillämpningen av dataanalys, utan också det noggranna systematiska tänkandet som användes för att lösa problemet.
Chicago Public Schools är ett enormt system som utbildar mer än 400 000 studenter per år. Under 1990-talet diskuterades ett nytt koncept för “high-stakes” – testning i det amerikanska utbildningssystemet. Testningen kallades high-stakes eftersom istället för att bara testa eleverna på deras framsteg hålls skolor ansvariga för resultaten. Chicago Public School-systemet omfamnade tester med höga insatser 1996. Enligt den nya politiken skulle en skola med låga läspoäng placeras på prov och möta hotet om att stängas, dess personal ska avskedas eller omfördelas. CPS gjorde också bort det som kallas social marknadsföring. Tidigare hölls bara en dramatiskt olämplig eller svår student tillbaka en betyg. Nu, för att bli befordrad, varje elev i tredje, sjätte, och åttonde klass var tvungen att hantera en lägsta poäng på den standardiserade, flervalsprov kallas Iowa Test of Basic Skills.
även om det tjänade till att höja normerna för lärande och stimulera eleverna att studera hårdare, frestade det också eleverna att fuska mer som nu, deras befordran till nästa klass var på spel. Barn har naturligtvis haft incitament att fuska så länge det har gjorts tester. Men” high-stakes ” – testning medförde en radikal förändring — det gav ett stort incitament för lärarna att fuska eftersom nu deras personliga utvärdering och tillväxt var direkt kopplade till det. Om hennes elev presterar dåligt på test, en lärare kan inte övervägas för en höjning eller befordran. Om hela skolan testar dåligt kan deras federala finansiering hållas kvar och personalen avskedas. Delstaten Kalifornien införde vid ett tillfälle bonusar på 25 000 dollar för lärare som producerade stora testresultat.
som misstankar för fusk lärare dykt upp fanns det ett behov av att utforma ett sätt att avslöja de aktiviteter som pågår runt skolorna.
Chicago Public Schools gjorde en databas med testsvaren tillgänglig för varje CPS-student från tredje klass till sjunde klass från 1993 till 2000. Detta uppgår till ungefär 30 000 studenter per betyg per år, mer än 700 000 uppsättningar testsvar och nästan 100 miljoner individuella svar. Uppgifterna, organiserade av klassrummet, inkluderade varje elevs fråga-för-fråga svarsträngar för läsning och matematiska tester.
Låt mig ta dig igenom dataanalysprocessen som följdes med några utdrag av dessa data.
Tänk nu svaret strängar från eleverna i två sjätte klass Chicago klassrum som tog samma matteprov. Varje horisontell rad representerar en elevs svar.
bokstaven A, b, c eller d indikerar ett korrekt svar
ett tal indikerar ett felaktigt svar, med 1 motsvarande a, 2 motsvarande b och så vidare.
en noll representerar ett svar som lämnades tomt.
en av dessa klassrum hade nästan säkert en och den andra inte. Försök att berätta skillnaden – även om du varnat för att det inte är lätt med blotta ögat.
klassrum B
om du gissade att klassrum a var fusk klassrummet, grattis!! Här igen är svaret strängar från klassrum A, nu ordnas av en dator som har blivit ombedd att tillämpa fusk algoritmen och söka misstänkta mönster.
klassrum A (med fuskalgoritm tillämpad)
som kan ses av svaren markerade rött, dataanalysalgoritmen lyckades komma med ett mycket rent uppenbart mönster — 15 av de 22 eleverna har gett exakt samma 6 på varandra följande svar korrekta vilket verkar mer än en slump när de klubbades med följande information de hade:
- dessa frågor, som kom nära slutet av testet, var svårare än de tidigare frågorna.
- detta var en grupp genomsnittliga studenter och väldigt få av dem har 6 på varandra följande korrekta svar någon annanstans på testet, vilket gör det ännu mer osannolikt att de skulle få 6 kontinuerliga svar direkt i den hårdare delen av testet.
- fram till denna punkt i testet var de femton elevernas svar praktiskt taget okorrelerade.
- tre av eleverna (radnummer 1, 9 och 12) lämnade mer än ett svar tomt före den misstänkta strängen och avslutade sedan testet med en annan sträng av ämnen. Detta tyder på att en lång, obruten sträng av tomma svar bröts inte av studenten utan av läraren.
algoritmen avslöjade också ett annat viktigt mönster-sex korrekta svar föregås av en annan identisk sträng, 3-a-1–2, som innehåller tre av fyra felaktiga svar. Och på alla femton tester följs de sex korrekta svaren av samma felaktiga svar, a 4. Varför i hela friden skulle en otrogen lärare gå till besväret att radera en elevs testblad och sedan fylla i fel svar? Kanske är hon bara strategisk och lämnar ett spår av felaktiga svar för att undvika misstankar om förfalskning.
en annan indikation på lärarfusk i klassrum A är klassens övergripande prestanda. Som sjätte klassare som tog testet under läsårets åttonde månad behövde dessa studenter uppnå en genomsnittlig poäng på 6,8 för att kunna betraktas upp till nationella standarder. (Femte klassare som tog testet under årets åttonde månad behövde göra 5,8, sjunde klassare 7,8 Och så vidare.) Eleverna i klassrummet a i genomsnitt 5.8 på deras sjätte klass tester, vilket är en fullständig betygsnivå under var de borde vara. Så klart dessa är fattiga studenter. Ett år tidigare gjorde dock dessa studenter ännu värre, i genomsnitt bara 4,1 på sina femte klassprov. I stället för att förbättra med en hel poäng mellan femte och sjätte klass, som förväntat, förbättrades de med 1,7 poäng, nästan två betyg.
dess fascinerande hur en logisk och noggrann tillämpning av dataanalys kan ta fram fakta och trender från humongous datamängder på ett sätt som aldrig skulle vara möjligt med blotta ögat.
förutom att upptäcka fuskare kan algoritmen också identifiera de bästa lärarna i skolsystemet. En bra lärares inverkan var nästan lika distinkt som en fuskare. istället för att få slumpmässiga svar korrekta skulle hennes elever visa verklig förbättring av de enklare typerna av frågor som de tidigare hade missat, en indikation på faktiskt lärande. Och en bra lärares elever överförde alla sina vinster till nästa klass.
i början av 2002 ville den nya VD för Chicago Public Schools, Arne Duncan,gå igenom denna analys och vidta några åtgärder mot fusklärarna. Det bästa sättet att bli av med fusk lärare, Duncan hade beslutat, var att readminister den standardiserade examen. Han hade bara resurser att testa om 120 klassrum, så han bad skaparna av fuskalgoritmen att hjälpa till att välja vilka klassrum som skulle testas.
för att göra retest-resultaten övertygande valdes 120 klassrum för retest så att mer än hälften av dem var de som misstänktes av algoritmen för att ha fusklärare. De återstående var de som förutspåddes ha utmärkta till mediokra icke-fusklärare.
när testet genomfördes var resultaten lika övertygande som fuskalgoritmen hade förutsagt. I klassrummen där ingen fusk misstänktes stannade poängen ungefär samma eller till och med steg. Däremot gjorde eleverna i klassrummen som misstänktes ha fusklärare mycket sämre än de initiala “justerade” poängen.
det här är hur dataanalys, kompletterad med ett logiskt tänkande tillvägagångssätt, hjälpte Chicago Public School system att samla tillräckliga bevis mot och avfyra lärarlärarna, vilket ger fördelen att improvisera utbildningssystemet.
