hvordan dataanalyse hjalp med at afdække” snydelærere ” i Chicago offentlige skoler
jeg vil gerne dele med dig en interessant anvendelse af dataanalyse til at afdække fejlbehandling efterfulgt af et par lærere i Chicago Public Schools for at skildre deres elever som værende mere vidende for at forbedre deres eget omdømme som lærere.
dette er en sand forekomst i slutningen af 90 ‘ erne og diskuteres detaljeret i den berømte bog Freakonomics af Steven Levitt. Det, der forbløffer mig ved denne hændelse, er ikke kun den pletfri anvendelse af dataanalyse, men også den omhyggelige systematiske tænkning, der blev sat i at løse problemet.
Chicago offentlige skoler er et enormt system, der uddanner mere end 400.000 studerende om året. I løbet af 1990 ‘ erne blev et nyt koncept med “high-stakes” – test drøftet i det amerikanske uddannelsessystem. Testen blev kaldt high-stakes, fordi skolerne i stedet for kun at teste eleverne på deres fremskridt holdes ansvarlige for resultaterne. Chicago Public School System omfavnede high-stakes test i 1996. Under den nye politik, en skole med lave læsescore ville blive sat på prøve og står over for truslen om at blive lukket ned, dets personale skal afskediges eller omfordeles. CPS fjernede også det, der kaldes social forfremmelse. I fortiden, kun en dramatisk uduelig eller vanskelig studerende blev holdt tilbage en karakter. Nu, for at blive forfremmet, hver studerende i tredje, sjette, og ottende klasse måtte styre en minimumscore på den standardiserede, multiple-choice eksamen kendt som Iva Test of Basic Skills.
selvom det tjente til at hæve standarderne for læring og tilskynde eleverne til at studere hårdere, fristede det også eleverne til at snyde mere som nu, deres forfremmelse til næste klasse var på spil. Børn har selvfølgelig haft incitamentet til at snyde, så længe der har været test. Men” high-stakes ” – test medførte en radikal ændring-det gav et stort incitament for lærerne til at snyde, da deres personlige evaluering og vækst nu var direkte knyttet til den. Hvis hendes studerende klarer sig dårligt på prøve, en lærer overvejes muligvis ikke til en forhøjelse eller forfremmelse. Hvis hele skolen tester dårligt, kan deres føderale finansiering tilbageholdes, og personalet fyres. Staten Californien indførte på et tidspunkt bonusser på $25.000 for lærere, der producerede store test-score gevinster.
da mistanker for snydelærere dukkede op, var der behov for at udtænke et middel til at afdække de aktiviteter, der foregår omkring skolerne.
Chicago Public Schools stillede en database over testsvarene til rådighed for hver CPS-studerende fra tredje klasse til syvende klasse fra 1993 til 2000. 30.000 studerende pr. klasse om året, mere end 700.000 sæt Testsvar og næsten 100 millioner individuelle svar. Dataene, organiseret af classroom, omfattede hver elevs spørgsmål-for-spørgsmål svarstrenge til læsning og matematikprøver.
Lad mig tage dig gennem dataanalyseprocessen, der blev fulgt, ved hjælp af nogle uddrag af disse data.
overvej nu svarstrengene fra eleverne i to sjette klasse Chicago klasseværelser, der tog den samme matematikprøve. Hver vandret række repræsenterer en elevs svar.
bogstavet A, b, c eller d angiver et korrekt svar
et tal angiver et forkert svar, med 1 svarende til a, 2 svarende til b osv.
et nul repræsenterer et svar, der blev efterladt tomt.
et af disse klasseværelser havde næsten helt sikkert en, og det andet gjorde det ikke. Prøv at fortælle forskellen — selvom vær opmærksom på, at det ikke er let med det blotte øje.
klasseværelse B
hvis du gættede, at klasseværelse A var det snydende klasseværelse, tillykke!! Her er igen svarstrengene fra klasseværelse a, nu omordnet af en computer, der er blevet bedt om at anvende snydalgoritmen og søge mistænkelige mønstre.
klasseværelse A (med snyd algoritme anvendt)
som det kan ses af svarene markeret rødt, dataanalysealgoritmen formåede at komme med et meget rent åbenlyst mønster-15 af 22 studerende har givet nøjagtigt det samme 6 på hinanden følgende Svar korrekte, hvilket synes mere end en tilfældighed, når de blev koblet sammen med følgende oplysninger, de havde:
- disse spørgsmål, kommer nær slutningen af testen, var sværere end de tidligere spørgsmål.
- dette var en gruppe af gennemsnitlige studerende, og meget få af dem har fået 6 på hinanden følgende korrekte svar andre steder på testen, hvilket gør det endnu mere usandsynligt, at de ville få 6 kontinuerlige svar lige i den hårdere del af testen.
- indtil dette punkt i testen var de femten studerendes svar næsten ukorrelerede.
- tre af eleverne (rækkenumre 1, 9 og 12) efterlod mere end et svar tomt før den mistænkelige streng og sluttede derefter testen med en anden streng af emner. Dette tyder på, at en lang, ubrudt streng af tomme svar blev brudt ikke af den studerende, men af læreren.
algoritmen afslørede også et andet vigtigt mønster — seks korrekte svar indledes med en anden identisk streng, 3-a-1–2, som inkluderer tre af fire forkerte svar. Og på alle femten tests, de seks korrekte svar efterfølges af det samme forkerte svar, – en 4. Hvorfor i alverden ville en snydelærer gå i besværet med at slette en studerendes testark og derefter udfylde det forkerte svar? Måske er hun blot strategisk og efterlader et spor af forkerte svar for at undgå mistanke om forfalskning.
en anden indikation af lærer snyd i klasseværelse A er klassens samlede præstation. Som sjette gradere, der tog testen i den ottende måned i det akademiske år, havde disse studerende brug for at opnå en gennemsnitlig score på 6,8 for at blive betragtet som op til nationale standarder. (Femte gradere, der tog testen i den ottende måned af året, var nødvendige for at score 5,8, syvende gradere 7,8 osv.) Eleverne i klasseværelset a gennemsnit 5.8 på deres sjette klasse tests, hvilket er et fuldt niveau under, hvor de skal være. Så klart er disse fattige studerende. Et år tidligere gjorde disse studerende imidlertid endnu værre, i gennemsnit kun 4,1 på deres femte klasse prøver. I stedet for at forbedre med et fuldt point mellem femte og sjette klasse, som man kunne forvente, forbedrede de sig med 1,7 point, næsten to karakterer værd.
det er fascinerende, hvordan en logisk og omhyggelig anvendelse af dataanalyse kan frembringe fakta og tendenser fra humongous datasæt på en måde, der aldrig ville være muligt med det blotte øje.
ud over at opdage snydere kunne algoritmen også identificere de bedste lærere i skolesystemet. En god lærers indflydelse var næsten lige så karakteristisk som en snyder. i stedet for at få tilfældige svar korrekt, ville hendes elever vise reel forbedring af de lettere typer spørgsmål, de tidligere havde savnet, en indikation af faktisk læring. Og en god lærers elever overførte alle deres gevinster til næste klasse.
i begyndelsen af 2002 ønskede den nye administrerende direktør for Chicago Public Schools, Arne Duncan, at gennemgå denne analyse og tage nogle skridt mod de snydende lærere. Den bedste måde at slippe af med snyd lærere, Duncan havde besluttet, var at readminister den standardiserede eksamen. Han havde dog kun ressourcerne til at teste 120 klasseværelser igen, så han bad skaberne af snydealgoritmen om at hjælpe med at vælge, hvilke klasseværelser der skulle testes.
for at gøre retestresultaterne overbevisende blev 120 klasseværelser til retest valgt således, at mere end halvdelen af dem var dem, der af algoritmen blev mistænkt for at have snydelærere. De resterende var dem, der forudsiges at have fremragende til middelmådige ikke-snyd lærere.
da retesten blev udført, var resultaterne lige så overbevisende som snydalgoritmen havde forudsagt. I klasseværelserne, hvor der ikke var mistanke om snyd, forblev scoringer omtrent det samme eller endda steg. I modsætning hertil scorede eleverne i klasseværelserne, der mistænkes for at have snydelærere, langt dårligere end de oprindelige “justerede” scoringer.
sådan hjalp dataanalyse, suppleret med en logisk tænkningstilgang, Chicago Public School system med at samle tilstrækkelige beviser mod og affyre undervisningslærerne og derved give fordelen ved at improvisere uddannelsessystemet.
