hvordan dataanalyse bidro til å avdekke “jukselærerne” I Chicago Offentlige Skoler
jeg vil gjerne dele med deg en interessant anvendelse av dataanalyse i å avdekke malpractices etterfulgt av noen lærere I Chicago Offentlige Skoler for å skildre deres studenter som å være mer kunnskapsrike for å forbedre sitt eget rykte som lærere.
Dette er en sann forekomst av slutten av 90-tallet og er utførlig diskutert i Den berømte boken Freakonomics Av Steven Levitt. Det som forundrer meg om denne hendelsen er ikke bare den ulastelige anvendelsen av dataanalyse, men også den omhyggelige systematiske tenkningen som ble satt inn i å løse problemet.
Chicago Public Schools er et stort system som utdanner mer enn 400 000 studenter i året. I løpet av 1990-tallet ble et nytt konsept for “high-stakes” testing diskutert i DET AMERIKANSKE utdanningssystemet. Testingen ble kalt high-stakes fordi i stedet for bare å teste elevene på deres fremgang, holdes skolene ansvarlige for resultatene. Chicago Public School system omfavnet high-stakes testing i 1996. Under den nye politikken vil en skole med lave lesepoeng bli satt på prøve og møte trusselen om å bli stengt, dets ansatte blir avvist eller omplassert. BARNEVERNET fjernet også det som kalles sosial forfremmelse. Tidligere ble bare en dramatisk uheldig eller vanskelig student holdt tilbake en karakter. Nå, for å bli forfremmet, måtte hver student i tredje, sjette og åttende klasse klare en minimumspoeng på den standardiserte, flervalgseksamen kjent som Iowa Test Of Basic Skills.
selv om det tjente til å heve standarden for læring og stimulere elevene til å studere hardere, fristet det også elevene til å jukse mer som nå, deres forfremmelse til neste klasse var på spill. Barn, selvfølgelig, har hatt incitament til å jukse så lenge det har vært tester. Men” high-stakes ” testing førte til en radikal endring — det ga et stort incitament for lærerne til å jukse som nå var deres personlige evaluering og vekst direkte knyttet til den. Hvis hennes student utfører dårlig på test, kan en lærer ikke bli vurdert for en høyning eller forfremmelse. Hvis hele skolen tester dårlig, kan deres føderale finansiering holdes tilbake og personalet sparket. Staten California på et tidspunkt introduserte bonuser på $ 25,000 for lærere som produserte store test-score gevinster.
som mistanker for juks lærere dukket det var behov for å tenke ut et middel for å avdekke aktivitetene som skjer rundt skolene.
Chicago Public Schools gjorde Tilgjengelig en database med testsvarene for HVER CPS-student fra tredje klasse til syvende klasse fra 1993 til 2000. Dette utgjør omtrent 30.000 studenter per klasse per år, mer enn 700.000 sett med testsvar og nesten 100 millioner individuelle svar. Dataene, organisert av classroom, inkluderte hver elevs spørsmål-for-spørsmål-svarstrenger for lesing og matte tester.
La meg ta deg gjennom dataanalyseprosessen som ble fulgt, ved hjelp av noen utdrag av disse dataene.
Vurder nå svarstrengene fra studentene i To sjette Klasse Chicago klasserom som tok den samme matteprøven. Hver horisontal rad representerer en elevs svar.
bokstaven a, b, c eller d indikerer et riktig svar
et tall indikerer et feil svar, med 1 som svarer til a, 2 som svarer til b, og så videre.
en null representerer et svar som var tomt.
En av disse klasserommene hadde nesten helt sikkert en og den andre ikke. Prøv å fortelle forskjellen – men vær oppmerksom på at det ikke er lett med det blotte øye.
Klasserom B
hvis du gjettet at klasserom a var juks klasserommet, gratulerer!! Her igjen er svaret strenger fra klasserom A, nå omorganisert av en datamaskin som har blitt bedt om å bruke juks algoritmen og oppsøke mistenkelige mønstre.
Klasserom A (med juksalgoritme brukt)
som det kan ses av svarene merket rødt, klarte dataanalysealgoritmen å komme opp med et veldig rent åpenbart mønster — 15 av de 22 studentene har gitt nøyaktig samme 6 påfølgende svar riktig som virker mer enn en tilfeldighet når de ble klumpet med følgende informasjon de hadde:
- Disse spørsmålene, som kom nær slutten av testen, var vanskeligere enn de tidligere spørsmålene.
- dette var en gruppe gjennomsnittlige studenter, og svært få av dem har fått 6 påfølgende riktige svar noe annet sted på testen, noe som gjør det enda mer usannsynlig at de ville få 6 kontinuerlige svar rett i den vanskeligere delen av testen.
- Opp til dette punktet i testen var de femten studentenes svar nesten ukorrelerte.
- Tre av studentene (radnumre 1, 9 og 12) forlot mer enn ett svar tomt før den mistenkelige strengen og avsluttet testen med en annen streng med mellomrom. Dette antyder at en lang, ubrutt streng med tomme svar ble brutt ikke av studenten, men av læreren.
algoritmen avdekket også et annet viktig mønster-seks riktige svar er foran en annen identisk streng, 3-a-1–2, som inkluderer tre av fire feil svar. Og på alle femten tester blir de seks riktige svarene etterfulgt av det samme feil svaret, en 4. Hvorfor i all verden ville en utro lærer gå til bryet med å slette en elevs testark og deretter fylle ut feil svar? Kanskje hun er bare å være strategisk forlate en sti av feil svar for å unngå mistanke om forfalskning.
En annen indikasjon på lærerens juks i klasserom A er klassens generelle ytelse. Som sjette gradere som tok testen i den åttende måneden av studieåret, trengte disse studentene å oppnå en gjennomsnittlig score på 6,8 for å bli vurdert opp til nasjonale standarder. (Femte klassinger tar testen i den åttende måneden av året for å score 5,8, sjuende klassinger 7,8, og så videre.) Elevene i klasserommet I gjennomsnitt 5.8 på deres sjette klasse tester, som er en full klasse nivå under der de skal være. Så klart er disse fattige studenter. Et år tidligere gjorde disse studentene enda verre, i gjennomsnitt bare 4,1 på sine femte klasse tester. I stedet for å forbedre med ett poeng mellom femte og sjette klasse, som forventet, forbedret de med 1,7 poeng, nesten to karakterer verdt.
det er fascinerende hvordan en logisk og grundig anvendelse av dataanalyse kan hente ut fakta og trender fra humongous datasett på en måte som aldri ville være mulig gjennom det blotte øye.
i tillegg til å oppdage bedragere, kan algoritmen også identifisere de beste lærerne i skolesystemet. I Stedet for å få tilfeldige svar riktig, ville elevene vise reell forbedring på de enklere typer spørsmål de tidligere hadde savnet, en indikasjon på faktisk læring. Og en god lærer studenter gjennomført alle sine gevinster inn i neste klasse.
Tidlig i 2002 ønsket Den nye ADMINISTRERENDE DIREKTØREN For Chicago Public Schools, Arne Duncan, å gå gjennom denne analysen og ta noen tiltak mot jukselærerne. Den beste måten Å bli kvitt juks lærere, Duncan hadde bestemt, var å readministrere standardisert eksamen. Han hadde bare ressurser til å teste 120 klasserom, men han spurte skaperne av juksalgoritmen for å hjelpe til med å velge hvilke klasserom som skulle testes.
for å gjøre retestresultatene overbevisende, ble 120 klasserom for retest valgt slik at mer enn halvparten av dem var de som var mistenkt, av algoritmen, for å ha jukselærere. De resterende var de spådd å ha gode til middelmådige ikke-juks lærere.
når retesten ble utført, var resultatene like overbevisende som juksalgoritmen hadde spådd. I klasserommene der ingen juks ble mistenkt, ble poengene omtrent det samme eller til og med rose. Derimot, elevene i klasserommene mistenkt for å ha juks lærere scoret langt verre enn de første “justert” score.
dette er hvordan dataanalyse, supplert med en logisk tenkning tilnærming, hjalp Chicago Public School system samle tilstrekkelig bevis mot og brann lærer lærerne, og dermed gi fordelen av improvisere utdanningssystemet.
