cum analiza datelor a ajutat la descoperirea “profesorilor înșelători” din școlile publice din Chicago
aș dori să împărtășesc cu voi o aplicație interesantă de analiză a datelor în descoperirea malpraxis, urmată de câțiva profesori din școlile publice din Chicago pentru a portretiza elevii lor ca fiind mai informați pentru a-și spori propria reputație de profesori.
aceasta este o adevărată întâmplare de la sfârșitul anilor ‘ 90 și este discutată în mod elaborat în faimoasa carte Freakonomics de Steven Levitt. Ceea ce mă uimește la acest incident nu este doar aplicarea imaculată a analizei datelor, ci și gândirea sistematică meticuloasă care a fost pusă în rezolvarea problemei.
școlile publice din Chicago este un sistem imens care educă peste 400.000 de elevi pe an. În anii 1990, un nou concept de testare “cu miză mare” a fost dezbătut în sistemul educațional din SUA. Testarea a fost numită miză mare, deoarece în loc să testeze doar elevii cu privire la progresul lor, școlile sunt trase la răspundere pentru rezultate. Sistemul școlar public din Chicago a îmbrățișat testarea pe mize mari în 1996. Conform noii politici, o școală cu scoruri scăzute de lectură ar fi pusă în probă și se va confrunta cu amenințarea de a fi închisă, personalul său urmând să fie demis sau realocat. CPS a eliminat, de asemenea, ceea ce este cunoscut sub numele de promovare socială. În trecut, doar un student dramatic inept sau dificil a fost reținut. Acum, pentru a fi promovat, fiecare elev din clasa a treia, a șasea și a opta a trebuit să gestioneze un scor minim la examenul standardizat, cu alegere multiplă, cunoscut sub numele de testul Iowa al abilităților de bază.
deși a servit pentru a ridica standardele de învățare și de a stimula elevii să studieze mai greu, de asemenea, tentat elevii să trișeze mai mult ca acum, promovarea lor la clasa următoare a fost în joc. Copiii, desigur, au avut motivația de a înșela atâta timp cât au existat teste. Dar testarea “pe mize mari” a adus o schimbare radicală — a oferit un stimulent imens profesorilor să trișeze, deoarece acum evaluarea și creșterea lor personală au fost direct legate de aceasta. Dacă elevul ei are performanțe slabe la test, un profesor nu poate fi luat în considerare pentru o mărire sau promovare. Dacă întreaga școală testează prost finanțarea lor Federală poate fi reținută și personalul concediat. Statul California a introdus la un moment dat bonusuri de 25.000 de dolari pentru profesorii care au produs câștiguri mari la scor.
pe măsură ce suspiciunile pentru înșelarea profesorilor au apărut, a fost nevoie să se elaboreze un mijloc de a descoperi activitățile care se desfășoară în jurul școlilor.
școlile publice din Chicago au pus la dispoziție o bază de date cu răspunsurile la test pentru fiecare elev CPS din clasa a treia până în clasa a șaptea din 1993 până în 2000. Aceasta se ridică la aproximativ 30.000 de studenți pe clasă pe an, peste 700.000 de seturi de răspunsuri la teste și aproape 100 de milioane de răspunsuri individuale. Datele, organizate de clasă, au inclus șiruri de răspunsuri la întrebări cu întrebări ale fiecărui elev pentru teste de citire și matematică.
permiteți-mi să vă duc prin procesul de analiză a datelor care a fost urmat, folosind câteva fragmente din aceste date.
luați în considerare acum șirurile de răspunsuri ale elevilor din două clase din clasa a șasea din Chicago care au susținut testul de matematică identic. Fiecare rând orizontal reprezintă răspunsurile unui student.
litera A, b, c sau d indică un răspuns corect
un număr indică un răspuns greșit, 1 corespunzând lui a, 2 corespunzând lui b și așa mai departe.
un zero reprezintă un răspuns care a fost lăsat necompletat.
una dintre aceste săli de clasă avea aproape sigur a, iar cealaltă nu. Încercați să spuneți diferența-deși fiți avertizați că nu este ușor cu ochiul liber.
Clasa B
dacă ați ghicit că clasa A a fost clasa de înșelăciune, Felicitări!! Iată din nou șirurile de răspuns din clasa A, Acum reordonate de un computer căruia i s-a cerut să aplice algoritmul de înșelăciune și să caute modele suspecte.
Clasa A (cu algoritmul de înșelăciune aplicat)
după cum se poate observa prin răspunsurile marcate cu roșu, algoritmul de analiză a datelor a reușit să vină cu un model evident foarte curat — 15 din cei 22 de studenți au dat exact aceleași 6 răspunsuri consecutive corecte, ceea ce pare mai mult decât o coincidență atunci când au fost înghesuiți cu următoarele informații pe care le-au avut:
- aceste întrebări, care se apropiau de sfârșitul testului, au fost mai grele decât întrebările anterioare.
- acesta a fost un grup de elevi medii și foarte puțini dintre ei au primit 6 răspunsuri corecte consecutive oriunde altundeva la test, ceea ce face și mai puțin probabil ca ei să primească 6 răspunsuri continue chiar în partea mai grea a testului.
- până la acest punct al testului, răspunsurile celor cincisprezece studenți au fost practic necorelate.
- trei dintre elevi (numerele rândurilor 1, 9 și 12) au lăsat mai mult de un răspuns necompletat înainte de șirul suspect și apoi au încheiat testul cu un alt șir de goluri. Acest lucru sugerează că un șir lung și neîntrerupt de răspunsuri goale a fost rupt nu de student, ci de profesor.
algoritmul a descoperit, de asemenea, un alt model important — șase răspunsuri corecte sunt precedate de un alt șir identic, 3-a-1–2, care include trei din cele patru răspunsuri incorecte. Și la toate cele cincisprezece Teste, cele șase răspunsuri corecte sunt urmate de același răspuns incorect, a 4. De ce un profesor înșelător s-ar chinui să șteargă fișa de testare a unui student și apoi să completeze răspunsul greșit? Poate că este doar strategică lăsând o urmă de răspunsuri greșite pentru a evita suspiciunile de fals.
o altă indicație a înșelăciunii profesorilor în clasa A este performanța generală a clasei. În calitate de elevi de clasa a șasea care susțineau testul în luna a opta a anului universitar, acești studenți trebuiau să obțină un scor mediu de 6,8 pentru a fi considerați la standardele naționale. (Elevii de clasa a cincea care susțin testul în luna a opta a anului trebuiau să înscrie 5,8, elevii de clasa a șaptea 7,8 și așa mai departe.) Elevii din clasă o medie 5.8 la testele lor de clasa a șasea, care este un nivel de grad complet sub locul în care ar trebui să fie. În mod clar, aceștia sunt studenți săraci. Cu un an mai devreme, însă, acești studenți s-au descurcat și mai rău, cu o medie de doar 4,1 la testele de clasa a cincea. În loc să se îmbunătățească cu un punct complet între clasa a cincea și a șasea, așa cum ar fi de așteptat, s-au îmbunătățit cu 1,7 puncte, în valoare de aproape două clase.
este fascinant modul în care o aplicație logică și meticuloasă a analizei datelor poate scoate la iveală fapte și tendințe din seturi de date uriașe într-un mod care nu ar fi niciodată posibil cu ochiul liber.
pe lângă detectarea trișorilor, algoritmul ar putea identifica și cei mai buni profesori din sistemul școlar. Impactul unui profesor bun a fost aproape la fel de distinctiv ca al unui trișor. în loc să obțină răspunsuri aleatorii corecte, elevii ei ar arăta o îmbunătățire reală a tipurilor mai ușoare de întrebări pe care le-au ratat anterior, o indicație a învățării reale. Și elevii unui profesor bun și-au dus toate câștigurile în clasa următoare.
la începutul anului 2002, noul CEO al școlilor publice din Chicago, Arne Duncan,a vrut să treacă prin această analiză și să ia măsuri împotriva profesorilor înșelători. Cel mai bun mod de a scăpa de profesorii înșelători, hotărâse Duncan, era să readministreze examenul standardizat. Cu toate acestea, el a avut resursele necesare pentru a retesta 120 de săli de clasă, așa că a cerut creatorilor algoritmului de înșelăciune să ajute la alegerea sălilor de clasă pe care să le testeze.
pentru a face rezultatele retestării convingătoare, 120 de săli de clasă pentru retestare au fost alese astfel încât mai mult de jumătate dintre ele au fost suspectate, prin algoritm, de a avea profesori înșelători. Restul au fost cei preziși să aibă profesori excelenți până la mediocri care nu înșeală.
când a fost efectuată retestarea, rezultatele au fost la fel de convingătoare pe cât a prezis algoritmul de înșelăciune. În sălile de clasă în care nu a fost suspectată nicio înșelăciune, scorurile au rămas cam la fel sau chiar au crescut. În schimb, elevii din sălile de clasă suspectați că au profesori înșelători au obținut scoruri mult mai slabe decât scorurile inițiale “ajustate”.
acesta este modul în care analiza datelor, completată de o abordare de gândire logică, a ajutat sistemul școlar public din Chicago să adune suficiente dovezi împotriva și să concedieze profesorii de predare, oferind astfel beneficiul improvizării sistemului educațional.
