Come l’analisi dei dati ha aiutato a scoprire il “barare insegnanti” a Chicago le Scuole Pubbliche
vorrei condividere con voi un’interessante applicazione di analisi di dati per scoprire gli illeciti seguita da un paio di insegnanti nelle Scuole Pubbliche di Chicago, per ritrarre i loro studenti come essere più informati al fine di migliorare la propria reputazione come insegnanti.
Questo è un vero avvenimento della fine degli anni ‘ 90 ed è elaborato discusso nel famoso libro Freakonomics di Steven Levitt. Ciò che mi stupisce di questo incidente non è solo l’applicazione immacolata dell’analisi dei dati, ma anche il meticoloso pensiero sistematico che è stato messo per risolvere il problema.
Le scuole pubbliche di Chicago sono un enorme sistema che istruisce più di 400.000 studenti all’anno. Durante il 1990 un nuovo concetto di test “high-stakes” è stato oggetto di dibattito nel sistema educativo degli Stati Uniti. Il test è stato chiamato high-stakes perché invece di testare solo gli studenti sui loro progressi, le scuole sono ritenute responsabili dei risultati. Il sistema scolastico pubblico di Chicago ha abbracciato i test high-stakes nel 1996. Secondo la nuova politica, una scuola con bassi punteggi di lettura sarebbe posto in libertà vigilata e affrontare la minaccia di essere chiuso, il suo personale per essere licenziato o riassegnato. Il CPS ha anche eliminato ciò che è noto come promozione sociale. In passato, solo uno studente drammaticamente inetto o difficile è stato trattenuto un grado. Ora, per essere promosso, ogni studente in terza, sesta e ottava elementare doveva gestire un punteggio minimo sull’esame standardizzato a scelta multipla noto come Iowa Test of Basic Skills.
Anche se è servito ad aumentare gli standard di apprendimento e incentivare gli studenti a studiare di più, ha anche tentato gli studenti a imbrogliare di più come ora, la loro promozione al grado successivo era in gioco. I bambini, ovviamente, hanno avuto l’incentivo a imbrogliare per tutto il tempo in cui ci sono stati test. Ma i test “high-stakes” hanno portato a un cambiamento radicale: hanno fornito un enorme incentivo agli insegnanti a imbrogliare poiché ora la loro valutazione personale e la loro crescita erano direttamente collegate ad esso. Se il suo studente esegue male sul test, un insegnante non può essere considerato per un aumento o una promozione. Se l’intera scuola mette alla prova male il loro finanziamento federale può essere trattenuto e il personale licenziato. Lo stato della California a un certo punto ha introdotto bonus di $25.000 per gli insegnanti che hanno prodotto grandi guadagni di test-score.
Come sospetti per imbrogliare gli insegnanti emerso c’era la necessità di escogitare un mezzo per scoprire le attività in corso intorno alle scuole.
Le scuole pubbliche di Chicago hanno reso disponibile un database delle risposte ai test per ogni studente CPS dalla terza elementare alla settima elementare dal 1993 al 2000. Ciò equivale a circa 30.000 studenti per grado all’anno, più di 700.000 serie di risposte di prova e quasi 100 milioni di risposte individuali. I dati, organizzati per classe, includevano le stringhe di risposta domanda per domanda di ogni studente per i test di lettura e matematica.
Lasciate che vi porti attraverso il processo di analisi dei dati che è stato seguito, utilizzando alcuni estratti di questi dati.
Considera ora le stringhe di risposta degli studenti in due classi di Chicago di sesto grado che hanno sostenuto l’identico test di matematica. Ogni riga orizzontale rappresenta le risposte di uno studente.
La lettera a, b, c o d indica una risposta corretta
Un numero indica una risposta sbagliata, con 1 corrispondente a a, 2 corrispondente a b e così via.
Uno zero rappresenta una risposta che è stata lasciata vuota.
Una di queste aule aveva quasi certamente una e l’altra no. Cercate di capire la differenza — anche se essere avvertiti che non è facile ad occhio nudo.
Aula B
Se avete indovinato che la classe A è stata la truffa classe, complimenti!! Anche qui ci sono le stringhe di risposta dell’aula A, ora riordinate da un computer a cui è stato chiesto di applicare l’algoritmo di cheating e cercare modelli sospetti.
Classe A (con barare algoritmo applicato)
Come si può vedere dalle risposte contrassegnate in rosso, l’analisi dei dati algoritmo riuscito a venire con un molto pulito motivo evidente — 15 di 22 studenti hanno dato esattamente la stessa per più di 6 consecutivi risposte corrette che sembra più di una coincidenza quando bastonato con le seguenti informazioni:
- a Queste domande,arrivando quasi alla fine del test, sono più difficili rispetto alle precedenti domande.
- Questo era un gruppo di studenti medi e pochissimi di loro hanno ottenuto 6 risposte corrette consecutive in qualsiasi altro luogo del test, rendendo ancora più improbabile che avrebbero ottenuto 6 risposte continue proprio nella parte più difficile del test.
- Fino a questo punto del test, le risposte dei quindici studenti erano praticamente non correlate.
- Tre degli studenti (numeri di riga 1, 9 e 12) hanno lasciato più di una risposta vuota prima della stringa sospetta e quindi hanno concluso il test con un’altra stringa di spazi vuoti. Ciò suggerisce che una lunga stringa ininterrotta di risposte vuote non è stata interrotta dallo studente ma dall’insegnante.
L’algoritmo ha anche scoperto un altro modello importante: sei risposte corrette sono precedute da un’altra stringa identica, 3 — a-1-2, che include tre delle quattro risposte errate. E su tutti i quindici test, le sei risposte corrette sono seguite dalla stessa risposta errata, a 4. Perché mai un insegnante imbroglione dovrebbe prendersi la briga di cancellare il foglio di prova di uno studente e poi compilare la risposta sbagliata? Forse è semplicemente strategica lasciando una scia di risposte sbagliate per evitare sospetti di falsificazione.
Un’altra indicazione di insegnante barare in classe A è la prestazione complessiva della classe. Come alunni di sesta elementare che stavano prendendo il test nell’ottavo mese dell’anno accademico, questi studenti dovevano raggiungere un punteggio medio di 6.8 per essere considerati all’altezza degli standard nazionali. (Quinta elementare prendendo il test nell’ottavo mese dell’anno necessario per segnare 5.8, settimo elementare 7.8, e così via.) Gli studenti in classe A in media 5.8 sui loro test di sesto grado, che è un livello di grado completo al di sotto di dove dovrebbero essere. Così chiaramente questi sono studenti poveri. Un anno prima, tuttavia, questi studenti hanno fatto ancora peggio, con una media di soli 4,1 nei loro test di quinta elementare. Invece di migliorare di un punto pieno tra quinto e sesto grado, come ci si aspetterebbe, hanno migliorato di 1,7 punti, vale quasi due gradi.
È affascinante come un’applicazione logica e meticolosa dell’analisi dei dati possa far emergere fatti e tendenze da enormi set di dati in un modo che non sarebbe mai possibile ad occhio nudo.
Oltre a rilevare imbroglioni, l’algoritmo potrebbe anche identificare i migliori insegnanti nel sistema scolastico. L’impatto di un buon insegnante era quasi distintivo come quello di un imbroglione. Invece di ottenere risposte casuali corrette, i suoi studenti mostravano un reale miglioramento sui tipi più semplici di domande che avevano precedentemente perso, un’indicazione dell’apprendimento effettivo. E gli studenti di un buon insegnante hanno riportato tutti i loro guadagni nella classe successiva.
All’inizio del 2002, il nuovo CEO delle scuole pubbliche di Chicago, Arne Duncan,ha voluto passare attraverso questa analisi e prendere qualche azione contro gli insegnanti barare. Il modo migliore per sbarazzarsi di insegnanti barare, Duncan aveva deciso, era quello di reimminister l’esame standardizzato. Aveva solo le risorse per ripetere il test 120 aule, tuttavia, così ha chiesto ai creatori dell’algoritmo cheating di aiutare a scegliere quali aule testare.
Per rendere convincenti i risultati del test di ripetizione, sono state scelte 120 aule per il test di ripetizione in modo tale che più della metà di esse erano sospettate, dall’algoritmo, di avere insegnanti imbroglioni. I restanti erano quelli previsti per avere insegnanti eccellenti e mediocri non traditori.
Quando è stato condotto il nuovo test, i risultati sono stati convincenti come l’algoritmo di cheating aveva previsto. Nelle aule in cui non si sospettava alcun imbroglio, i punteggi sono rimasti quasi uguali o addirittura aumentati. Al contrario, gli studenti delle aule sospettati di avere insegnanti imbrogliati hanno segnato molto peggio dei punteggi iniziali “aggiustati”.
Questo è il modo in cui l’analisi dei dati, completata da un approccio di pensiero logico, ha aiutato il sistema scolastico pubblico di Chicago a raccogliere prove sufficienti contro e licenziare gli insegnanti, fornendo così il vantaggio di improvvisare il sistema educativo.
