Wie die Datenanalyse dazu beitrug, die “betrügerischen Lehrer” an öffentlichen Schulen in Chicago aufzudecken
Ich möchte mit Ihnen eine interessante Anwendung der Datenanalyse bei der Aufdeckung der Missstände teilen, gefolgt von einigen Lehrern an den öffentlichen Schulen in Chicago, um sie darzustellen ihre Schüler als sachkundiger, um ihren eigenen Ruf als Lehrer zu verbessern.
Dies ist ein wahres Ereignis der späten 90er Jahre und wird ausführlich in dem berühmten Buch Freakonomics von Steven Levitt diskutiert. Was mich an diesem Vorfall erstaunt, ist nicht nur die makellose Anwendung der Datenanalyse, sondern auch das akribische systematische Denken, das in die Lösung des Problems gesteckt wurde.
Chicago Public Schools ist ein riesiges System, das jährlich mehr als 400.000 Schüler ausbildet. In den 1990er Jahren wurde im US-Bildungssystem ein neues Konzept von “High-Stakes” -Tests diskutiert. Die Tests wurden als High-Stakes bezeichnet, da die Schulen nicht nur die Schüler auf ihren Fortschritt testen, sondern auch für die Ergebnisse verantwortlich gemacht werden. Das Chicago Public School System umarmte High-Stakes-Tests im Jahr 1996. Nach der neuen Richtlinie würde eine Schule mit niedrigen Lesewerten auf Bewährung gestellt und der Gefahr ausgesetzt, geschlossen zu werden, ihre Mitarbeiter zu entlassen oder neu zuzuweisen. Die CPS hat auch das, was als soziale Förderung bekannt ist, abgeschafft. In der Vergangenheit wurde nur einem dramatisch unfähigen oder schwierigen Schüler eine Note verweigert. Um befördert zu werden, musste jeder Schüler der dritten, sechsten und achten Klasse eine Mindestpunktzahl für die standardisierte Multiple-Choice-Prüfung erreichen, die als Iowa Test of Basic Skills bekannt ist.
Obwohl es dazu diente, die Lernstandards zu erhöhen und Anreize für die Schüler zu schaffen, härter zu lernen, verleitete es die Schüler auch, mehr zu schummeln, da jetzt ihre Beförderung in die nächste Klasse auf dem Spiel stand. Kinder hatten natürlich den Anreiz zu betrügen, solange es Tests gab. Aber “High-Stakes” -Tests brachten eine radikale Veränderung mit sich – sie boten den Lehrern einen großen Anreiz zu schummeln, da jetzt ihre persönliche Bewertung und ihr Wachstum direkt damit verbunden waren. Wenn ihr Schüler beim Test schlecht abschneidet, Ein Lehrer kann möglicherweise nicht für eine Gehaltserhöhung oder Beförderung in Betracht gezogen werden. Wenn die gesamte Schule schlecht testet, kann ihre Bundesfinanzierung einbehalten und das Personal entlassen werden. Der Bundesstaat Kalifornien führte an einer Stelle Boni von 25.000 US-Dollar für Lehrer ein, die große Testergebnisse erzielten.
Als der Verdacht aufkam, Lehrer betrogen zu haben, musste ein Mittel gefunden werden, um die Aktivitäten rund um die Schulen aufzudecken.
Die Chicago Public Schools stellten von 1993 bis 2000 eine Datenbank mit den Testantworten für jeden CPS-Schüler von der dritten bis zur siebten Klasse zur Verfügung. Dies entspricht ungefähr 30.000 Schülern pro Klasse und Jahr, mehr als 700.000 Testantworten und fast 100 Millionen Einzelantworten. Die nach Klassenzimmern geordneten Daten enthielten die Frage-für-Frage-Antwortzeichenfolgen jedes Schülers für Lese- und Mathematiktests.
Lassen Sie mich Sie durch den folgenden Datenanalyseprozess führen und einige Auszüge aus diesen Daten verwenden.
Betrachten Sie nun die Antwortfolgen der Schüler in zwei Klassenzimmern der sechsten Klasse in Chicago, die den identischen Mathematiktest abgelegt haben. Jede horizontale Reihe repräsentiert die Antworten eines Schülers.
Der Buchstabe a, b, c oder d zeigt eine richtige Antwort an
Eine Zahl zeigt eine falsche Antwort an, wobei 1 a entspricht, 2 b entspricht und so weiter.
Eine Null steht für eine Antwort, die leer gelassen wurde.
Eines dieser Klassenzimmer hatte mit ziemlicher Sicherheit ein und das andere nicht. Versuchen Sie, den Unterschied zu erkennen — seien Sie jedoch gewarnt, dass es mit bloßem Auge nicht einfach ist.
Klassenzimmer B
Wenn Sie vermutet haben, dass Klassenzimmer A das betrügerische Klassenzimmer war, herzlichen Glückwunsch!! Hier sind wieder die Antwortzeichenfolgen aus Klasse A, die jetzt von einem Computer neu angeordnet wurden, der aufgefordert wurde, den Betrugsalgorithmus anzuwenden und verdächtige Muster zu suchen.
Klasse A (mit angewendetem Betrugsalgorithmus)
Wie aus den rot markierten Antworten hervorgeht, Der Datenanalysealgorithmus hat ein sehr klares offensichtliches Muster gefunden – 15 des 22 Studenten haben genau das gleiche gegeben 6 aufeinanderfolgende Antworten richtig, was mehr als ein Zufall zu sein scheint, wenn sie mit den folgenden Informationen geschlagen werden, die sie hatten:
- Diese Fragen,die sich dem Ende des Tests näherten, waren schwieriger als die früheren Fragen.
- Dies war eine Gruppe von durchschnittlichen Schülern und nur sehr wenige von ihnen haben 6 aufeinanderfolgende richtige Antworten irgendwo anders im Test erhalten, was es noch unwahrscheinlicher macht, dass sie 6 kontinuierliche Antworten direkt im schwierigeren Teil des Tests erhalten würden.
- Bis zu diesem Zeitpunkt des Tests waren die Antworten der fünfzehn Schüler praktisch nicht korreliert.
- Drei der Schüler (Zeilennummern 1, 9 und 12) ließen mehr als eine Antwort vor der verdächtigen Zeichenfolge leer und beendeten den Test mit einer weiteren Zeichenfolge von Leerzeichen. Dies deutet darauf hin, dass eine lange, ununterbrochene Reihe leerer Antworten nicht vom Schüler, sondern vom Lehrer gebrochen wurde.
Der Algorithmus deckte auch ein weiteres wichtiges Muster auf – sechs richtigen Antworten geht eine weitere identische Zeichenfolge voraus, 3-a–1-2, die drei von vier falschen Antworten enthält. Und auf alle fünfzehn Tests, Auf die sechs richtigen Antworten folgt dieselbe falsche Antwort, ein 4. Warum um alles in der Welt würde sich ein betrügerischer Lehrer die Mühe machen, das Testblatt eines Schülers zu löschen und dann die falsche Antwort einzugeben? Vielleicht ist sie nur strategisch und hinterlässt eine Spur falscher Antworten, um den Verdacht auf Fälschung zu vermeiden.
Ein weiterer Hinweis darauf, dass Lehrer in Klasse A schummeln, ist die Gesamtleistung der Klasse. Als Sechstklässler, die den Test im achten Monat des akademischen Jahres absolvierten, mussten diese Schüler eine durchschnittliche Punktzahl von 6,8 erreichen, um den nationalen Standards gerecht zu werden. (Fünftklässler, die den Test im achten Monat des Jahres absolvierten, mussten 5,8, Siebtklässler 7,8 usw. erzielen.) Die Schüler in Klasse A durchschnittlich 5.8 auf ihren Tests der sechsten Klasse, Das ist eine volle Klassenstufe darunter, wo sie sein sollten. Das sind eindeutig arme Studenten. Ein Jahr zuvor schnitten diese Schüler jedoch noch schlechter ab und erzielten bei ihren Tests der fünften Klasse durchschnittlich nur 4,1. Anstatt sich erwartungsgemäß zwischen der fünften und sechsten Klasse um einen vollen Punkt zu verbessern, verbesserten sie sich um 1,7 Punkte, fast zwei Noten.
Es ist faszinierend, wie eine logische und sorgfältige Anwendung der Datenanalyse Fakten und Trends aus riesigen Datensätzen auf eine Weise hervorbringen kann, die mit bloßem Auge niemals möglich wäre.
Neben der Erkennung von Betrügern konnte der Algorithmus auch die besten Lehrer im Schulsystem identifizieren. Die Wirkung eines guten Lehrers war fast so ausgeprägt wie die eines Betrügers. Anstatt zufällige Antworten richtig zu bekommen, zeigten ihre Schüler echte Verbesserungen gegenüber den einfacheren Arten von Fragen, die sie zuvor verpasst hatten, ein Hinweis auf das tatsächliche Lernen. Und die Schüler eines guten Lehrers trugen alle ihre Gewinne in die nächste Klasse.
Anfang 2002 wollte der neue CEO der Chicago Public Schools, Arne Duncan, diese Analyse durchgehen und Maßnahmen gegen die betrügerischen Lehrer ergreifen. Duncan hatte beschlossen, dass der beste Weg, um betrügerische Lehrer loszuwerden, darin bestand, die standardisierte Prüfung erneut durchzuführen. Er hatte jedoch nur die Ressourcen, um 120 Klassenzimmer erneut zu testen, und bat die Entwickler des Betrugsalgorithmus, bei der Auswahl der zu testenden Klassenzimmer zu helfen.
Um die Ergebnisse des erneuten Tests überzeugend zu machen, wurden 120 Klassenzimmer für den erneuten Test so ausgewählt, dass mehr als die Hälfte von ihnen diejenigen waren, die vom Algorithmus verdächtigt wurden, Lehrer betrogen zu haben. Die übrigen waren diejenigen, von denen vorhergesagt wurde, dass sie ausgezeichnete bis mittelmäßige, nicht betrügerische Lehrer hatten.
Als der erneute Test durchgeführt wurde, waren die Ergebnisse so überzeugend, wie der Betrugsalgorithmus vorhergesagt hatte. In den Klassenzimmern, in denen kein Betrug vermutet wurde, blieben die Punktzahlen ungefähr gleich oder stiegen sogar an. Im Gegensatz dazu erzielten die Schüler der Klassenzimmer, die verdächtigt wurden, Lehrer betrogen zu haben, weitaus schlechtere Ergebnisse als die anfänglichen “angepassten” Ergebnisse.
Auf diese Weise half die Datenanalyse, ergänzt durch einen logischen Denkansatz, dem Chicagoer öffentlichen Schulsystem, ausreichende Beweise gegen die Lehrkräfte zu sammeln und diese zu entlassen, wodurch der Vorteil einer Improvisation des Bildungssystems erzielt wurde.
