Comment l’analyse des données a permis de découvrir les “enseignants tricheurs” dans les écoles publiques de Chicago
Je voudrais partager avec vous une application intéressante de l’analyse de données pour découvrir les malversations suivies par quelques enseignants des écoles publiques de Chicago pour dépeindre leurs élèves comme étant plus compétents afin d’améliorer leur propre réputation en tant qu’enseignants.
C’est une véritable occurrence de la fin des années 90 et est abondamment discutée dans le célèbre livre Freakonomics de Steven Levitt. Ce qui m’étonne dans cet incident, ce n’est pas seulement l’application impeccable de l’analyse des données, mais aussi la pensée systématique méticuleuse qui a été mise en œuvre pour résoudre le problème.
Les écoles publiques de Chicago sont un énorme système qui éduque plus de 400 000 élèves par an. Au cours des années 1990, un nouveau concept de test à “enjeux élevés” était débattu dans le système éducatif américain. Le test a été appelé high-stakes car au lieu de tester uniquement les élèves sur leurs progrès, les écoles sont tenues responsables des résultats. Le système scolaire public de Chicago a adopté les tests à enjeux élevés en 1996. En vertu de la nouvelle politique, une école ayant de faibles scores en lecture serait mise en probation et risquerait d’être fermée, son personnel serait licencié ou réaffecté. Le CPS a également supprimé ce qu’on appelle la promotion sociale. Dans le passé, seul un élève dramatiquement inepte ou difficile était retenu une note. Maintenant, pour être promu, chaque élève de troisième, sixième et huitième année devait gérer un score minimum à l’examen standardisé à choix multiples connu sous le nom de Test de compétences de base de l’Iowa.
Bien qu’il ait servi à élever les normes d’apprentissage et à inciter les élèves à étudier plus dur, il a également tenté les élèves de tricher davantage car maintenant, leur promotion à la prochaine année était en jeu. Les enfants, bien sûr, ont été incités à tricher aussi longtemps qu’il y a eu des tests. Mais les tests à “enjeux élevés” ont apporté un changement radical: ils ont incité les enseignants à tricher, car leur évaluation personnelle et leur croissance y étaient directement liées. Si son élève obtient de mauvais résultats au test, un enseignant peut ne pas être considéré pour une augmentation ou une promotion. Si toute l’école teste mal son financement fédéral peut être retenu et le personnel licencié. À un moment donné, l’État de Californie a introduit des primes de 25 000 for pour les enseignants qui ont réalisé de gros gains de score aux tests.
Alors que les soupçons de tricherie des enseignants faisaient surface, il était nécessaire de concevoir un moyen de découvrir les activités en cours autour des écoles.
Les écoles publiques de Chicago ont mis à disposition une base de données des réponses aux tests pour chaque élève de CPS de la troisième à la septième année de 1993 à 2000. Cela représente environ 30 000 élèves par année, plus de 700 000 séries de réponses aux tests et près de 100 millions de réponses individuelles. Les données, organisées par classe, comprenaient les chaînes de réponses question par question de chaque élève pour les tests de lecture et de mathématiques.
Permettez-moi de vous présenter le processus d’analyse des données qui a été suivi, en utilisant quelques extraits de ces données.
Considérez maintenant les chaînes de réponses des élèves de deux classes de sixième année de Chicago qui ont passé le test de mathématiques identique. Chaque ligne horizontale représente les réponses d’un élève.
La lettre a, b, c ou d indique une réponse correcte
Un nombre indique une mauvaise réponse, avec 1 correspondant à a, 2 correspondant à b, et ainsi de suite.
Un zéro représente une réponse laissée vide.
L’une de ces salles de classe avait presque certainement un et l’autre non. Essayez de faire la différence, mais soyez averti que ce n’est pas facile à l’œil nu.
Salle de classe B
Si vous avez deviné que la classe A était la classe de triche, félicitations!! Voici à nouveau les chaînes de réponses de la classe A, maintenant réorganisées par un ordinateur à qui on a demandé d’appliquer l’algorithme de triche et de rechercher des modèles suspects.
Classe A (avec algorithme de triche appliqué)
Comme le montrent les réponses marquées en rouge, l’algorithme d’analyse des données a réussi à créer un modèle évident très propre — 15 des 22 étudiants ont donné exactement les mêmes 6 réponses consécutives correctes, ce qui semble plus qu’une coïncidence lorsqu’ils ont reçu les informations suivantes:
- Ces questions, qui approchaient de la fin du test, étaient plus difficiles que les questions précédentes.
- C’était un groupe d’étudiants moyens et très peu d’entre eux ont obtenu 6 réponses correctes consécutives ailleurs sur le test, ce qui rend encore plus improbable qu’ils obtiennent 6 réponses continues dans la partie la plus difficile du test.
- Jusqu’à ce point du test, les réponses des quinze élèves n’étaient pratiquement pas corrélées.
- Trois des élèves (lignes 1, 9 et 12) ont laissé plus d’une réponse vide avant la chaîne suspecte, puis ont terminé le test avec une autre chaîne de blancs. Cela suggère qu’une longue chaîne ininterrompue de réponses vierges a été brisée non pas par l’élève mais par l’enseignant.
L’algorithme a également découvert un autre motif important — six réponses correctes sont précédées d’une autre chaîne identique, 3-a-1–2, qui comprend trois des quatre réponses incorrectes. Et sur les quinze tests, les six bonnes réponses sont suivies de la même réponse incorrecte, un 4. Pourquoi diable un enseignant infidèle se donnerait-il la peine d’effacer la feuille de test d’un élève et de remplir ensuite la mauvaise réponse? Peut-être qu’elle est simplement stratégique en laissant une traînée de mauvaises réponses pour éviter les soupçons de falsification.
Une autre indication de la tricherie des enseignants dans la classe A est la performance globale de la classe. En tant qu’élèves de sixième année qui passaient le test au huitième mois de l’année scolaire, ces élèves devaient obtenir une note moyenne de 6,8 pour être considérés comme conformes aux normes nationales. (Les élèves de cinquième année qui passaient le test au huitième mois de l’année devaient obtenir un score de 5,8, les élèves de septième année 7,8, etc.) Les élèves de la classe A en moyenne 5.8 à leurs tests de sixième année, c’est-à-dire un niveau complet en dessous de l’endroit où ils devraient être. Ce sont des élèves pauvres. Un an plus tôt, cependant, ces élèves ont fait encore pire, avec une moyenne de seulement 4,1 à leurs tests de cinquième année. Au lieu de s’améliorer d’un point complet entre la cinquième et la sixième année, comme on pouvait s’y attendre, ils se sont améliorés de 1,7 point, soit près de deux notes.
C’est fascinant de voir comment une application logique et méticuleuse de l’analyse des données peut faire ressortir des faits et des tendances à partir d’énormes ensembles de données d’une manière qui ne serait jamais possible à l’œil nu.
En plus de détecter les tricheurs, l’algorithme pourrait également identifier les meilleurs enseignants du système scolaire. L’impact d’un bon enseignant était presque aussi distinctif que celui d’un tricheur.Au lieu d’obtenir des réponses aléatoires correctes, ses élèves montraient une réelle amélioration des types de questions les plus faciles qu’ils avaient précédemment manquées, une indication de l’apprentissage réel. Et les élèves d’un bon professeur ont reporté tous leurs gains à la prochaine année.
Au début de 2002, le nouveau PDG des écoles publiques de Chicago, Arne Duncan, a voulu passer en revue cette analyse et prendre des mesures contre les enseignants tricheurs. Duncan avait décidé que la meilleure façon de se débarrasser des enseignants tricheurs était de réadministrer l’examen standardisé. Il n’avait cependant que les ressources nécessaires pour tester 120 salles de classe, alors il a demandé aux créateurs de l’algorithme de triche de l’aider à choisir les salles de classe à tester.
Afin de rendre les résultats du retest convaincants, 120 salles de classe pour le retest ont été choisies de telle sorte que plus de la moitié d’entre elles étaient soupçonnées, par l’algorithme, d’avoir des enseignants tricheurs. Les autres étaient ceux qui auraient d’excellents à médiocres enseignants non tricheurs.
Lorsque le nouveau test a été effectué, les résultats étaient aussi convaincants que l’algorithme de triche l’avait prédit. Dans les salles de classe où aucune tricherie n’a été suspectée, les scores sont restés à peu près les mêmes ou ont même augmenté. En revanche, les élèves des salles de classe soupçonnés d’avoir des enseignants trompeurs ont obtenu des scores bien pires que les scores “ajustés” initiaux.
C’est ainsi que l’analyse des données, complétée par une approche de pensée logique, a aidé le système scolaire public de Chicago à rassembler suffisamment de preuves contre et à congédier les enseignants, offrant ainsi l’avantage d’improviser le système éducatif.
