Hoe data-analyse geholpen ontdek het “bedrog” docenten in Chicago Public Schools
ik zou graag met u delen een interessante toepassing van data-analyse in het blootleggen van de misstanden, gevolgd door een paar docenten in de Chicago Public Schools in beeld te brengen hun studenten als meer deskundig om hun eigen reputatie als leraren te verbeteren.
dit is een waar verschijnsel van de late jaren ‘ 90 en wordt uitvoerig besproken in het beroemde boek Freakonomics van Steven Levitt. Wat me verbaast over dit incident is niet alleen de onberispelijke toepassing van data-analyse, maar ook het zorgvuldige systematische denken dat werd gezet in het oplossen van het probleem.Chicago Public Schools is een enorm systeem dat meer dan 400.000 studenten per jaar opleidt. In de jaren negentig werd een nieuw concept van “high-stakes” testen besproken in het Amerikaanse onderwijssysteem. De test werd high-stakes genoemd omdat in plaats van alleen de leerlingen te testen op hun vooruitgang, scholen verantwoordelijk worden gehouden voor de resultaten. De Chicago Public School systeem omarmde high-stakes testen in 1996. Onder het nieuwe beleid, een school met lage leesscores zou worden geplaatst op proef en geconfronteerd met de dreiging van Sluiting, het personeel te worden ontslagen of opnieuw toegewezen. Het CPS heeft ook de zogenaamde sociale promotie afgeschaft. In het verleden, alleen een dramatisch onbekwame of moeilijke student werd tegengehouden een cijfer. Om gepromoveerd te worden, moest elke student in de derde, zesde en achtste klas een minimumscore behalen op het gestandaardiseerde, meerkeuzeexamen dat bekend staat als de Iowa-toets van basisvaardigheden.
hoewel het diende om de normen van het leren te verhogen en de studenten te stimuleren om harder te studeren, verleidde het de studenten ook om meer vals te spelen, omdat nu hun promotie naar de volgende klas op het spel stond. Kinderen hebben natuurlijk de prikkel om vals te spelen zolang er tests zijn geweest. Maar” high-stakes ” testen bracht een radicale verandering teweeg — het bood een enorme stimulans voor de leraren om vals te spelen, omdat hun persoonlijke evaluatie en groei er nu direct mee verbonden waren. Als haar student slecht presteert op de test, kan een leraar niet worden overwogen voor een verhoging of promotie. Als de hele school slecht test kan hun federale financiering worden ingehouden en het personeel wordt ontslagen. De staat Californië op een gegeven moment introduceerde bonussen van $ 25.000 voor leraren die grote test-score winsten geproduceerd.
toen vermoedens voor het bedriegen van leraren aan het licht kwamen, was er behoefte aan een middel om de activiteiten rond de scholen aan het licht te brengen.
Chicago Public Schools stelde een database van de testantwoorden beschikbaar voor elke CPS-student van de derde klas tot en met de zevende klas van 1993 tot en met 2000. Dit komt neer op ongeveer 30.000 studenten per graad per jaar, meer dan 700.000 sets testantwoorden en bijna 100 miljoen individuele antwoorden. De gegevens, georganiseerd door klaslokaal, inclusief elke student vraag-voor-vraag antwoord strings voor het lezen en wiskunde testen.
laat me u door het proces van gegevensanalyse nemen dat werd gevolgd, met behulp van enkele fragmenten van deze gegevens.
overweeg nu de antwoordstrings van de studenten in twee klaslokalen van de zesde klas in Chicago die de identieke wiskunde test deden. Elke horizontale rij vertegenwoordigt de antwoorden van één student.
de letter a, b, c of d geeft een juist antwoord
een getal geeft een verkeerd antwoord aan, waarbij 1 overeenkomt met a, 2 overeenkomt met b, enzovoort.
een nul is een antwoord dat leeg is gelaten.
een van deze klaslokalen had vrijwel zeker een en de andere niet. Probeer het verschil te vertellen – maar wees gewaarschuwd dat het niet gemakkelijk is met het blote oog.
Klas B
als je al wist dat klaslokaal A het overspelige klaslokaal was, gefeliciteerd!! Hier zijn weer de antwoordstrings van klaslokaal A, Nu opnieuw gerangschikt door een computer die is gevraagd om het valsspelen algoritme toe te passen en te zoeken naar verdachte patronen.
Klaslokaal (met bedrog algoritme toegepast)
Zoals gezien kan worden door de antwoorden in rood aangegeven, de data-analyse algoritme in geslaagd om te komen met een erg goed duidelijk patroon — 15 van de 22 studenten hebben precies dezelfde 6 opeenvolgende antwoorden juist dat lijkt meer dan een toeval als doodgeknuppeld met de volgende informatie die zij had:
- Deze vragen komen in de buurt van het einde van de test, waren harder dan de eerdere vragen.
- dit was een groep van gemiddelde studenten en zeer weinig van hen hebben 6 opeenvolgende correcte antwoorden ergens anders op de test, waardoor het nog onwaarschijnlijker is dat ze 6 continue antwoorden juist zouden krijgen in het moeilijkere deel van de test.
- tot op dit punt in de test waren de antwoorden van de vijftien studenten vrijwel niet gecorreleerd.
- drie van de studenten (rijnummers 1, 9 en 12) lieten meer dan één antwoord leeg voor de verdachte tekenreeks en beëindigden de test met een andere tekenreeks. Dit suggereert dat een lange, ononderbroken reeks lege antwoorden niet door de student maar door de leraar werd verbroken.
het algoritme ontdekte ook een ander belangrijk patroon-zes correcte antwoorden worden voorafgegaan door een andere identieke tekenreeks, 3-a-1–2, die drie van vier onjuiste antwoorden bevat. En bij alle vijftien tests worden de zes juiste antwoorden gevolgd door hetzelfde onjuiste antwoord, een 4. Waarom zou een overspelige leraar de moeite nemen om het testblad van een student te wissen en dan het verkeerde antwoord in te vullen? Misschien is ze gewoon strategisch en laat ze een spoor van verkeerde antwoorden achter om vermoedens van valsheid in geschrifte te voorkomen.
een andere aanwijzing dat de leraar vals speelt in Klas A is de algemene prestaties van de klas. Als zesde klassers die de test in de achtste maand van het academiejaar deden, moesten deze studenten een gemiddelde score van 6,8 halen om aan de nationale normen te voldoen. (Vijfde klassers het nemen van de test in de achtste maand van het jaar nodig om te scoren 5.8, zevende klassers 7.8, enzovoort.) De leerlingen in de klas a gemiddeld 5.8 op hun zesde klas tests, dat is een volledig niveau onder waar ze zouden moeten zijn. Dit zijn dus duidelijk arme studenten. Een jaar eerder deden deze studenten het echter nog slechter, met een gemiddelde van slechts 4,1 op hun vijfde klas toetsen. In plaats van een vol punt te verbeteren tussen de vijfde en zesde klas, zoals verwacht, verbeterden ze met 1,7 punten, Bijna twee rangen’ waarde.
het fascinerende hoe een logische en nauwgezette toepassing van gegevensanalyse feiten en trends uit gigantische datasets naar voren kan brengen op een manier die nooit met het blote oog mogelijk zou zijn.
naast het detecteren van bedriegers, kon het algoritme ook de beste leraren in het schoolsysteem identificeren. De impact van een goede leraar was bijna net zo onderscheidend als die van een valsspeler. in plaats van willekeurige antwoorden correct te krijgen, zouden haar leerlingen echte verbetering laten zien op de gemakkelijkere soorten vragen die ze eerder hadden gemist, een indicatie van daadwerkelijk leren. En de leerlingen van een goede leraar droegen al hun winsten over naar de volgende klas.Begin 2002 wilde de nieuwe CEO van de Chicago Public Schools, Arne Duncan, deze analyse doornemen en actie ondernemen tegen de Bedriegende leraren. De beste manier om van Bedriegende leraren af te komen, had Duncan besloten, was om het gestandaardiseerde examen te readministereren. Hij had echter alleen de middelen om 120 klaslokalen opnieuw te testen, dus vroeg hij de makers van het cheating algoritme om te helpen kiezen welke klaslokalen te testen.
om de resultaten van de hertest overtuigend te maken, werden 120 klaslokalen voor hertest zodanig gekozen dat meer dan de helft ervan, volgens het algoritme, verdacht werd van het hebben van Bedriegende leraren. De resterende waren die voorspeld te hebben uitstekende tot middelmatige niet-valsspelen leraren.
toen de hertest werd uitgevoerd, waren de resultaten net zo overtuigend als het bedriegalgoritme had voorspeld. In de klaslokalen waar geen bedrog werd vermoed, bleven de scores ongeveer gelijk of stegen ze zelfs. In tegenstelling, de leerlingen van de klaslokalen vermoed dat Bedriegende leraren scoorden veel slechter dan de eerste “aangepaste” scores.
dit is hoe gegevensanalyse, aangevuld met een logische denkbenadering, het openbare schoolsysteem van Chicago hielp voldoende bewijs te verzamelen tegen en de leraren te ontslaan, waardoor het voordeel werd verkregen van het improviseren van het onderwijssysteem.
