hogyan segített az adatelemzés feltárni a” csaló tanárokat ” a Chicagói állami iskolákban
szeretném megosztani veletek az adatelemzés érdekes alkalmazását a visszaélések feltárásában, amelyet néhány tanár követ a Chicagói állami iskolákban, hogy bemutassák a diákok, hogy jobban tájékozott annak érdekében, hogy növeljék a saját hírnevét, mint a tanárok.
ez a 90-es évek végének valódi előfordulása, amelyet Steven Levitt híres Freakonomics című könyvében részletesen tárgyalnak. Ami meghökkent ebben az incidensben, az nemcsak az adatelemzés makulátlan alkalmazása, hanem a probléma megoldására alkalmazott aprólékos szisztematikus gondolkodás is.
Chicago Public Schools egy hatalmas rendszer oktatása több mint 400.000 diák évente. Az 1990-es években a “nagy tétű” tesztelés új koncepciójáról vitatkoztak az Egyesült Államok oktatási rendszerében. A tesztelést nagy tétnek nevezték, mert ahelyett, hogy csak a diákokat tesztelnék a fejlődésükről, az iskolákat felelősségre vonják az eredményekért. A Chicagói állami iskolarendszer 1996-ban felkarolta a nagy tétű tesztelést. Az új politika értelmében az alacsony olvasási pontszámokkal rendelkező iskolát próbaidőre bocsátanák, és azzal fenyegetnék, hogy bezárják, személyzetét elbocsátják vagy áthelyezik. A CPS megszüntette az úgynevezett társadalmi promóciót is. A múltban csak egy drámaian alkalmatlan vagy nehéz hallgatót tartottak vissza egy évfolyamon. Ahhoz, hogy előléptessenek, minden harmadik, hatodik és nyolcadik osztályos tanulónak minimális pontszámot kellett elérnie a szabványosított, feleletválasztós vizsgán, amelyet Iowa alapkészségek tesztjének neveznek.
bár a tanulás színvonalának emelését szolgálta, és arra ösztönözte a tanulókat, hogy keményebben tanuljanak, arra is csábította a diákokat, hogy többet csaljanak, mivel most a következő osztályba való előléptetésük volt a tét. A gyerekeket természetesen arra ösztönözték, hogy csaljanak, amíg vannak tesztek. De a” nagy tétű ” tesztelés egy radikális változást hozott — hatalmas ösztönzést adott a tanároknak a csalásra, mivel most személyes értékelésük és növekedésük közvetlenül kapcsolódik hozzá. Ha tanítványa rosszul teljesít a teszten, a tanár nem tekinthető emelésnek vagy előléptetésnek. Ha az egész iskola rosszul vizsgázik, a szövetségi támogatást visszatarthatják, és a személyzetet kirúghatják. Kalifornia állam egy ponton 25 000 dolláros bónuszokat vezetett be azoknak a tanároknak, akik nagy teszteredmény-nyereséget produkáltak.
mivel felmerült a gyanú, hogy a tanárok csalnak, ki kellett dolgozni egy eszközt az iskolák körüli tevékenységek feltárására.
a Chicagói állami iskolák elérhetővé tették a tesztválaszok adatbázisát minden CPS hallgató számára a harmadik osztálytól a hetedik osztályig 1993 – tól 2000-ig. Ez évente nagyjából 30 000 hallgatót jelent évfolyamonként, több mint 700 000 tesztválasz-készletet és közel 100 millió egyedi választ. Az osztálytermek által szervezett adatok magukban foglalták az egyes hallgatók kérdés-kérdés-válasz karakterláncait az olvasási és matematikai tesztekhez.
engedje meg, hogy végigvigyem a követett adatelemzési folyamatot, felhasználva ezen adatok néhány részletét.
tekintsük most a válasz húrok a diákok két hatodikos Chicago tantermek, akik az azonos matematikai teszt. Minden vízszintes sor egy hallgató válaszait képviseli.
az A, b, c vagy d betű helyes választ jelez
a szám rossz választ jelez, 1 A-nak, 2 b-nek stb.
a nulla egy üresen hagyott választ jelent.
ezen tantermek egyikében szinte biztosan volt a, a másikban pedig nem. Próbáld megmondani a különbséget — bár előre figyelmeztetni kell, hogy szabad szemmel nem könnyű.
B Osztályterem
ha kitalálta, hogy az a osztályterem volt a csaló osztályterem, gratulálok!! Ismét itt vannak az A osztály válaszsorai, amelyeket most egy számítógép rendez át, amelyet arra kértek, hogy alkalmazza a csaló algoritmust, és keresse meg a gyanús mintákat.
a Osztályterem (csalási algoritmussal)
amint az a pirossal jelölt válaszokból is látható, az adatelemzési algoritmusnak sikerült egy nagyon tiszta, nyilvánvaló mintát előállítania — 15 a 22 a hallgatók pontosan ugyanazt adták 6 egymást követő válaszok helyesek, ami több mint véletlennek tűnik, amikor a következő információkkal kluboltak:
- ezek a kérdések, a teszt végéhez közeledve, nehezebbek voltak, mint a korábbi kérdések.
- ez egy átlagos diákok csoportja volt, és nagyon kevesen kaptak 6 egymást követő helyes választ bárhol máshol a teszten, ami még valószínűtlenebbé teszi, hogy 6 folyamatos választ kapjanak a teszt nehezebb részében.
- a teszt ezen pontjáig a tizenöt hallgató válaszai gyakorlatilag korrelálatlanok voltak.
- három tanuló (1., 9. és 12. sorszám) egynél több választ hagyott üresen a gyanús karakterlánc előtt, majd egy másik üres karakterlánccal fejezte be a tesztet. Ez arra utal, hogy az üres válaszok hosszú, töretlen sorát nem a hallgató, hanem a tanár törte meg.
az algoritmus egy másik fontos mintát is feltárt — hat helyes választ megelőz egy másik azonos karakterlánc, a 3-a-1–2, amely négy helytelen válaszból hármat tartalmaz. Mind a tizenöt teszten a hat helyes választ ugyanaz a helytelen válasz követi, a 4. Mi a fenéért vesződne egy csaló tanár azzal, hogy kitörli a diák tesztlapját, majd rossz választ tölt ki? Talán csak stratégiai, rossz válaszok nyomát hagyva, hogy elkerülje a hamisítás gyanúját.
a tanár csalásának másik jele az a osztályban az osztály általános teljesítménye. Hatodikosként, akik a tanév nyolcadik hónapjában tették le a tesztet, ezeknek a hallgatóknak átlagosan 6,8-as pontszámot kellett elérniük, hogy megfeleljenek a nemzeti szabványoknak. (Az ötödik osztályosok, akik az év nyolcadik hónapjában vizsgáztak, 5,8, a hetedik osztályosok 7,8 stb.) A diákok az osztályteremben átlagosan 5.8 a hatodikos tesztjeiken, ami egy teljes fokozatú szint alatt van, ahol lenniük kellene. Ezek nyilvánvalóan szegény diákok. Egy évvel korábban Azonban ezek a diákok még rosszabbul teljesítettek, átlagosan csak 4,1-et értek el az ötödik osztályos teszteken. Ahelyett, hogy az ötödik és a hatodik osztály között egy teljes ponttal javultak volna, ahogy az várható volt, 1,7 ponttal javultak, közel két évfolyamot érve.
a hipnotizáló, hogy egy logikus és aprólékos alkalmazása Adatelemzés hozhat ki tényeket és trendeket humongous adathalmazok oly módon, hogy soha nem lenne lehetséges szabad szemmel.
a csalók felderítése mellett az algoritmus azonosíthatja az iskolarendszer legjobb tanárait is. Egy jó tanár hatása majdnem olyan jellegzetes volt, mint egy csalóé. ahelyett, hogy véletlenszerű válaszokat kapott volna helyes, tanítványai valódi javulást mutattak a korábban elmulasztott könnyebb kérdéstípusokban, ami a tényleges tanulásra utal. És egy jó tanár diákjai átvitték az összes nyereségüket a következő osztályba.
2002 elején a Chicagói állami iskolák új vezérigazgatója, Arne Duncan át akart menni ezen az elemzésen, és lépéseket akart tenni a csaló tanárok ellen. Duncan úgy döntött, hogy a legjobb módja annak, hogy megszabaduljon a csaló tanároktól, az volt, hogy újra bevezette a szabványosított vizsgát. Csak 120 tanterem újbóli tesztelésére volt elegendő erőforrása, ezért felkérte a csaló algoritmus készítőit, hogy segítsenek kiválasztani a tesztelni kívánt tantermeket.
annak érdekében, hogy az újratesztelési eredmények meggyőzőek legyenek, 120 osztálytermet választottak ki az újrateszteléshez úgy, hogy az algoritmus több mint felét gyanították, hogy csaló tanárok vannak. A fennmaradó volt azok az előrejelzések, hogy kiváló középszerű nem csaló tanárok.
amikor az újravizsgálatot elvégezték, az eredmények ugyanolyan meggyőzőek voltak, mint a csaló algoritmus megjósolta. Az osztálytermekben, ahol nem gyanították a csalást, a pontszámok nagyjából ugyanazok maradtak, vagy akár emelkedtek is. Ezzel szemben az osztálytermek diákjai, akik gyanúja szerint csaló tanárok voltak, sokkal rosszabb eredményt értek el, mint a kezdeti “kiigazított” pontszámok.
így segített az adatelemzés, kiegészítve a logikus gondolkodás megközelítésével a Chicagói állami iskolarendszernek elegendő bizonyítékot gyűjteni a tanító tanárok ellen és kirúgni, ezáltal biztosítva az oktatási rendszer improvizálásának előnyeit.
