miten data-analyysi auttoi paljastamaan Chicagon julkisten koulujen “huijaavat opettajat”
haluaisin jakaa kanssanne mielenkiintoisen sovelluksen data-analyysin paljastamiseksi väärinkäytöksiä seurasi muutamia opettajia Chicagon julkisissa kouluissa kuvata heidän oppilaansa ovat osaavampia parantaakseen omaa mainettaan opettajina.
tämä on totta 90-luvun lopulta ja sitä käsitellään yksityiskohtaisesti Steven Levittin kuuluisassa kirjassa Freakonomics. Minua hämmästyttää tässä tapauksessa paitsi tietojen analysoinnin moitteeton soveltaminen, myös ongelman ratkaisemiseen käytetty huolellinen järjestelmällinen ajattelu.
Chicagon julkiset koulut on valtava järjestelmä, joka kouluttaa yli 400 000 opiskelijaa vuodessa. 1990-luvulla Yhdysvaltain koulutusjärjestelmässä väiteltiin uudesta “high-stakes” – testauksen käsitteestä. Testausta kutsuttiin koviksi panoksiksi, koska sen sijaan, että oppilaat testaisivat vain edistymistään, koulut joutuvat vastuuseen tuloksista. Chicagon Julkinen koulujärjestelmä omaksui suurten panosten testauksen vuonna 1996. Uuden linjauksen mukaan koulu, jonka lukema on alhainen, asetettaisiin koeajalle ja sitä uhkaisi lakkauttaminen, sen henkilökunnan irtisanominen tai siirto muualle. KPS poisti myös niin sanotun sosiaalisen edistämisen. Aiemmin vain dramaattisesti taitamaton tai vaikea oppilas jäi luokalle. Saadakseen ylennyksen jokaisen kolmannen, kuudennen ja kahdeksannen luokan oppilaan piti saada minimipisteet standardoidussa monivalintakokeessa, joka tunnetaan Iowan Perustaitotestinä.
vaikka se oli omiaan nostamaan oppimisen tasoa ja kannustamaan oppilaita opiskelemaan kovemmin, se myös houkutteli oppilaita huijaamaan enemmän, koska nyt heidän ylennyksensä seuraavalle luokalle oli vaakalaudalla. Lapsilla on tietysti ollut kannustin huijata niin kauan kuin testejä on ollut. Mutta “korkeiden panosten” testaus sai aikaan yhden radikaalin muutoksen-se tarjosi opettajille valtavan kannustimen huijata, koska nyt heidän henkilökohtainen arviointinsa ja kasvunsa olivat suoraan yhteydessä siihen. Jos hänen oppilaansa suoriutuu huonosti kokeessa, opettajalle ei välttämättä myönnetä palkankorotusta tai ylennystä. Jos koko koulu testaa huonosti, – liittovaltion rahoitus voidaan evätä ja henkilökunta erottaa. Kalifornian osavaltio otti eräässä vaiheessa käyttöön 25 000 dollarin bonukset opettajille, jotka tuottivat suuria koepistevoittoja.
kun epäilyt opettajien huijaamisesta nousivat esiin, oli keksittävä keino paljastaa koulujen ympärillä tapahtuva toiminta.
Chicagon julkiset koulut antoivat käyttöön tietokannan jokaisen CPS-opiskelijan koevastauksista kolmannelta luokalta seitsemännelle luokalle vuosina 1993-2000. Tämä tarkoittaa noin 30 000 oppilasta luokkaa kohti vuodessa, yli 700 000 koevastaussarjaa ja lähes 100 miljoonaa yksittäistä vastausta. Luokkahuoneittain järjestettyyn aineistoon sisältyi jokaisen oppilaan kysymys kysymykseltä-vastausjonot luku-ja matematiikkakokeita varten.
sallikaa minun käydä läpi seurattu data-analyysiprosessi käyttäen joitakin otteita tästä aineistosta.
Tarkastellaanpa nyt kahden kuudennen luokan Chicagon luokkahuoneen oppilaiden vastausjanoja, jotka suorittivat identtisen matematiikan kokeen. Jokainen vaakarivi edustaa yhden oppilaan vastauksia.
kirjain A, b, c tai d osoittaa oikeaa vastausta
luku ilmaisee väärää vastausta, jossa 1 vastaa a: ta, 2 vastaa b: tä ja niin edelleen.
nolla tarkoittaa vastausta, joka jätettiin tyhjäksi.
toisessa näistä luokkahuoneista oli lähes varmasti a ja toisessa ei. Yritä kertoa ero — vaikka etukäteen varoitetaan, että se ei ole helppoa paljain silmin.
luokka B
jos arvasit, että Luokkahuone A on huijaava Luokkahuone, onnittelut!! Tässä taas ovat Luokkahuone A: n vastausmerkkijonot, jotka on nyt järjestetty uudelleen tietokoneella, jota on pyydetty soveltamaan huijausalgoritmia ja etsimään epäilyttäviä kuvioita.
Luokkahuone A (lunttialgoritmia soveltaen)
kuten voidaan nähdä vastaukset merkitty punaisella, data-analyysi algoritmi onnistui keksiä hyvin puhdas ilmeinen kuvio – 15 22 opiskelijat ovat antaneet täsmälleen samat 6 peräkkäistä vastausta oikein, joka näyttää enemmän kuin sattumaa, kun nuijittu seuraavat tiedot heillä oli:
- nämä kysymykset,jotka tulivat lähelle testin loppua, olivat vaikeampia kuin aiemmat kysymykset.
- tämä oli keskivertoopiskelijoiden ryhmä, ja hyvin harvat heistä ovat saaneet 6 peräkkäistä oikeaa vastausta missään muualla kokeessa, mikä tekee vielä epätodennäköisemmäksi, että he saisivat 6 jatkuvaa vastausta oikein kokeen vaikeammassa osassa.
- tähän asti viidentoista oppilaan vastaukset olivat käytännössä korjaamattomia.
- kolme oppilasta (rivinumerot 1, 9 ja 12) jätti useamman kuin yhden vastauksen tyhjäksi ennen epäilyttävää jonoa ja päätti sitten kokeen toisella nollanumerolla. Tämä viittaa siihen, että pitkää, katkeamatonta tyhjien vastausten jonoa ei rikkonut oppilas vaan opettaja.
algoritmi paljasti myös toisen tärkeän kuvion — kuutta oikeaa vastausta edeltää toinen identtinen merkkijono, 3-A–1-2, joka sisältää kolme neljästä virheellisestä vastauksesta. Ja kaikissa viidessätoista kokeessa kuutta oikeaa vastausta seuraa sama väärä vastaus, 4. Miksi ihmeessä huijaava opettaja näkisi vaivaa pyyhkiäkseen oppilaan koelapun ja täyttäisi sitten väärän vastauksen? Ehkä hän on vain strateginen ja jättää vääriä vastauksia välttääkseen väärentämisepäilyt.
toinen osoitus opettajan lunttaamisesta luokassa A on luokan kokonaissuoritus. Kuudesluokkalaisina, jotka suorittivat testin lukuvuoden kahdeksannella kuukaudella, näiden opiskelijoiden oli saavutettava keskiarvo 6,8, jotta heitä voitaisiin pitää kansallisten standardien mukaisina. (Viidesluokkalaiset, jotka tekevät testin vuoden kahdeksantena kuukautena, tarvitsevat pisteet 5,8, seitsemäsluokkalaiset 7,8 ja niin edelleen.) Oppilaat luokassa A olivat keskimäärin 5.8 heidän kuudennella luokalla testeissä, joka on täysi arvosana alle sen, missä heidän pitäisi olla. He ovat köyhiä oppilaita. Vuotta aiemmin nämä oppilaat pärjäsivät kuitenkin vielä huonommin, sillä heidän viidennellä luokalla suorittamiensa kokeiden keskiarvo oli vain 4,1. Sen sijaan, että he olisivat parantuneet yhdellä täydellä pisteellä viidennen ja kuudennen luokan välillä, kuten odotettaisiin, he paranivat 1,7 pisteellä, lähes kahden luokan arvosta.
sen lumoavaa, miten loogisella ja huolellisella data-analyysin soveltamisella voidaan tuoda esiin faktoja ja suuntauksia valtavista tietojoukoista tavalla, joka ei olisi koskaan mahdollista paljain silmin.
algoritmi pystyi huijareiden havaitsemisen lisäksi tunnistamaan myös koulujärjestelmän parhaat opettajat. Hyvän opettajan vaikutus oli lähes yhtä erottuva kuin huijarin. sen sijaan, että hän saisi satunnaisia vastauksia oikein, hänen oppilaansa osoittivat todellista parannusta helpompien kysymysten suhteen, joita he olivat aiemmin jääneet kaipaamaan, mikä oli osoitus todellisesta oppimisesta. Ja hyvän opettajan oppilaat siirsivät kaikki saavutuksensa seuraavalle luokalle.
vuoden 2002 alussa Chicagon julkisten koulujen uusi toimitusjohtaja Arne Duncan halusi käydä tämän analyysin läpi ja ryhtyä toimiin huijaavia opettajia vastaan. Paras tapa päästä eroon huijaavista opettajista, Duncan oli päättänyt, oli palauttaa standardoitu tentti. Hänellä oli kuitenkin resursseja vain 120 luokkahuoneen uusintatestaukseen, joten hän pyysi huijausalgoritmin luojia auttamaan valitsemaan, mitkä luokkahuoneet testattaisiin.
jotta uusintakokeiden tulokset olisivat vakuuttavia, uusintakokeita varten valittiin 120 luokkahuonetta siten, että yli puolet niistä oli niitä, joita algoritmin mukaan epäiltiin huijaaviksi opettajiksi. Loput olivat niitä, joiden ennustettiin olevan erinomaisia tai keskinkertaisia ei-huijaavia opettajia.
kun uusintatesti tehtiin, tulokset olivat juuri niin vakuuttavia kuin huijausalgoritmi oli ennustanut. Niissä luokkahuoneissa, joissa pettämistä ei epäilty, pisteet pysyivät suunnilleen samoina tai jopa nousivat. Sen sijaan opettajien huijauksiksi epäillyt luokkahuoneiden oppilaat saivat paljon huonommat pisteet kuin alkuperäiset “oikaistut” pisteet.
näin data-analyysi, jota täydennettiin loogisella ajattelumallilla, auttoi Chicagon julkista koulujärjestelmää keräämään riittävästi todisteita opettajia vastaan ja erottamaan heidät, mikä mahdollisti koulutusjärjestelmän improvisoinnin.
