データ分析がシカゴの公立学校の”不正行為教師”をどのように明らかにしたか
私はあなたと描写するためにシカゴの公立学校でいくつかの教師が続いて医療過誤を暴くにデータ分析の興味深いアプリケーションを共有したいと 教師としての自分の評判を高めるために、より知識があるとして、彼らの学生。
これは90年代後半の真の出来事であり、Steven Levittの有名な本Freakonomicsで精巧に議論されています。 この事件について私を驚かせるのは、データ分析の真っ白なアプリケーションだけでなく、問題を解決するために入れられた細心の体系的な思考です。
シカゴの公立学校は、年間400,000人以上の学生を教育する巨大なシステムです。 1990年代には、米国の教育システムで”ハイステークス”テストの新しい概念が議論されていました。 テストはハイステークスと呼ばれていたのは、生徒の進捗状況をテストするだけではなく、学校は結果について責任を負うためです。 1996年、シカゴ公立学校システムはハイステークスのテストを採用した。 新しい方針の下では、読書のスコアが低い学校は保護観察に置かれ、閉鎖される恐れに直面し、そのスタッフは解雇されるか、または再割り当てされる。 CPSはまた、社会的なプロモーションとして知られているものを廃止しました。 過去には、唯一の劇的に無能または困難な学生は、グレードをバック開催されました。 さて、昇格するためには、第三、第六、および第八年生のすべての学生は、基本的なスキルのアイオワテストとして知られている標準化された、複数の選択肢
それは学習の基準を高め、生徒にもっと勉強するよう奨励するのに役立ちましたが、今のように生徒にもっとカンニングするよう誘惑し、次の学年への昇進が危機に瀕していました。 子供たちは、もちろん、テストがあった限り、カンニングするインセンティブを持っていました。 しかし、”ハイステークス”テストは、一つの根本的な変化をもたらした-それは今、彼らの個人的な評価と成長が直接それにリンクされていたように教師がカンニングするための巨大なインセンティブを提供しました。 彼女の学生がテストで不十分に実行された場合、教師は昇給や昇進のために考慮されない場合があります。 学校全体のテストが不十分であれば、連邦政府の資金は保留され、スタッフは解雇されます。 ある時点でカリフォルニア州は、大きなテストスコアの利益を生み出した教師のためにbonuses25,000のボーナスを導入しました。
教師の不正行為の疑惑が浮上したため、学校の周りで起こっている活動を明らかにする手段を考案する必要があった。
シカゴの公立学校は、1993年から2000年までの三年生から七年生までのすべてのCPS学生のテスト回答のデータベースを利用可能にしました。 これは、年間学年あたり約30,000人の学生、テスト回答の700,000以上のセット、およびほぼ100万人の個々の回答になります。 教室ごとに整理されたデータには、読書や数学のテストのための各学生の質問ごとの回答文字列が含まれていました。
このデータのいくつかの抜粋を使用して、続いたデータ分析プロセスを紹介しましょう。
ここで、同じ数学のテストを受けた2つの6年生のシカゴの教室の生徒からの答えの文字列を考えてみましょう。 各水平行は、一人の学生の答えを表します。
a、b、c、またはdの文字は正解を示します
数字は間違った答えを示し、1はaに対応し、2はbに対応します。
ゼロは空白のままにされた答えを表します。
これらの教室の1つにはほぼ確実にaがあり、もう1つはそうではありませんでした。 違いを見分けるようにしてください—それは肉眼では容易ではないことをあらかじめ注意してください。
教室B
あなたは教室Aが不正行為の教室だったことを推測した場合は、おめでとう！! ここで再び教室Aからの答えの文字列があります,今不正行為のアルゴリズムを適用し、疑わしいパターンを模索するように求められているコンピ
教室A（不正行為アルゴリズムを適用した)
赤でマークされた回答からわかるように、データ分析アルゴリズムは非常にきれいな明白なパターンを思い付くことができました—15の22人の学生は、彼らが持っていた次の情報でクラブされたときに偶然以上のように見える正確に同じ6連続した答えを与えています:
- これらの質問は、テストの終わり近くに来て、以前の質問よりも難しかったです。
- これは平均的な学生のグループであり、テストの他の場所で6つの連続した正解を持っている人は非常に少なく、テストの難しい部分で6つの連続した回答を得ることはさらにありそうにありません。
- テストのこの時点まで、15人の学生の回答は事実上無相関でした。
- 3人の生徒（行番号1、9、および12）は、疑わしい文字列の前に複数の回答を空白にしてから、別の空白文字でテストを終了しました。 これは、空白の答えの長い、切れ目のない文字列が学生ではなく教師によって壊れていたことを示唆しています。
アルゴリズムはまた、別の重要なパターンを明らかにしました—六つの正解の前に別の同一の文字列、3-a-1–2があり、四つの不正解のうち三つが含まれています。 そして、すべての十五のテストでは、六つの正解の後に同じ誤った答え、4が続きます。 なぜ地球上で不正行為の教師は、学生のテストシートを消去し、間違った答えを記入するトラブルに行くだろうか？ おそらく、彼女は単に偽造の疑いを避けるために間違った答えの道を残して戦略的であるだけです。
クラスAで教師が不正行為をしていることを示すもう一つの指標は、クラス全体のパフォーマンスです。 学年の八ヶ月にテストを受けていた六年生として、これらの学生は、国家基準まで考慮されるために6.8の平均スコアを達成するために必要でした。 （五年生は、その年の八ヶ月にテストを受けて5.8、七年生7.8、というように得点する必要がありました。）A教室の生徒は平均5人。彼らがあるべき場所以下の完全なグレードレベルである彼らの六年生のテスト、上の8。 だから、明らかにこれらは貧しい学生です。 しかし、1年前には、これらの学生はさらに悪化し、5年生のテストでは平均4.1でした。 予想されるように、5年生と6年生の間に1ポイントずつ改善するのではなく、1.7ポイント改善し、ほぼ2つのグレードの価値がありました。
その魅惑的なデータ分析の論理的かつ細心のアプリケーションは、肉眼では不可能な方法で巨大なデータセットから事実や傾向を引き出すことができ
不正行為者を検出することに加えて、アルゴリズムは学校システムで最高の教師を識別することもできます。 ランダムな答えを正しく得るのではなく、彼女の学生は、彼らが以前に逃した質問の簡単なタイプ、実際の学習の指標に本当の改善を示すでしょう。 そして、良い教師の学生は、次の学年に彼らのすべての利益を引き継ぎました。
2002年初頭、シカゴ公立学校の新CEOであるArne Duncanは、この分析を経て、不正行為をしている教師に対して何らかの行動を起こしたいと考えていた。 不正行為の教師を取り除くための最良の方法は、ダンカンが決めていた、標準化された試験をreadministerすることでした。 しかし、彼は120の教室を再テストするためのリソースしか持っていなかったので、彼はチートアルゴリズムの作成者に、テストする教室を選択するのを助
再テストの結果を説得力のあるものにするために、再テストのための120教室が選択され、その半分以上がアルゴリズムによって教師が不正行為をしていると疑われる教室であった。 残りは平凡な非不正行為の教師に優れていると予測されたものでした。
再テストが行われたとき、結果は不正行為アルゴリズムが予測していたほど説得力がありました。 不正行為が疑われなかった教室では、スコアはほぼ同じままであったり、上昇したりしました。 これとは対照的に、教師が不正行為をしていると疑われる教室の生徒は、最初の”調整された”スコアよりもはるかに悪いスコアを記録しました。
これは、論理的思考アプローチによって補完されたデータ分析が、シカゴの公立学校システムが教育教師に対して十分な証拠を収集し、解雇するのを助け、それによって教育システムを即興的にする利点を提供する方法である。
