Como análise de dados ajudou a descobrir a “enganar” os professores nas Escolas Públicas de Chicago
eu gostaria de compartilhar com você uma interessante aplicação da análise de dados em descobrir a irregularidades seguido por alguns professores em Escolas Públicas de Chicago para retratar seus alunos como sendo mais conhecedores, a fim de melhorar a sua própria reputação como professores.
esta é uma verdadeira ocorrência do final dos anos 90 e é elaboradamente discutido no famoso livro Freakonomics por Steven Levitt. O que me espanta sobre este incidente não é apenas a aplicação Imaculada da análise de dados, mas também, o meticuloso pensamento sistemático que foi colocado para resolver o problema.
Chicago Public Schools is a huge system educating more than 400,000 students a year. Durante a década de 1990, um novo conceito de testes de “alto risco” estava sendo debatido no sistema educacional dos EUA. O teste foi chamado de high-stakes porque em vez de apenas testar os alunos sobre o seu progresso, as escolas são responsabilizadas pelos resultados. O sistema de Escolas Públicas de Chicago abraçou testes de high-stakes em 1996. Sob a nova política, uma escola com baixa pontuação de leitura seria colocado em liberdade condicional e enfrentar a ameaça de ser fechado, seu pessoal a ser demitido ou transferido. O CPS também eliminou o que é conhecido como promoção social. No passado,apenas um estudante dramaticamente inepto ou difícil foi retido uma nota. Agora, para serem promovidos, todos os alunos do terceiro, sexto e oitavo ano tiveram que conseguir uma pontuação mínima no exame padronizado de múltipla escolha conhecido como o teste de habilidades básicas de Iowa.Embora tenha servido para elevar os padrões de aprendizagem e incentivar os alunos a estudar mais, também tentou os alunos a fazer mais batota como agora, a sua promoção para o próximo ano estava em jogo. As crianças, é claro, têm tido o incentivo de fazer batota desde que houve testes. Mas os testes “high-stakes” trouxeram uma mudança radical — ele forneceu um enorme incentivo para os professores para fazer batota como agora sua avaliação pessoal e crescimento estavam diretamente ligados a ele. Se seu aluno tem um desempenho ruim no teste, um professor não pode ser considerado para um aumento ou promoção. Se toda a escola testar mal o seu financiamento federal pode ser retido e o pessoal despedido. O estado da Califórnia em um ponto introduziu bônus de US $25.000 para os professores que produziram grandes ganhos de teste.À medida que surgiam suspeitas de traição por parte dos professores, era necessário criar um meio para descobrir as actividades que se desenvolvem em torno das escolas.
Chicago Public Schools made available a database of the test answers for every CPS student from third grade through seventh grade from 1993 to 2000. Isso equivale a cerca de 30.000 estudantes por ano, mais de 700.000 conjuntos de respostas de teste, e quase 100 milhões de respostas individuais. Os dados, organizados por sala de aula, incluíam as sequências de resposta de cada aluno para leitura e testes de matemática.
deixe-me levá-lo através do processo de análise de dados que foi seguido, usando alguns trechos destes dados.Considere agora as cordas de resposta dos alunos de duas salas de aula do sexto ano de Chicago que fizeram o teste de matemática idêntico. Cada linha horizontal representa as respostas de um aluno.
a letra A, b, c, ou d indica uma resposta correcta
Um número indica uma resposta errada, com 1, correspondente a um, 2, correspondente a b, e assim por diante.
um zero representa uma resposta que foi deixada em branco.
uma destas salas de aula quase certamente teve a e a outra não. Tente dizer a diferença – embora seja avisado de que não é fácil a olho nu.
Sala De Aula B
Se você imaginar que a sala de aula, foi o engano em sala de aula, parabéns!! Aqui novamente estão as cadeias de Resposta da sala a, agora reordenada por um computador que foi pedido para aplicar o algoritmo de batota e procurar padrões suspeitos.
Uma sala de Aula (com batota algoritmo aplicado)
Como pode ser visto pelas respostas marcadas em vermelho, a análise de dados algoritmo conseguiu chegar com muito limpa padrão óbvio — 15 dos 22 alunos deram exatamente as mesmas 6 consecutivos respostas correto, o que parece ser mais do que uma coincidência quando batido com as seguintes informações que eles tinham:
- Estas questões,chegando perto do final do ensaio, foram mais difícil do que a questões anteriores.
- este foi um grupo de alunos médios e muito poucos deles têm 6 respostas corretas consecutivas em qualquer outro lugar do teste, tornando ainda mais improvável que eles teriam 6 respostas contínuas na parte mais difícil do teste.
- até este ponto no teste, as respostas dos quinze estudantes foram praticamente não correlacionadas.
- três dos alunos (números de linha 1, 9 e 12) deixaram mais de uma resposta em branco antes da string suspeita e, em seguida, terminou o teste com outra string de espaços em branco. Isto sugere que uma longa e ininterrupta sequência de respostas em branco não foi quebrada pelo aluno, mas pelo professor.
o algoritmo também descobriu outro padrão importante-seis respostas corretas são precedidas por outra cadeia idêntica, 3-a–1-2, que inclui três de quatro respostas incorretas. E em todos os quinze testes, as seis respostas corretas são seguidas pela mesma resposta incorreta, um 4. Porque é que um professor traidor se daria ao trabalho de apagar a folha de teste de um estudante e depois preencher a resposta errada? Talvez esteja apenas a ser estratégica, deixando um rasto de respostas erradas para evitar suspeitas de falsificação.
outra indicação de traição de professores na sala de aula A é o desempenho geral da classe. Como alunos do sexto ano que estavam fazendo o teste no oitavo mês do ano acadêmico, esses alunos precisavam alcançar uma pontuação média de 6,8 para serem considerados de acordo com os padrões nacionais. (Alunos do quinto ano fazendo o teste no oitavo mês do ano precisavam marcar 5,8, 7,8, e assim por diante.) Os alunos na sala de aula A média de 5.8 nos seus testes do sexto ano, que é um nível de grau completo abaixo de onde devem estar. Tão claramente estes são estudantes pobres. Um ano antes, no entanto, esses alunos fizeram ainda pior, com média de apenas 4,1 em seus testes do quinto ano. Em vez de melhorarem um ponto completo entre o quinto e o sexto ano, como seria de esperar, melhoraram 1,7 pontos, quase dois graus.
Sua hipnotizante como uma lógica e rigorosa aplicação da análise de dados pode trazer fatos e tendências de enormes conjuntos de dados de uma forma que nunca seria possível a olho nu.
além de detectar batoteiros, o algoritmo também poderia identificar os melhores professores do sistema escolar. O impacto de um bom professor foi quase tão distintivo como o de um Batoteiro. em vez de obter respostas aleatórias corretas, seus alunos mostrariam real melhoria sobre os tipos mais fáceis de perguntas que tinham perdido anteriormente, uma indicação de aprendizagem real. E os alunos de um bom professor levaram todos os seus ganhos para o próximo ano.
no início de 2002, o novo CEO das Escolas Públicas de Chicago, Arne Duncan, queria passar por esta análise e tomar algumas medidas contra os professores infiéis. A melhor maneira de se livrar de professores infiéis, Duncan tinha decidido, era readministrar o exame padronizado. Ele só tinha os recursos para testar novamente 120 salas de aula, no entanto, ele pediu aos criadores do algoritmo de batota para ajudar a escolher quais salas de aula para testar.
a fim de tornar os resultados do novo teste convincentes, 120 salas de aula para o novo teste foram escolhidas de tal forma que mais da metade deles eram os suspeitos, pelo algoritmo, de ter professores infiéis. Os restantes foram aqueles preditos para ter excelentes a medíocres professores não-trapaceiros.
quando o teste foi realizado, os resultados foram tão convincentes quanto o algoritmo de batota havia previsto. Nas salas de aula onde não se suspeitava de batota, as pontuações mantiveram-se praticamente iguais ou até mesmo aumentaram. Em contraste, os alunos das salas de aula suspeitavam ter professores infiéis pontuados muito pior do que as pontuações iniciais “ajustadas”.
é assim que a análise de dados, complementada por uma abordagem lógica de pensamento, ajudou o sistema escolar público de Chicago a reunir provas suficientes contra e despedir os professores de ensino, proporcionando assim o benefício de improvisar o sistema educacional.
