SNEF2013 Funcionamento das Questões do ENEM

Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010

Transcript

1. Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010 Ewout ter Haar André Yamin IFUSP
2. Introdução Dadas as premissas do ENEM após 2009, podemos avaliar a qualidade das questões? ◦ Análise de conteúdo ◦ Funcionamento das questões, após a aplicação da prova ◦ Correlação com indicadores de êxito (acadêmicos ou outros)
3. Confiabilidade e Validade do instrumento de medida Um físico diria "precisão" e acurácia ou erros aleatórios e sistemáticos. O que o instrumento mede e como interage com o objeto de medida? http://sampa.if.usp.br/~suaide/LabFlex/blog/pivot/entry.php?id=34
4. Análises feitos com uma amostra aleatório de 1%, filtrando prova azul, prova de CN, quem fez a prova. (~ 8 mil pessoas em 2010) Teoria Clássica de Testes ◦ Dificuldade ◦ Discriminação ◦ Correlação bisserial ◦ Gráficos das "Curvas Característas" Teoria de Resposta ao Item ◦ Gráficos das "Curvas Característas"
5. Fração de acertos das Questões
6. Fração de acertos das Questões
7. Fração de acertos das Questões itens suspeitos 2009 2010 2011 17 21 5 27 27 29 30 25 8 44 35 17 35 2 15
8. Padrão de respostas Difícil distinguir entre uma questão boa e difícil e uma questão ruim Q25 de ENEM 2010
9. Padrão de respostas dificil de interpretar ENEM 2010
10. Indice de discriminação diferença de acertos entre os primeiro e último quartil: se é próximo a zero, não "discrimina" entre alunos "fortes" e "fracos" itens suspeitos 2009 2010 2011 31 27 29 27 25 38 30 10 33 44 21 5 35 5 17
11. Coeficiente ponto bisserial Correlação entre acerto/não-acerto deste item com o número total de acertos Uma correlação alta indica um item "consistente" com os outros itens "deve ser > 0.2" DING et al. (2006) itens suspeitos 2009 2010 2011 31 27 29 27 25 38 30 10 33 35 21 10 44 5 22
12. Curvas Características Empíricas Histogramas das médias de acertos para grupos com determinado escore total. Ou seja, são estimativas da probabilidade de acerto do item em função do escore total.
13. Curvas Características Empíricas
14. Teoria de Resposta ao Item TRI não estime a proficiência pela simples soma de acertos TRI estima as características dos itens independente da população A Curva Característica agora é em função da proficiência estimado pelo TRI Note: eixo-x é proficiência em unidades de desvio- padrão
15. Analisar distratores também! As curvas para os distratores podem ser estimados também Note: eixo-x é proficiência em unidades de desvio-padrão
16. ENEM 2010 Item 25 (70 no caderno azul) distrator C Exemplos
17. ENEM 2009 item 31 caderno azul
18. ENEM 2011 Item 29 (74 no caderno azul)
19. Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010 (e 2011) http://atp.usp.br/dados/enem ewout@usp.br Ewout ter Haar André Yamin IFUSP
20. lida com Construtos ("habilidade", "inteligência", "introversão", etc.) e Instrumentos (provas, enquetes, etc.) Dados = Modelo + Residuais Observações, medidas pelos instrumentos em função dos construtos diferença entre modelo e observações Terminologia usado em Psicometria