Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SNEF2013 Funcionamento das Questões do ENEM

SNEF2013 Funcionamento das Questões do ENEM

Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010

E8c6a3f616383e7ecef073a883092858?s=128

Ewout ter Haar

January 23, 2013
Tweet

Transcript

  1. Análise do Funcionamento das Questões da Prova de Ciências da

    Natureza do Enem 2009 e 2010 Ewout ter Haar André Yamin IFUSP
  2. Introdução Dadas as premissas do ENEM após 2009, podemos avaliar

    a qualidade das questões? ◦ Análise de conteúdo ◦ Funcionamento das questões, após a aplicação da prova ◦ Correlação com indicadores de êxito (acadêmicos ou outros)
  3. Confiabilidade e Validade do instrumento de medida Um físico diria

    "precisão" e acurácia ou erros aleatórios e sistemáticos. O que o instrumento mede e como interage com o objeto de medida? http://sampa.if.usp.br/~suaide/LabFlex/blog/pivot/entry.php?id=34
  4. Análises feitos com uma amostra aleatório de 1%, filtrando prova

    azul, prova de CN, quem fez a prova. (~ 8 mil pessoas em 2010) Teoria Clássica de Testes ◦ Dificuldade ◦ Discriminação ◦ Correlação bisserial ◦ Gráficos das "Curvas Característas" Teoria de Resposta ao Item ◦ Gráficos das "Curvas Característas"
  5. Fração de acertos das Questões

  6. Fração de acertos das Questões

  7. Fração de acertos das Questões itens suspeitos 2009 2010 2011

    17 21 5 27 27 29 30 25 8 44 35 17 35 2 15
  8. Padrão de respostas Difícil distinguir entre uma questão boa e

    difícil e uma questão ruim Q25 de ENEM 2010
  9. Padrão de respostas dificil de interpretar ENEM 2010

  10. Indice de discriminação diferença de acertos entre os primeiro e

    último quartil: se é próximo a zero, não "discrimina" entre alunos "fortes" e "fracos" itens suspeitos 2009 2010 2011 31 27 29 27 25 38 30 10 33 44 21 5 35 5 17
  11. Coeficiente ponto bisserial Correlação entre acerto/não-acerto deste item com o

    número total de acertos Uma correlação alta indica um item "consistente" com os outros itens "deve ser > 0.2" DING et al. (2006) itens suspeitos 2009 2010 2011 31 27 29 27 25 38 30 10 33 35 21 10 44 5 22
  12. Curvas Características Empíricas Histogramas das médias de acertos para grupos

    com determinado escore total. Ou seja, são estimativas da probabilidade de acerto do item em função do escore total.
  13. Curvas Características Empíricas

  14. Teoria de Resposta ao Item TRI não estime a proficiência

    pela simples soma de acertos TRI estima as características dos itens independente da população A Curva Característica agora é em função da proficiência estimado pelo TRI Note: eixo-x é proficiência em unidades de desvio- padrão
  15. Analisar distratores também! As curvas para os distratores podem ser

    estimados também Note: eixo-x é proficiência em unidades de desvio-padrão
  16. ENEM 2010 Item 25 (70 no caderno azul) distrator C

    Exemplos
  17. ENEM 2009 item 31 caderno azul

  18. ENEM 2011 Item 29 (74 no caderno azul)

  19. Análise do Funcionamento das Questões da Prova de Ciências da

    Natureza do Enem 2009 e 2010 (e 2011) http://atp.usp.br/dados/enem ewout@usp.br Ewout ter Haar André Yamin IFUSP
  20. lida com Construtos ("habilidade", "inteligência", "introversão", etc.) e Instrumentos (provas,

    enquetes, etc.) Dados = Modelo + Residuais Observações, medidas pelos instrumentos em função dos construtos diferença entre modelo e observações Terminologia usado em Psicometria