Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SNEF2013 Funcionamento das Questões do ENEM

SNEF2013 Funcionamento das Questões do ENEM

Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010

Ewout ter Haar

January 23, 2013
Tweet

More Decks by Ewout ter Haar

Other Decks in Education

Transcript

  1. Análise do Funcionamento das Questões
    da Prova de Ciências da
    Natureza do Enem 2009 e 2010
    Ewout ter Haar
    André Yamin
    IFUSP

    View full-size slide

  2. Introdução
    Dadas as premissas do ENEM após 2009,
    podemos avaliar a qualidade das questões?

    Análise de conteúdo

    Funcionamento das questões,
    após a aplicação da prova

    Correlação com indicadores de
    êxito (acadêmicos ou outros)

    View full-size slide

  3. Confiabilidade e Validade do instrumento de
    medida
    Um físico diria "precisão"
    e acurácia ou erros
    aleatórios e sistemáticos.
    O que o instrumento
    mede e como interage
    com o objeto de
    medida?
    http://sampa.if.usp.br/~suaide/LabFlex/blog/pivot/entry.php?id=34

    View full-size slide

  4. Análises feitos com uma amostra aleatório de 1%, filtrando
    prova azul, prova de CN, quem fez a prova. (~ 8 mil
    pessoas em 2010)
    Teoria Clássica de Testes
    ○ Dificuldade
    ○ Discriminação
    ○ Correlação bisserial
    ○ Gráficos das "Curvas Característas"
    Teoria de Resposta ao Item
    ○ Gráficos das "Curvas Característas"

    View full-size slide

  5. Fração de acertos das Questões

    View full-size slide

  6. Fração de acertos das Questões

    View full-size slide

  7. Fração de acertos das Questões
    itens suspeitos
    2009 2010 2011
    17 21 5
    27 27 29
    30 25 8
    44 35 17
    35 2 15

    View full-size slide

  8. Padrão de respostas
    Difícil distinguir
    entre uma
    questão boa e
    difícil e uma
    questão ruim
    Q25 de ENEM 2010

    View full-size slide

  9. Padrão de respostas
    dificil de interpretar
    ENEM 2010

    View full-size slide

  10. Indice de discriminação
    diferença de acertos entre os primeiro e último quartil: se é próximo a
    zero, não "discrimina" entre alunos "fortes" e "fracos"
    itens suspeitos
    2009 2010 2011
    31 27 29
    27 25 38
    30 10 33
    44 21 5
    35 5 17

    View full-size slide

  11. Coeficiente ponto bisserial
    Correlação entre acerto/não-acerto deste item com o número total de acertos
    Uma correlação alta indica um item "consistente" com os outros itens
    "deve ser > 0.2" DING et al. (2006)
    itens suspeitos
    2009 2010 2011
    31 27 29
    27 25 38
    30 10 33
    35 21 10
    44 5 22

    View full-size slide

  12. Curvas Características Empíricas
    Histogramas das médias de acertos para grupos com determinado escore
    total. Ou seja, são estimativas da probabilidade de acerto do item em
    função do escore total.

    View full-size slide

  13. Curvas Características Empíricas

    View full-size slide

  14. Teoria de Resposta ao Item
    TRI não estime a proficiência pela simples soma de acertos
    TRI estima as características dos itens independente da população
    A Curva Característica agora é em função da proficiência estimado pelo TRI
    Note: eixo-x é proficiência
    em unidades de desvio-
    padrão

    View full-size slide

  15. Analisar distratores também!
    As curvas para os distratores
    podem ser estimados também
    Note: eixo-x é proficiência em
    unidades de desvio-padrão

    View full-size slide

  16. ENEM 2010 Item 25 (70 no caderno azul)
    distrator C
    Exemplos

    View full-size slide

  17. ENEM 2009 item 31 caderno azul

    View full-size slide

  18. ENEM 2011 Item 29 (74 no caderno azul)

    View full-size slide

  19. Análise do Funcionamento das Questões
    da Prova de Ciências da
    Natureza do Enem 2009 e 2010
    (e 2011)
    http://atp.usp.br/dados/enem
    [email protected]
    Ewout ter Haar
    André Yamin
    IFUSP

    View full-size slide

  20. lida com
    Construtos ("habilidade", "inteligência",
    "introversão", etc.) e
    Instrumentos (provas, enquetes, etc.)
    Dados = Modelo + Residuais
    Observações, medidas
    pelos instrumentos
    em função dos
    construtos
    diferença entre modelo e
    observações
    Terminologia usado em Psicometria

    View full-size slide