Validation des prévisions écologiques utilisant VMAPP: Validation métrique appliquée à des prévisions probabilistes

5779dc3bf8c8a0c9dadb7ff95c67e9e3?s=47 Corey Chivers
December 13, 2013

Validation des prévisions écologiques utilisant VMAPP: Validation métrique appliquée à des prévisions probabilistes

Colloque du CSBQ 2013

5779dc3bf8c8a0c9dadb7ff95c67e9e3?s=128

Corey Chivers

December 13, 2013
Tweet

Transcript

  1. Validation des prévisions écologiques utilisant VMAPP: Validation métrique appliquée à

    des prévisions probabilistes Corey Chivers Université McGill
  2. None
  3. La prédiction est très difficile, La prédiction est très difficile,

    en particulier à propos de l'avenir en particulier à propos de l'avenir -Niels Bohr, physicist (1885-1962) -Niels Bohr, physicist (1885-1962)
  4. Les difficultés de la prévision écologique • Des données limitées

    – Ressources limitées – Les événements rares - LDD – Phénomènes de grande échelle • Connaissance incomplète des processus – Comment la «réalité» est capturée par notre représentation? • Stochasticité – Résultats probabilistes – Le bruit et les non-déterminismes
  5. Qu'est-ce qu'une prévision?

  6. t=0 t=T Probability Density Qu'est-ce qu'une prévision? Prévisions n'est pas

    un «conjecture bien informée». Une prévision utile est une distribution de probabilité sur l'ensemble des résultats possibles.
  7. t=0 t=T Probability Density Risk =∫ Probability( x)∗ f consq

    ( x)dx Incertitude compte quand il s'agit de risques et décisions
  8. Validation • Comment comparer ce qui s'est réellement passé avec

    nos prévisions? • Qu'est-ce que cela signifie d'être "correct"? • Prédire beaucoup (oui / non, présence / absence, éteint / existant, etc) résultats binaires.
  9. Validation P( x 1 =1)=0.08, x 1 =0 P( x

    2 =1)=0.78, x 2 =1 P( x 3 =1)=0.58, x 3 =0 P( x 4 =1)=0.29, x 4 =1 P( x 5 =1)=0.98, x 5 =1 P( x 6 =1)=0.48, x 6 =1
  10. Validation P( x 1 =1)=0.08, x 1 =0 P( x

    2 =1)=0.78, x 2 =1 P( x 3 =1)=0.58, x 3 =0 P( x 4 =1)=0.29, x 4 =1 P( x 5 =1)=0.98, x 5 =1 P( x 6 =1)=0.48, x 6 =1 ?
  11. Mesures actuelles Aire Sous la Courbe (ASC) ne mesure que

    la discrimination (pas d'étalonnage) Intègre toutes les frontières de décision AUC = probabilité qu'un cas positif choisi au hasard (1) sera classé dans vos prédictions d'un cas négatif choisis au hasard (0).
  12. Évaluer la vérité probabiliste A) Surestimation des probabilités prédites. B)

    Sous-estimation. C) Sous / Sur changement D) Sur / Sous changement Actual Model prediction
  13. Présentation VMAPP (Validation métrique appliquée à des prévisions probabilistes) Chivers,

    Leung, & Yan (in prep) P(S > R | S≠R) P(S≠R)
  14. Chivers, Leung, & Yan (in prep) Plus de puissance statistique!

    VMAPP peut détecter des écarts significatifs par rapport aux prédictions des modèles précis avec une puissance statistique supérieure à HL & Cox.
  15. Qu'en est-il de l'incertitude? Notre véritable Ho n'est pas: C'est

    que notre modèle est correct: ̂ p=p ̂ M=M Chivers, Leung, & Yan (in prep)
  16. Chivers, Leung, & Yan (in prep) Qu'en est-il de l'incertitude?

    Notre véritable Ho n'est pas: C'est que notre modèle est correct: ̂ p=p ̂ M=M
  17. P(S≠R) P(S > R | S≠R) f 1 f 2

    ̂ δ=2( f 2 −1/2) f 1 δ
  18. Étude de cas: Un modèle publié de propagation de Bythotrephes

  19. Étude de cas: Un modèle publié de propagation de Bythotrephes

    • Modèle prédictif de Gertzen & Leung (2011) • 102 lacs échantillonnés après la publication
  20. Prédictions Chivers, Leung, & Yan (in prep)

  21. VMAPP ne trouve aucune preuve de modèle mal calibré (P>0.05).

    ASC 0.82 ± 0.3 Chivers, Leung, & Yan (in prep)
  22. Extensions VMAPP • Estime actuellement la déviation en fonction de

    la probabilité prédite • Possibilité d'estimer en fonction de variables du modèle, de l'espace, etc • Diagnostic pour proposer des domaines structurels dans un modèle qui peut être amélioré. Essayez-le! https://github.com/cjbayesian/rvmapp
  23. Remerciements Supervisors: Dr. Brian Leung Dr. Elena Bennett Dr. Claire

    De Mazancourt Dr. Gregor Fussman 300 Lakes Survey Team Lab Mates: Johanna Bradie Paul Edwards Kristina Marie Enciso Andrew Sellers Lidia Della Venezia Erin Gertzen Dylan Schneider