Validation des prévisions écologiques utilisant VMAPP: Validation métrique appliquée à des prévisions probabilistes

Colloque du CSBQ 2013

Transcript

1. Validation des prévisions écologiques utilisant VMAPP: Validation métrique appliquée à des prévisions probabilistes Corey Chivers Université McGill
3. La prédiction est très difficile, La prédiction est très difficile, en particulier à propos de l'avenir en particulier à propos de l'avenir -Niels Bohr, physicist (1885-1962) -Niels Bohr, physicist (1885-1962)
4. Les difficultés de la prévision écologique • Des données limitées – Ressources limitées – Les événements rares - LDD – Phénomènes de grande échelle • Connaissance incomplète des processus – Comment la «réalité» est capturée par notre représentation? • Stochasticité – Résultats probabilistes – Le bruit et les non-déterminismes
5. Qu'est-ce qu'une prévision?
6. t=0 t=T Probability Density Qu'est-ce qu'une prévision? Prévisions n'est pas un «conjecture bien informée». Une prévision utile est une distribution de probabilité sur l'ensemble des résultats possibles.
7. t=0 t=T Probability Density Risk =∫ Probability( x)∗ f consq ( x)dx Incertitude compte quand il s'agit de risques et décisions
8. Validation • Comment comparer ce qui s'est réellement passé avec nos prévisions? • Qu'est-ce que cela signifie d'être "correct"? • Prédire beaucoup (oui / non, présence / absence, éteint / existant, etc) résultats binaires.
9. Validation P( x 1 =1)=0.08, x 1 =0 P( x 2 =1)=0.78, x 2 =1 P( x 3 =1)=0.58, x 3 =0 P( x 4 =1)=0.29, x 4 =1 P( x 5 =1)=0.98, x 5 =1 P( x 6 =1)=0.48, x 6 =1
10. Validation P( x 1 =1)=0.08, x 1 =0 P( x 2 =1)=0.78, x 2 =1 P( x 3 =1)=0.58, x 3 =0 P( x 4 =1)=0.29, x 4 =1 P( x 5 =1)=0.98, x 5 =1 P( x 6 =1)=0.48, x 6 =1 ?
11. Mesures actuelles Aire Sous la Courbe (ASC) ne mesure que la discrimination (pas d'étalonnage) Intègre toutes les frontières de décision AUC = probabilité qu'un cas positif choisi au hasard (1) sera classé dans vos prédictions d'un cas négatif choisis au hasard (0).
12. Évaluer la vérité probabiliste A) Surestimation des probabilités prédites. B) Sous-estimation. C) Sous / Sur changement D) Sur / Sous changement Actual Model prediction
13. Présentation VMAPP (Validation métrique appliquée à des prévisions probabilistes) Chivers, Leung, & Yan (in prep) P(S > R | S≠R) P(S≠R)
14. Chivers, Leung, & Yan (in prep) Plus de puissance statistique! VMAPP peut détecter des écarts significatifs par rapport aux prédictions des modèles précis avec une puissance statistique supérieure à HL & Cox.
15. Qu'en est-il de l'incertitude? Notre véritable Ho n'est pas: C'est que notre modèle est correct: ̂ p=p ̂ M=M Chivers, Leung, & Yan (in prep)
16. Chivers, Leung, & Yan (in prep) Qu'en est-il de l'incertitude? Notre véritable Ho n'est pas: C'est que notre modèle est correct: ̂ p=p ̂ M=M
17. P(S≠R) P(S > R | S≠R) f 1 f 2 ̂ δ=2( f 2 −1/2) f 1 δ
18. Étude de cas: Un modèle publié de propagation de Bythotrephes
19. Étude de cas: Un modèle publié de propagation de Bythotrephes • Modèle prédictif de Gertzen & Leung (2011) • 102 lacs échantillonnés après la publication
20. Prédictions Chivers, Leung, & Yan (in prep)
21. VMAPP ne trouve aucune preuve de modèle mal calibré (P>0.05). ASC 0.82 ± 0.3 Chivers, Leung, & Yan (in prep)
22. Extensions VMAPP • Estime actuellement la déviation en fonction de la probabilité prédite • Possibilité d'estimer en fonction de variables du modèle, de l'espace, etc • Diagnostic pour proposer des domaines structurels dans un modèle qui peut être amélioré. Essayez-le! https://github.com/cjbayesian/rvmapp
23. Remerciements Supervisors: Dr. Brian Leung Dr. Elena Bennett Dr. Claire De Mazancourt Dr. Gregor Fussman 300 Lakes Survey Team Lab Mates: Johanna Bradie Paul Edwards Kristina Marie Enciso Andrew Sellers Lidia Della Venezia Erin Gertzen Dylan Schneider