Slide 1

Slide 1 text

Validation des prévisions écologiques utilisant VMAPP: Validation métrique appliquée à des prévisions probabilistes Corey Chivers Université McGill

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

La prédiction est très difficile, La prédiction est très difficile, en particulier à propos de l'avenir en particulier à propos de l'avenir -Niels Bohr, physicist (1885-1962) -Niels Bohr, physicist (1885-1962)

Slide 4

Slide 4 text

Les difficultés de la prévision écologique ● Des données limitées – Ressources limitées – Les événements rares - LDD – Phénomènes de grande échelle ● Connaissance incomplète des processus – Comment la «réalité» est capturée par notre représentation? ● Stochasticité – Résultats probabilistes – Le bruit et les non-déterminismes

Slide 5

Slide 5 text

Qu'est-ce qu'une prévision?

Slide 6

Slide 6 text

t=0 t=T Probability Density Qu'est-ce qu'une prévision? Prévisions n'est pas un «conjecture bien informée». Une prévision utile est une distribution de probabilité sur l'ensemble des résultats possibles.

Slide 7

Slide 7 text

t=0 t=T Probability Density Risk =∫ Probability( x)∗ f consq ( x)dx Incertitude compte quand il s'agit de risques et décisions

Slide 8

Slide 8 text

Validation ● Comment comparer ce qui s'est réellement passé avec nos prévisions? ● Qu'est-ce que cela signifie d'être "correct"? ● Prédire beaucoup (oui / non, présence / absence, éteint / existant, etc) résultats binaires.

Slide 9

Slide 9 text

Validation P( x 1 =1)=0.08, x 1 =0 P( x 2 =1)=0.78, x 2 =1 P( x 3 =1)=0.58, x 3 =0 P( x 4 =1)=0.29, x 4 =1 P( x 5 =1)=0.98, x 5 =1 P( x 6 =1)=0.48, x 6 =1

Slide 10

Slide 10 text

Validation P( x 1 =1)=0.08, x 1 =0 P( x 2 =1)=0.78, x 2 =1 P( x 3 =1)=0.58, x 3 =0 P( x 4 =1)=0.29, x 4 =1 P( x 5 =1)=0.98, x 5 =1 P( x 6 =1)=0.48, x 6 =1 ?

Slide 11

Slide 11 text

Mesures actuelles Aire Sous la Courbe (ASC) ne mesure que la discrimination (pas d'étalonnage) Intègre toutes les frontières de décision AUC = probabilité qu'un cas positif choisi au hasard (1) sera classé dans vos prédictions d'un cas négatif choisis au hasard (0).

Slide 12

Slide 12 text

Évaluer la vérité probabiliste A) Surestimation des probabilités prédites. B) Sous-estimation. C) Sous / Sur changement D) Sur / Sous changement Actual Model prediction

Slide 13

Slide 13 text

Présentation VMAPP (Validation métrique appliquée à des prévisions probabilistes) Chivers, Leung, & Yan (in prep) P(S > R | S≠R) P(S≠R)

Slide 14

Slide 14 text

Chivers, Leung, & Yan (in prep) Plus de puissance statistique! VMAPP peut détecter des écarts significatifs par rapport aux prédictions des modèles précis avec une puissance statistique supérieure à HL & Cox.

Slide 15

Slide 15 text

Qu'en est-il de l'incertitude? Notre véritable Ho n'est pas: C'est que notre modèle est correct: ̂ p=p ̂ M=M Chivers, Leung, & Yan (in prep)

Slide 16

Slide 16 text

Chivers, Leung, & Yan (in prep) Qu'en est-il de l'incertitude? Notre véritable Ho n'est pas: C'est que notre modèle est correct: ̂ p=p ̂ M=M

Slide 17

Slide 17 text

P(S≠R) P(S > R | S≠R) f 1 f 2 ̂ δ=2( f 2 −1/2) f 1 δ

Slide 18

Slide 18 text

Étude de cas: Un modèle publié de propagation de Bythotrephes

Slide 19

Slide 19 text

Étude de cas: Un modèle publié de propagation de Bythotrephes ● Modèle prédictif de Gertzen & Leung (2011) ● 102 lacs échantillonnés après la publication

Slide 20

Slide 20 text

Prédictions Chivers, Leung, & Yan (in prep)

Slide 21

Slide 21 text

VMAPP ne trouve aucune preuve de modèle mal calibré (P>0.05). ASC 0.82 ± 0.3 Chivers, Leung, & Yan (in prep)

Slide 22

Slide 22 text

Extensions VMAPP ● Estime actuellement la déviation en fonction de la probabilité prédite ● Possibilité d'estimer en fonction de variables du modèle, de l'espace, etc ● Diagnostic pour proposer des domaines structurels dans un modèle qui peut être amélioré. Essayez-le! https://github.com/cjbayesian/rvmapp

Slide 23

Slide 23 text

Remerciements Supervisors: Dr. Brian Leung Dr. Elena Bennett Dr. Claire De Mazancourt Dr. Gregor Fussman 300 Lakes Survey Team Lab Mates: Johanna Bradie Paul Edwards Kristina Marie Enciso Andrew Sellers Lidia Della Venezia Erin Gertzen Dylan Schneider