Validation des prévisions
écologiques utilisant VMAPP:
Validation métrique appliquée à des prévisions
probabilistes
Corey Chivers
Université McGill
Slide 2
Slide 2 text
No content
Slide 3
Slide 3 text
La prédiction est très difficile,
La prédiction est très difficile,
en particulier à propos de l'avenir
en particulier à propos de l'avenir
-Niels Bohr, physicist (1885-1962)
-Niels Bohr, physicist (1885-1962)
Slide 4
Slide 4 text
Les difficultés de la prévision
écologique
●
Des données limitées
– Ressources limitées
– Les événements rares - LDD
– Phénomènes de grande échelle
●
Connaissance incomplète des processus
– Comment la «réalité» est capturée par notre
représentation?
●
Stochasticité
– Résultats probabilistes
– Le bruit et les non-déterminismes
Slide 5
Slide 5 text
Qu'est-ce qu'une prévision?
Slide 6
Slide 6 text
t=0 t=T
Probability
Density
Qu'est-ce qu'une prévision?
Prévisions n'est pas un «conjecture bien informée».
Une prévision utile est une distribution de probabilité sur
l'ensemble des résultats possibles.
Slide 7
Slide 7 text
t=0 t=T
Probability
Density
Risk =∫ Probability( x)∗ f
consq
( x)dx
Incertitude compte quand il s'agit de
risques et décisions
Slide 8
Slide 8 text
Validation
●
Comment comparer ce qui s'est réellement
passé avec nos prévisions?
●
Qu'est-ce que cela signifie d'être "correct"?
●
Prédire beaucoup (oui / non, présence /
absence, éteint / existant, etc) résultats
binaires.
Slide 9
Slide 9 text
Validation
P( x
1
=1)=0.08, x
1
=0
P( x
2
=1)=0.78, x
2
=1
P( x
3
=1)=0.58, x
3
=0
P( x
4
=1)=0.29, x
4
=1
P( x
5
=1)=0.98, x
5
=1
P( x
6
=1)=0.48, x
6
=1
Slide 10
Slide 10 text
Validation
P( x
1
=1)=0.08, x
1
=0
P( x
2
=1)=0.78, x
2
=1
P( x
3
=1)=0.58, x
3
=0
P( x
4
=1)=0.29, x
4
=1
P( x
5
=1)=0.98, x
5
=1
P( x
6
=1)=0.48, x
6
=1
?
Slide 11
Slide 11 text
Mesures actuelles
Aire Sous la Courbe (ASC) ne mesure que la
discrimination (pas d'étalonnage)
Intègre toutes les frontières de décision
AUC = probabilité qu'un cas positif
choisi au hasard (1) sera classé
dans vos prédictions d'un cas négatif
choisis au hasard (0).
Slide 12
Slide 12 text
Évaluer la vérité
probabiliste
A) Surestimation des
probabilités prédites.
B) Sous-estimation.
C) Sous / Sur changement
D) Sur / Sous changement
Actual
Model prediction
Slide 13
Slide 13 text
Présentation VMAPP
(Validation métrique appliquée à des prévisions probabilistes)
Chivers, Leung, & Yan (in prep)
P(S > R | S≠R) P(S≠R)
Slide 14
Slide 14 text
Chivers, Leung, & Yan (in prep)
Plus de
puissance
statistique!
VMAPP peut détecter
des écarts significatifs
par rapport aux
prédictions des
modèles précis avec
une puissance
statistique supérieure à
HL & Cox.
Slide 15
Slide 15 text
Qu'en est-il de l'incertitude?
Notre véritable Ho n'est pas:
C'est que notre modèle est correct:
̂
p=p
̂
M=M
Chivers, Leung, & Yan (in prep)
Slide 16
Slide 16 text
Chivers, Leung, & Yan (in prep)
Qu'en est-il de l'incertitude?
Notre véritable Ho n'est pas:
C'est que notre modèle est correct:
̂
p=p
̂
M=M
Slide 17
Slide 17 text
P(S≠R)
P(S > R | S≠R)
f
1
f
2
̂
δ=2( f
2
−1/2) f
1
δ
Slide 18
Slide 18 text
Étude de cas: Un modèle publié de
propagation de Bythotrephes
Slide 19
Slide 19 text
Étude de cas: Un modèle publié de
propagation de Bythotrephes
●
Modèle prédictif de Gertzen
& Leung (2011)
●
102 lacs échantillonnés
après la publication
Slide 20
Slide 20 text
Prédictions
Chivers, Leung, & Yan (in prep)
Slide 21
Slide 21 text
VMAPP ne trouve aucune
preuve de modèle mal
calibré (P>0.05).
ASC 0.82 ± 0.3
Chivers, Leung, & Yan (in prep)
Slide 22
Slide 22 text
Extensions VMAPP
●
Estime actuellement la déviation en fonction
de la probabilité prédite
●
Possibilité d'estimer en fonction de variables
du modèle, de l'espace, etc
●
Diagnostic pour proposer des domaines
structurels dans un modèle qui peut être
amélioré.
Essayez-le!
https://github.com/cjbayesian/rvmapp
Slide 23
Slide 23 text
Remerciements
Supervisors:
Dr. Brian Leung
Dr. Elena Bennett
Dr. Claire De Mazancourt
Dr. Gregor Fussman
300 Lakes Survey Team
Lab Mates:
Johanna Bradie
Paul Edwards
Kristina Marie Enciso
Andrew Sellers
Lidia Della Venezia
Erin Gertzen
Dylan Schneider