Validation des prévisions écologiques utilisant VMAPP: Validation métrique appliquée à des prévisions probabilistes

Colloque du CSBQ 2013

Transcript

1. Validation des prévisions
   écologiques utilisant VMAPP:
   Validation métrique appliquée à des prévisions
   probabilistes
   Corey Chivers
   Université McGill
   

   View Slide

2. View Slide

3. La prédiction est très difficile,
   La prédiction est très difficile,
   en particulier à propos de l'avenir
   en particulier à propos de l'avenir
   -Niels Bohr, physicist (1885-1962)
   -Niels Bohr, physicist (1885-1962)
   

   View Slide

4. Les difficultés de la prévision
   écologique
   ●
   Des données limitées
   – Ressources limitées
   – Les événements rares - LDD
   – Phénomènes de grande échelle
   ●
   Connaissance incomplète des processus
   – Comment la «réalité» est capturée par notre
   représentation?
   ●
   Stochasticité
   – Résultats probabilistes
   – Le bruit et les non-déterminismes
   

   View Slide

5. Qu'est-ce qu'une prévision?
   

   View Slide

6. t=0 t=T
   Probability
   Density
   Qu'est-ce qu'une prévision?
   Prévisions n'est pas un «conjecture bien informée».
   Une prévision utile est une distribution de probabilité sur
   l'ensemble des résultats possibles.
   

   View Slide

7. t=0 t=T
   Probability
   Density
   Risk =∫ Probability( x)∗ f
   consq
   ( x)dx
   Incertitude compte quand il s'agit de
   risques et décisions
   

   View Slide

8. Validation
   ●
   Comment comparer ce qui s'est réellement
   passé avec nos prévisions?
   ●
   Qu'est-ce que cela signifie d'être "correct"?
   ●
   Prédire beaucoup (oui / non, présence /
   absence, éteint / existant, etc) résultats
   binaires.
   

   View Slide

9. Validation
   P( x
   1
   =1)=0.08, x
   1
   =0
   P( x
   2
   =1)=0.78, x
   2
   =1
   P( x
   3
   =1)=0.58, x
   3
   =0
   P( x
   4
   =1)=0.29, x
   4
   =1
   P( x
   5
   =1)=0.98, x
   5
   =1
   P( x
   6
   =1)=0.48, x
   6
   =1
   

   View Slide

10. Validation
    P( x
    1
    =1)=0.08, x
    1
    =0
    P( x
    2
    =1)=0.78, x
    2
    =1
    P( x
    3
    =1)=0.58, x
    3
    =0
    P( x
    4
    =1)=0.29, x
    4
    =1
    P( x
    5
    =1)=0.98, x
    5
    =1
    P( x
    6
    =1)=0.48, x
    6
    =1
    ?
    

    View Slide

11. Mesures actuelles
    Aire Sous la Courbe (ASC) ne mesure que la
    discrimination (pas d'étalonnage)
    Intègre toutes les frontières de décision
    AUC = probabilité qu'un cas positif
    choisi au hasard (1) sera classé
    dans vos prédictions d'un cas négatif
    choisis au hasard (0).
    

    View Slide

12. Évaluer la vérité
    probabiliste
    A) Surestimation des
    probabilités prédites.
    B) Sous-estimation.
    C) Sous / Sur changement
    D) Sur / Sous changement
    Actual
    Model prediction
    

    View Slide

13. Présentation VMAPP
    (Validation métrique appliquée à des prévisions probabilistes)
    Chivers, Leung, & Yan (in prep)
    P(S > R | S≠R) P(S≠R)
    

    View Slide

14. Chivers, Leung, & Yan (in prep)
    Plus de
    puissance
    statistique!
    VMAPP peut détecter
    des écarts significatifs
    par rapport aux
    prédictions des
    modèles précis avec
    une puissance
    statistique supérieure à
    HL & Cox.
    

    View Slide

15. Qu'en est-il de l'incertitude?
    Notre véritable Ho n'est pas:
    C'est que notre modèle est correct:
    ̂
    p=p
    ̂
    M=M
    Chivers, Leung, & Yan (in prep)
    

    View Slide

16. Chivers, Leung, & Yan (in prep)
    Qu'en est-il de l'incertitude?
    Notre véritable Ho n'est pas:
    C'est que notre modèle est correct:
    ̂
    p=p
    ̂
    M=M
    

    View Slide

17. P(S≠R)
    P(S > R | S≠R)
    f
    1
    f
    2
    ̂
    δ=2( f
    2
    −1/2) f
    1
    δ
    

    View Slide

18. Étude de cas: Un modèle publié de
    propagation de Bythotrephes
    

    View Slide

19. Étude de cas: Un modèle publié de
    propagation de Bythotrephes
    ●
    Modèle prédictif de Gertzen
    & Leung (2011)
    ●
    102 lacs échantillonnés
    après la publication
    

    View Slide

20. Prédictions
    Chivers, Leung, & Yan (in prep)
    

    View Slide

21. VMAPP ne trouve aucune
    preuve de modèle mal
    calibré (P>0.05).
    ASC 0.82 ± 0.3
    Chivers, Leung, & Yan (in prep)
    

    View Slide

22. Extensions VMAPP
    ●
    Estime actuellement la déviation en fonction
    de la probabilité prédite
    ●
    Possibilité d'estimer en fonction de variables
    du modèle, de l'espace, etc
    ●
    Diagnostic pour proposer des domaines
    structurels dans un modèle qui peut être
    amélioré.
    Essayez-le!
    https://github.com/cjbayesian/rvmapp
    

    View Slide

23. Remerciements
    Supervisors:
    Dr. Brian Leung
    Dr. Elena Bennett
    Dr. Claire De Mazancourt
    Dr. Gregor Fussman
    300 Lakes Survey Team
    Lab Mates:
    Johanna Bradie
    Paul Edwards
    Kristina Marie Enciso
    Andrew Sellers
    Lidia Della Venezia
    Erin Gertzen
    Dylan Schneider
    

    View Slide