#52 [1/2] - Evaluation de dommages aux bâtiments sur images THR par deep learning

Evaluation de dommages aux bâtiments sur images THR par deep learning

Abstract:

Dans le suivi des catastrophes naturelles, le contexte exige un temps de traitement court alors que le volume de données à traiter ne cesse d'augmenter. L'évaluation des dommages aux bâtiments est particulièrement importante car elle est cruciale pour l'organisation des opérations de secours. Dans ce contexte, Agenium Space a réalisé une étude pour le CNES sur le problème de la détection des bâtiments à l'aide de réseaux de segmentation et ensuite, le problème de la détection des dommages aux bâtiments à l'aide d'images THR pré- et post-désastre. L'approche proposée pour résoudre ce dernier problème repose sur l'utilisation de réseaux siamois pour traiter simultanément les images pré et post-catastrophe. L'évaluation des méthodes se fait d'abord avec la base de données xView-2 puis avec une étude de cas spécifique après un ouragan en Haïti avec des images Pléiades.

Bio:

Adrien est Ingénieur en Traitement du Signal et en Deep Learning à Agenium Space

Transcript

1. R&T Détection de
   dégâts par deep
   learning
   Présentation TDS 30/11/21
   Adrien LAGRANGE
   

   View Slide

2. 2
   Agenium Space
   

   View Slide

3. 3
   Détection de dégâts par deep learning
   Objectif de l’étude :
    Evaluer l’apport du deep learning (DL) pour :
   1. La cartographie du bâti
   2. L’évaluation des dégâts sur les bâtiments après une catastrophe
   naturelles
    But à long terme : utiliser le DL dans la cadre de la Charte pour la gestion
   de crises suite à des catastrophes naturelles
   R&T financé par le CNES (DSO/SI/2A)
   

   View Slide

4. 4
   Données d’entrainement
   Base de données xView2 :
   • 19 catastrophes entre 2011 et 2018
   • 6 types : séismes, tsunamis, inondations,
   éruptions volcaniques, incendies, ouragans
   • Différentes régions du monde
   • Images pré et post-catastrophe
   • Vérité terrain :
   • emprise du bâti
   • Classification en 4(+1) classes de
   dégâts (pas de dégâts, dégâts mineurs,
   dégâts majeurs, détruit (+ non
   classifié))
   

   View Slide

5. 5
   Données d’entrainement
   Base de données xView2 :
   • 11034 images pré, 11034 images
   post (1024x1024 pixels, RGB)
   • 425368 (x2) emprises de bâtiments
   • Zone de 45361 km²
   • 3 satellites : WorldView2,
   WorldView3, GeoEye1
   • GSD : 30 à 70cm (pansharpened)
   • Angle NADIR de 4,7° à 36,4°
   

   View Slide

6. Détection du bâti
   

   View Slide

7. 7
   Architectures des réseaux
   Architectures de CNN utilisées
   • Réseaux de segmentation de type U-Net
   • Différents encodeurs testés (EfficientNet,
   ResNet, MobileNet)
   • Résultat : pour chaque pixel, la probabilité
   d’appartenir à un bâtiment
   Encodeur Décodeur
   

   View Slide

8. 8
   Architectures des réseaux
   Model
   Nombre de
   paramètres (en
   millions)
   Input size Caractéristiques
   MobileNet 5.1 224x224
   Peu de feature maps, profondeur
   de 19 conv.
   EfficientNet light 8.6 224x224
   Peu de feature maps, utilisation
   de conv 5x5, profondeur de 17
   conv.
   EfficientNet 59 448x448
   Plus de features maps, plus de
   répétition des blocs, profondeur
   de 40 conv.
   ResNet++ 62.3 224x224 Profondeur de 101 conv.
   Paramétrage de l’entraînement :
   • Différents encodeurs : voir
   tableau
   • Méthode d’optimisation : SGD
   avec accélération de Nesterov et
   accumulation
   • Learning rate variable
   • Augmentation : zoom, rotation,
   modification de l’éclairement,
   cisaillement, flip
   

   View Slide

9. 9
   Segmentation du bâti : résultats
    Meilleur encodeur : EfficientNet
    Résultats avec EfficientNet light sont également intéressants au regard du nombre de
   paramètres
   Model
   F1-score -
   buildings
   Précision -
   buildings
   Rappel -
   buildings
   Nombre de
   paramètres (en
   millions)
   UNET-MobileNet 0.771 0.688 0.876 5.1
   UNET-EfficientNet light 0.802 0.759 0.85 8.6
   UNET-EfficientNet 0.828 0.794 0.865 59
   UNET-ResNet 0.791 0.776 0.807 62.3
   

   View Slide

10. 10
    Test time augmentation (TTA)
    Principe :
    Faire une inférence sur plusieurs rotations et
    flips puis moyenner les résultats
    Résultats :
    Gain de ~1% sur le dataset de test pour tous les
    modèles (voir slide suivante)
    8 instances
    

    View Slide

11. 11
    Résultats sur base de test xView2
    Model TTA Accuracy F1-score - buildings Précision - buildings Rappel - buildings
    UNET-MobileNet 0.969 0.771 0.688 0.876
    UNET-MobileNet 0.971 0.784 0.702 0.887
    UNET-EfficientNet light 0.975 0.802 0.759 0.85
    UNET-EfficientNet light 0.977 0.813 0.771 0.859
    UNET-EfficientNet 0.979 0.828 0.794 0.865
    UNET-EfficientNet 0.98 0.834 0.805 0.866
    UNET-ResNet 0.975 0.791 0.776 0.807
    UNET-ResNet 0.976 0.801 0.78 0.822
     Toujours meilleur avec TTA
     3% au dessous du meilleur résultat sur le challenge xView2 (en score F1)
    

    View Slide

12. 12
    Résultats avec ensembling
    N Model F1-score - buildings Précision - buildings Rappel - buildings
    1 UNET-EfficientNet light 0.813 0.771 0.859
    2 UNET-MobileNet 0.784 0.702 0.887
    3 UNET-ResNet 0.801 0.78 0.822
    4 UNET-EfficientNet 0.834 0.805 0.866
    Ensembling: model 2 and 3 0.811 0.793 0.831
    Ensembling: model 1, 3 and 4 0.831 0.804 0.861
    Ensembling: model 1 and 4 0.833 0.802 0.866
     Pas d’ensembling meilleur que le meilleur modèle
     Amélioration de 2+3 comparé à 2 et 3
    Piste : Entrainer plusieurs réseaux de l’architecture la plus performante
    Principe :
    Moyenner les prédictions de plusieurs
    réseaux (sur les probabilités)
    

    View Slide

13. 13
    Résultats sur base de test xView2
    Images pré-catastrophes
    

    View Slide

14. 14
    Résultats sur base de test xView2
    Vérité terrain
    

    View Slide

15. 15
    Résultats sur base de test xView2
    UNET-EFFICIENTNET avec TTA
    

    View Slide

16. Segmentation de
    dégâts
    

    View Slide

17. 17
    Architecture U-Net siamois
    Architectures de réseaux :
    segmentation de dégâts
    Réseau de segmentation siamois :
    • Deux encodeurs traitant respectivement les
    images pré-catastrophe et post-catastrophe
    et partageant les mêmes poids
    • Encodeur : EfficientNet
    

    View Slide

18. 18
    Architectures de réseaux :
    segmentation de dégâts
    Modèle
    Score F1
    Aucun dégât
    Score F1
    Dégâts
    mineurs
    Score F1
    Dégâts
    majeurs
    Score F1
    Détruit
    UNet-EfficientNet 0.790 0.412 0.635 0.702
     Résultats avec EfficientNet bons excepté pour la classe « dégâts mineurs »
    

    View Slide

19. 19
    Résultats sur base de test xView2
    Images pré-catastrophes
    

    View Slide

20. 20
    Résultats sur base de test xView2
    Images post-catastrophes
    

    View Slide

21. 21
    Résultats sur base de test xView2
    UNET-EFFICIENTNET siamois avec TTA
    No-damage Minor damage Destroyed
    Major damage
    

    View Slide

22. 22
    Résultats sur base de test xView2
    No-damage Minor damage Destroyed
    Major damage
    Vérité terrain
    

    View Slide

23. 23
    Architectures de réseaux :
    segmentation de dégâts
    Réseau binaire en cascade :
    • Un réseau pour chaque classe entrainé en
    one vs all
    • Fusion des résultats a posteriori
    

    View Slide

24. 24
    Architectures de réseaux :
    segmentation de dégâts
    Modèle
    Score F1
    Aucun dégât
    Score F1
    Dégâts mineurs
    Score F1
    Dégâts majeurs
    Score F1
    Détruit
    REF-UNET multi-classe 0.790 0.412 0.635 0.702
    DNN binaires 0.805 0.328 0.538 0.691
    REF-UNET multi-classe +
    fusion de majeur et mineur
    0.790 0.624 0.702
    DNN binaires : 3 classes 0.805 0.603 0.691
     Pas d’amélioration en utilisant des réseaux spécialisés
     Hypothèse : ce qu’on gagne en spécialisant, on le perd après à cause du problème de
    fusion des 4 résultats
    

    View Slide

25. 25
    Architectures de réseaux :
    segmentation de dégâts
    Modèle
    Score F1
    Aucun dégât
    Score F1
    Dégâts mineurs
    Score F1
    Dégâts majeurs
    Score F1
    Détruit
    REF-UNET multi-classe 0.790 0.412 0.635 0.702
    DNN binaires 3 classes +
    séparation de majeur/mineur
    0.805 0.318 0.558 0.691
     Pas d’amélioration si on traite la séparation dégâts mineurs vs majeurs à part
    

    View Slide

26. Test de généralisation
    sur images Pléiades
    

    View Slide

27. 27
    Données Haïti
    Ouragan Matthieu sur l’île d’Haïti en octobre
    2016
    Données Pléiades (PAN : 70cm):
    • Image XS-pansharpened : 2015-11-10
    • Image XS-pansharpened : 2016-10-07
     Extraction de l’intersection des deux
    emprises : image de taille 30886x22154
    PRE
    POST
    

    View Slide

28. 28
    Données Haïti – Détection du bâti
    Exemple de détection du bâti sur une zone peu dense
    

    View Slide

29. 29
    Données Haïti – Détection du bâti
    Exemple de détection du bâti sur une zone urbaine dense
    

    View Slide

30. 30
    Données Haïti – Segmentation en classes de dégâts
    Exemple de segmentation en types de dégâts sur une zone urbaine peu dense
    

    View Slide

31. 31
    Données Haïti – Segmentation en classes de dégâts
    Exemple de segmentation en types de dégâts sur une zone urbaine dense
    

    View Slide

32. 32
    Conclusions & Perspectives
    Bilan :
    • Très bons résultats pour la détection du bâti
    • Bons résultats pour la segmentation en classes de dégâts avec les réseaux de
    segmentation siamois mais problème de généralisation à traiter
    • Une classification en 3 classes semblent plus réalistes
    Perspectives :
    • Etudier l’influence du contexte d’acquisition (dépointage, capteur différence pré-
    post, etc.)
    • Explorer d’autres architectures de segmentation (FPN, Deeplab, …)
    • Traiter le problème quand uniquement l’image post-catastrophe est disponible
    • Ajouter des données exogènes (données tabulaires, cartes de cohérence, OSM, …)
    

    View Slide

33. AGENIUM Space
    Adrien Lagrange
    François de Vieilleville
    Christine Fernandez-Martin
    1, avenue de l’Europe
    31400 TOULOUSE
    FRANCE
    t : +33 (0)5 61 41 03 98
    m :+33 (0)6 22 59 55 43
    agenium.group
    

    View Slide