$30 off During Our Annual Pro Sale. View Details »

#52 [1/2] - Evaluation de dommages aux bâtiments sur images THR par deep learning

#52 [1/2] - Evaluation de dommages aux bâtiments sur images THR par deep learning

Evaluation de dommages aux bâtiments sur images THR par deep learning

Abstract:

Dans le suivi des catastrophes naturelles, le contexte exige un temps de traitement court alors que le volume de données à traiter ne cesse d'augmenter. L'évaluation des dommages aux bâtiments est particulièrement importante car elle est cruciale pour l'organisation des opérations de secours. Dans ce contexte, Agenium Space a réalisé une étude pour le CNES sur le problème de la détection des bâtiments à l'aide de réseaux de segmentation et ensuite, le problème de la détection des dommages aux bâtiments à l'aide d'images THR pré- et post-désastre. L'approche proposée pour résoudre ce dernier problème repose sur l'utilisation de réseaux siamois pour traiter simultanément les images pré et post-catastrophe. L'évaluation des méthodes se fait d'abord avec la base de données xView-2 puis avec une étude de cas spécifique après un ouragan en Haïti avec des images Pléiades.

Bio:

Adrien est Ingénieur en Traitement du Signal et en Deep Learning à Agenium Space

Toulouse Data Science

December 03, 2021
Tweet

More Decks by Toulouse Data Science

Other Decks in Programming

Transcript

  1. R&T Détection de
    dégâts par deep
    learning
    Présentation TDS 30/11/21
    Adrien LAGRANGE

    View Slide

  2. 2
    Agenium Space

    View Slide

  3. 3
    Détection de dégâts par deep learning
    Objectif de l’étude :
     Evaluer l’apport du deep learning (DL) pour :
    1. La cartographie du bâti
    2. L’évaluation des dégâts sur les bâtiments après une catastrophe
    naturelles
     But à long terme : utiliser le DL dans la cadre de la Charte pour la gestion
    de crises suite à des catastrophes naturelles
    R&T financé par le CNES (DSO/SI/2A)

    View Slide

  4. 4
    Données d’entrainement
    Base de données xView2 :
    • 19 catastrophes entre 2011 et 2018
    • 6 types : séismes, tsunamis, inondations,
    éruptions volcaniques, incendies, ouragans
    • Différentes régions du monde
    • Images pré et post-catastrophe
    • Vérité terrain :
    • emprise du bâti
    • Classification en 4(+1) classes de
    dégâts (pas de dégâts, dégâts mineurs,
    dégâts majeurs, détruit (+ non
    classifié))

    View Slide

  5. 5
    Données d’entrainement
    Base de données xView2 :
    • 11034 images pré, 11034 images
    post (1024x1024 pixels, RGB)
    • 425368 (x2) emprises de bâtiments
    • Zone de 45361 km²
    • 3 satellites : WorldView2,
    WorldView3, GeoEye1
    • GSD : 30 à 70cm (pansharpened)
    • Angle NADIR de 4,7° à 36,4°

    View Slide

  6. Détection du bâti

    View Slide

  7. 7
    Architectures des réseaux
    Architectures de CNN utilisées
    • Réseaux de segmentation de type U-Net
    • Différents encodeurs testés (EfficientNet,
    ResNet, MobileNet)
    • Résultat : pour chaque pixel, la probabilité
    d’appartenir à un bâtiment
    Encodeur Décodeur

    View Slide

  8. 8
    Architectures des réseaux
    Model
    Nombre de
    paramètres (en
    millions)
    Input size Caractéristiques
    MobileNet 5.1 224x224
    Peu de feature maps, profondeur
    de 19 conv.
    EfficientNet light 8.6 224x224
    Peu de feature maps, utilisation
    de conv 5x5, profondeur de 17
    conv.
    EfficientNet 59 448x448
    Plus de features maps, plus de
    répétition des blocs, profondeur
    de 40 conv.
    ResNet++ 62.3 224x224 Profondeur de 101 conv.
    Paramétrage de l’entraînement :
    • Différents encodeurs : voir
    tableau
    • Méthode d’optimisation : SGD
    avec accélération de Nesterov et
    accumulation
    • Learning rate variable
    • Augmentation : zoom, rotation,
    modification de l’éclairement,
    cisaillement, flip

    View Slide

  9. 9
    Segmentation du bâti : résultats
     Meilleur encodeur : EfficientNet
     Résultats avec EfficientNet light sont également intéressants au regard du nombre de
    paramètres
    Model
    F1-score -
    buildings
    Précision -
    buildings
    Rappel -
    buildings
    Nombre de
    paramètres (en
    millions)
    UNET-MobileNet 0.771 0.688 0.876 5.1
    UNET-EfficientNet light 0.802 0.759 0.85 8.6
    UNET-EfficientNet 0.828 0.794 0.865 59
    UNET-ResNet 0.791 0.776 0.807 62.3

    View Slide

  10. 10
    Test time augmentation (TTA)
    Principe :
    Faire une inférence sur plusieurs rotations et
    flips puis moyenner les résultats
    Résultats :
    Gain de ~1% sur le dataset de test pour tous les
    modèles (voir slide suivante)
    8 instances

    View Slide

  11. 11
    Résultats sur base de test xView2
    Model TTA Accuracy F1-score - buildings Précision - buildings Rappel - buildings
    UNET-MobileNet 0.969 0.771 0.688 0.876
    UNET-MobileNet 0.971 0.784 0.702 0.887
    UNET-EfficientNet light 0.975 0.802 0.759 0.85
    UNET-EfficientNet light 0.977 0.813 0.771 0.859
    UNET-EfficientNet 0.979 0.828 0.794 0.865
    UNET-EfficientNet 0.98 0.834 0.805 0.866
    UNET-ResNet 0.975 0.791 0.776 0.807
    UNET-ResNet 0.976 0.801 0.78 0.822
     Toujours meilleur avec TTA
     3% au dessous du meilleur résultat sur le challenge xView2 (en score F1)

    View Slide

  12. 12
    Résultats avec ensembling
    N Model F1-score - buildings Précision - buildings Rappel - buildings
    1 UNET-EfficientNet light 0.813 0.771 0.859
    2 UNET-MobileNet 0.784 0.702 0.887
    3 UNET-ResNet 0.801 0.78 0.822
    4 UNET-EfficientNet 0.834 0.805 0.866
    Ensembling: model 2 and 3 0.811 0.793 0.831
    Ensembling: model 1, 3 and 4 0.831 0.804 0.861
    Ensembling: model 1 and 4 0.833 0.802 0.866
     Pas d’ensembling meilleur que le meilleur modèle
     Amélioration de 2+3 comparé à 2 et 3
    Piste : Entrainer plusieurs réseaux de l’architecture la plus performante
    Principe :
    Moyenner les prédictions de plusieurs
    réseaux (sur les probabilités)

    View Slide

  13. 13
    Résultats sur base de test xView2
    Images pré-catastrophes

    View Slide

  14. 14
    Résultats sur base de test xView2
    Vérité terrain

    View Slide

  15. 15
    Résultats sur base de test xView2
    UNET-EFFICIENTNET avec TTA

    View Slide

  16. Segmentation de
    dégâts

    View Slide

  17. 17
    Architecture U-Net siamois
    Architectures de réseaux :
    segmentation de dégâts
    Réseau de segmentation siamois :
    • Deux encodeurs traitant respectivement les
    images pré-catastrophe et post-catastrophe
    et partageant les mêmes poids
    • Encodeur : EfficientNet

    View Slide

  18. 18
    Architectures de réseaux :
    segmentation de dégâts
    Modèle
    Score F1
    Aucun dégât
    Score F1
    Dégâts
    mineurs
    Score F1
    Dégâts
    majeurs
    Score F1
    Détruit
    UNet-EfficientNet 0.790 0.412 0.635 0.702
     Résultats avec EfficientNet bons excepté pour la classe « dégâts mineurs »

    View Slide

  19. 19
    Résultats sur base de test xView2
    Images pré-catastrophes

    View Slide

  20. 20
    Résultats sur base de test xView2
    Images post-catastrophes

    View Slide

  21. 21
    Résultats sur base de test xView2
    UNET-EFFICIENTNET siamois avec TTA
    No-damage Minor damage Destroyed
    Major damage

    View Slide

  22. 22
    Résultats sur base de test xView2
    No-damage Minor damage Destroyed
    Major damage
    Vérité terrain

    View Slide

  23. 23
    Architectures de réseaux :
    segmentation de dégâts
    Réseau binaire en cascade :
    • Un réseau pour chaque classe entrainé en
    one vs all
    • Fusion des résultats a posteriori

    View Slide

  24. 24
    Architectures de réseaux :
    segmentation de dégâts
    Modèle
    Score F1
    Aucun dégât
    Score F1
    Dégâts mineurs
    Score F1
    Dégâts majeurs
    Score F1
    Détruit
    REF-UNET multi-classe 0.790 0.412 0.635 0.702
    DNN binaires 0.805 0.328 0.538 0.691
    REF-UNET multi-classe +
    fusion de majeur et mineur
    0.790 0.624 0.702
    DNN binaires : 3 classes 0.805 0.603 0.691
     Pas d’amélioration en utilisant des réseaux spécialisés
     Hypothèse : ce qu’on gagne en spécialisant, on le perd après à cause du problème de
    fusion des 4 résultats

    View Slide

  25. 25
    Architectures de réseaux :
    segmentation de dégâts
    Modèle
    Score F1
    Aucun dégât
    Score F1
    Dégâts mineurs
    Score F1
    Dégâts majeurs
    Score F1
    Détruit
    REF-UNET multi-classe 0.790 0.412 0.635 0.702
    DNN binaires 3 classes +
    séparation de majeur/mineur
    0.805 0.318 0.558 0.691
     Pas d’amélioration si on traite la séparation dégâts mineurs vs majeurs à part

    View Slide

  26. Test de généralisation
    sur images Pléiades

    View Slide

  27. 27
    Données Haïti
    Ouragan Matthieu sur l’île d’Haïti en octobre
    2016
    Données Pléiades (PAN : 70cm):
    • Image XS-pansharpened : 2015-11-10
    • Image XS-pansharpened : 2016-10-07
     Extraction de l’intersection des deux
    emprises : image de taille 30886x22154
    PRE
    POST

    View Slide

  28. 28
    Données Haïti – Détection du bâti
    Exemple de détection du bâti sur une zone peu dense

    View Slide

  29. 29
    Données Haïti – Détection du bâti
    Exemple de détection du bâti sur une zone urbaine dense

    View Slide

  30. 30
    Données Haïti – Segmentation en classes de dégâts
    Exemple de segmentation en types de dégâts sur une zone urbaine peu dense

    View Slide

  31. 31
    Données Haïti – Segmentation en classes de dégâts
    Exemple de segmentation en types de dégâts sur une zone urbaine dense

    View Slide

  32. 32
    Conclusions & Perspectives
    Bilan :
    • Très bons résultats pour la détection du bâti
    • Bons résultats pour la segmentation en classes de dégâts avec les réseaux de
    segmentation siamois mais problème de généralisation à traiter
    • Une classification en 3 classes semblent plus réalistes
    Perspectives :
    • Etudier l’influence du contexte d’acquisition (dépointage, capteur différence pré-
    post, etc.)
    • Explorer d’autres architectures de segmentation (FPN, Deeplab, …)
    • Traiter le problème quand uniquement l’image post-catastrophe est disponible
    • Ajouter des données exogènes (données tabulaires, cartes de cohérence, OSM, …)

    View Slide

  33. AGENIUM Space
    Adrien Lagrange
    François de Vieilleville
    Christine Fernandez-Martin
    1, avenue de l’Europe
    31400 TOULOUSE
    FRANCE
    t : +33 (0)5 61 41 03 98
    m :+33 (0)6 22 59 55 43
    agenium.group

    View Slide