Upgrade to Pro — share decks privately, control downloads, hide ads and more …

#52 [1/2] - Evaluation de dommages aux bâtiments sur images THR par deep learning

#52 [1/2] - Evaluation de dommages aux bâtiments sur images THR par deep learning

Evaluation de dommages aux bâtiments sur images THR par deep learning

Abstract:

Dans le suivi des catastrophes naturelles, le contexte exige un temps de traitement court alors que le volume de données à traiter ne cesse d'augmenter. L'évaluation des dommages aux bâtiments est particulièrement importante car elle est cruciale pour l'organisation des opérations de secours. Dans ce contexte, Agenium Space a réalisé une étude pour le CNES sur le problème de la détection des bâtiments à l'aide de réseaux de segmentation et ensuite, le problème de la détection des dommages aux bâtiments à l'aide d'images THR pré- et post-désastre. L'approche proposée pour résoudre ce dernier problème repose sur l'utilisation de réseaux siamois pour traiter simultanément les images pré et post-catastrophe. L'évaluation des méthodes se fait d'abord avec la base de données xView-2 puis avec une étude de cas spécifique après un ouragan en Haïti avec des images Pléiades.

Bio:

Adrien est Ingénieur en Traitement du Signal et en Deep Learning à Agenium Space

6aa4f3c589d3108830b371d0310bc4da?s=128

Toulouse Data Science

December 03, 2021
Tweet

Transcript

  1. R&T Détection de dégâts par deep learning Présentation TDS 30/11/21

    Adrien LAGRANGE
  2. 2 Agenium Space

  3. 3 Détection de dégâts par deep learning Objectif de l’étude

    :  Evaluer l’apport du deep learning (DL) pour : 1. La cartographie du bâti 2. L’évaluation des dégâts sur les bâtiments après une catastrophe naturelles  But à long terme : utiliser le DL dans la cadre de la Charte pour la gestion de crises suite à des catastrophes naturelles R&T financé par le CNES (DSO/SI/2A)
  4. 4 Données d’entrainement Base de données xView2 : • 19

    catastrophes entre 2011 et 2018 • 6 types : séismes, tsunamis, inondations, éruptions volcaniques, incendies, ouragans • Différentes régions du monde • Images pré et post-catastrophe • Vérité terrain : • emprise du bâti • Classification en 4(+1) classes de dégâts (pas de dégâts, dégâts mineurs, dégâts majeurs, détruit (+ non classifié))
  5. 5 Données d’entrainement Base de données xView2 : • 11034

    images pré, 11034 images post (1024x1024 pixels, RGB) • 425368 (x2) emprises de bâtiments • Zone de 45361 km² • 3 satellites : WorldView2, WorldView3, GeoEye1 • GSD : 30 à 70cm (pansharpened) • Angle NADIR de 4,7° à 36,4°
  6. Détection du bâti

  7. 7 Architectures des réseaux Architectures de CNN utilisées • Réseaux

    de segmentation de type U-Net • Différents encodeurs testés (EfficientNet, ResNet, MobileNet) • Résultat : pour chaque pixel, la probabilité d’appartenir à un bâtiment Encodeur Décodeur
  8. 8 Architectures des réseaux Model Nombre de paramètres (en millions)

    Input size Caractéristiques MobileNet 5.1 224x224 Peu de feature maps, profondeur de 19 conv. EfficientNet light 8.6 224x224 Peu de feature maps, utilisation de conv 5x5, profondeur de 17 conv. EfficientNet 59 448x448 Plus de features maps, plus de répétition des blocs, profondeur de 40 conv. ResNet++ 62.3 224x224 Profondeur de 101 conv. Paramétrage de l’entraînement : • Différents encodeurs : voir tableau • Méthode d’optimisation : SGD avec accélération de Nesterov et accumulation • Learning rate variable • Augmentation : zoom, rotation, modification de l’éclairement, cisaillement, flip
  9. 9 Segmentation du bâti : résultats  Meilleur encodeur :

    EfficientNet  Résultats avec EfficientNet light sont également intéressants au regard du nombre de paramètres Model F1-score - buildings Précision - buildings Rappel - buildings Nombre de paramètres (en millions) UNET-MobileNet 0.771 0.688 0.876 5.1 UNET-EfficientNet light 0.802 0.759 0.85 8.6 UNET-EfficientNet 0.828 0.794 0.865 59 UNET-ResNet 0.791 0.776 0.807 62.3
  10. 10 Test time augmentation (TTA) Principe : Faire une inférence

    sur plusieurs rotations et flips puis moyenner les résultats Résultats : Gain de ~1% sur le dataset de test pour tous les modèles (voir slide suivante) 8 instances
  11. 11 Résultats sur base de test xView2 Model TTA Accuracy

    F1-score - buildings Précision - buildings Rappel - buildings UNET-MobileNet 0.969 0.771 0.688 0.876 UNET-MobileNet 0.971 0.784 0.702 0.887 UNET-EfficientNet light 0.975 0.802 0.759 0.85 UNET-EfficientNet light 0.977 0.813 0.771 0.859 UNET-EfficientNet 0.979 0.828 0.794 0.865 UNET-EfficientNet 0.98 0.834 0.805 0.866 UNET-ResNet 0.975 0.791 0.776 0.807 UNET-ResNet 0.976 0.801 0.78 0.822  Toujours meilleur avec TTA  3% au dessous du meilleur résultat sur le challenge xView2 (en score F1)
  12. 12 Résultats avec ensembling N Model F1-score - buildings Précision

    - buildings Rappel - buildings 1 UNET-EfficientNet light 0.813 0.771 0.859 2 UNET-MobileNet 0.784 0.702 0.887 3 UNET-ResNet 0.801 0.78 0.822 4 UNET-EfficientNet 0.834 0.805 0.866 Ensembling: model 2 and 3 0.811 0.793 0.831 Ensembling: model 1, 3 and 4 0.831 0.804 0.861 Ensembling: model 1 and 4 0.833 0.802 0.866  Pas d’ensembling meilleur que le meilleur modèle  Amélioration de 2+3 comparé à 2 et 3 Piste : Entrainer plusieurs réseaux de l’architecture la plus performante Principe : Moyenner les prédictions de plusieurs réseaux (sur les probabilités)
  13. 13 Résultats sur base de test xView2 Images pré-catastrophes

  14. 14 Résultats sur base de test xView2 Vérité terrain

  15. 15 Résultats sur base de test xView2 UNET-EFFICIENTNET avec TTA

  16. Segmentation de dégâts

  17. 17 Architecture U-Net siamois Architectures de réseaux : segmentation de

    dégâts Réseau de segmentation siamois : • Deux encodeurs traitant respectivement les images pré-catastrophe et post-catastrophe et partageant les mêmes poids • Encodeur : EfficientNet
  18. 18 Architectures de réseaux : segmentation de dégâts Modèle Score

    F1 Aucun dégât Score F1 Dégâts mineurs Score F1 Dégâts majeurs Score F1 Détruit UNet-EfficientNet 0.790 0.412 0.635 0.702  Résultats avec EfficientNet bons excepté pour la classe « dégâts mineurs »
  19. 19 Résultats sur base de test xView2 Images pré-catastrophes

  20. 20 Résultats sur base de test xView2 Images post-catastrophes

  21. 21 Résultats sur base de test xView2 UNET-EFFICIENTNET siamois avec

    TTA No-damage Minor damage Destroyed Major damage
  22. 22 Résultats sur base de test xView2 No-damage Minor damage

    Destroyed Major damage Vérité terrain
  23. 23 Architectures de réseaux : segmentation de dégâts Réseau binaire

    en cascade : • Un réseau pour chaque classe entrainé en one vs all • Fusion des résultats a posteriori
  24. 24 Architectures de réseaux : segmentation de dégâts Modèle Score

    F1 Aucun dégât Score F1 Dégâts mineurs Score F1 Dégâts majeurs Score F1 Détruit REF-UNET multi-classe 0.790 0.412 0.635 0.702 DNN binaires 0.805 0.328 0.538 0.691 REF-UNET multi-classe + fusion de majeur et mineur 0.790 0.624 0.702 DNN binaires : 3 classes 0.805 0.603 0.691  Pas d’amélioration en utilisant des réseaux spécialisés  Hypothèse : ce qu’on gagne en spécialisant, on le perd après à cause du problème de fusion des 4 résultats
  25. 25 Architectures de réseaux : segmentation de dégâts Modèle Score

    F1 Aucun dégât Score F1 Dégâts mineurs Score F1 Dégâts majeurs Score F1 Détruit REF-UNET multi-classe 0.790 0.412 0.635 0.702 DNN binaires 3 classes + séparation de majeur/mineur 0.805 0.318 0.558 0.691  Pas d’amélioration si on traite la séparation dégâts mineurs vs majeurs à part
  26. Test de généralisation sur images Pléiades

  27. 27 Données Haïti Ouragan Matthieu sur l’île d’Haïti en octobre

    2016 Données Pléiades (PAN : 70cm): • Image XS-pansharpened : 2015-11-10 • Image XS-pansharpened : 2016-10-07  Extraction de l’intersection des deux emprises : image de taille 30886x22154 PRE POST
  28. 28 Données Haïti – Détection du bâti Exemple de détection

    du bâti sur une zone peu dense
  29. 29 Données Haïti – Détection du bâti Exemple de détection

    du bâti sur une zone urbaine dense
  30. 30 Données Haïti – Segmentation en classes de dégâts Exemple

    de segmentation en types de dégâts sur une zone urbaine peu dense
  31. 31 Données Haïti – Segmentation en classes de dégâts Exemple

    de segmentation en types de dégâts sur une zone urbaine dense
  32. 32 Conclusions & Perspectives Bilan : • Très bons résultats

    pour la détection du bâti • Bons résultats pour la segmentation en classes de dégâts avec les réseaux de segmentation siamois mais problème de généralisation à traiter • Une classification en 3 classes semblent plus réalistes Perspectives : • Etudier l’influence du contexte d’acquisition (dépointage, capteur différence pré- post, etc.) • Explorer d’autres architectures de segmentation (FPN, Deeplab, …) • Traiter le problème quand uniquement l’image post-catastrophe est disponible • Ajouter des données exogènes (données tabulaires, cartes de cohérence, OSM, …)
  33. AGENIUM Space Adrien Lagrange François de Vieilleville Christine Fernandez-Martin 1,

    avenue de l’Europe 31400 TOULOUSE FRANCE t : +33 (0)5 61 41 03 98 m :+33 (0)6 22 59 55 43 agenium.group