#52 [1/2] - Evaluation de dommages aux bâtiments sur images THR par deep learning

Evaluation de dommages aux bâtiments sur images THR par deep learning

Abstract:

Dans le suivi des catastrophes naturelles, le contexte exige un temps de traitement court alors que le volume de données à traiter ne cesse d'augmenter. L'évaluation des dommages aux bâtiments est particulièrement importante car elle est cruciale pour l'organisation des opérations de secours. Dans ce contexte, Agenium Space a réalisé une étude pour le CNES sur le problème de la détection des bâtiments à l'aide de réseaux de segmentation et ensuite, le problème de la détection des dommages aux bâtiments à l'aide d'images THR pré- et post-désastre. L'approche proposée pour résoudre ce dernier problème repose sur l'utilisation de réseaux siamois pour traiter simultanément les images pré et post-catastrophe. L'évaluation des méthodes se fait d'abord avec la base de données xView-2 puis avec une étude de cas spécifique après un ouragan en Haïti avec des images Pléiades.

Bio:

Adrien est Ingénieur en Traitement du Signal et en Deep Learning à Agenium Space

Transcript

1. R&T Détection de dégâts par deep learning Présentation TDS 30/11/21 Adrien LAGRANGE
2. 2 Agenium Space
3. 3 Détection de dégâts par deep learning Objectif de l’étude :  Evaluer l’apport du deep learning (DL) pour : 1. La cartographie du bâti 2. L’évaluation des dégâts sur les bâtiments après une catastrophe naturelles  But à long terme : utiliser le DL dans la cadre de la Charte pour la gestion de crises suite à des catastrophes naturelles R&T financé par le CNES (DSO/SI/2A)
4. 4 Données d’entrainement Base de données xView2 : • 19 catastrophes entre 2011 et 2018 • 6 types : séismes, tsunamis, inondations, éruptions volcaniques, incendies, ouragans • Différentes régions du monde • Images pré et post-catastrophe • Vérité terrain : • emprise du bâti • Classification en 4(+1) classes de dégâts (pas de dégâts, dégâts mineurs, dégâts majeurs, détruit (+ non classifié))
5. 5 Données d’entrainement Base de données xView2 : • 11034 images pré, 11034 images post (1024x1024 pixels, RGB) • 425368 (x2) emprises de bâtiments • Zone de 45361 km² • 3 satellites : WorldView2, WorldView3, GeoEye1 • GSD : 30 à 70cm (pansharpened) • Angle NADIR de 4,7° à 36,4°
6. Détection du bâti
7. 7 Architectures des réseaux Architectures de CNN utilisées • Réseaux de segmentation de type U-Net • Différents encodeurs testés (EfficientNet, ResNet, MobileNet) • Résultat : pour chaque pixel, la probabilité d’appartenir à un bâtiment Encodeur Décodeur
8. 8 Architectures des réseaux Model Nombre de paramètres (en millions) Input size Caractéristiques MobileNet 5.1 224x224 Peu de feature maps, profondeur de 19 conv. EfficientNet light 8.6 224x224 Peu de feature maps, utilisation de conv 5x5, profondeur de 17 conv. EfficientNet 59 448x448 Plus de features maps, plus de répétition des blocs, profondeur de 40 conv. ResNet++ 62.3 224x224 Profondeur de 101 conv. Paramétrage de l’entraînement : • Différents encodeurs : voir tableau • Méthode d’optimisation : SGD avec accélération de Nesterov et accumulation • Learning rate variable • Augmentation : zoom, rotation, modification de l’éclairement, cisaillement, flip
9. 9 Segmentation du bâti : résultats  Meilleur encodeur : EfficientNet  Résultats avec EfficientNet light sont également intéressants au regard du nombre de paramètres Model F1-score - buildings Précision - buildings Rappel - buildings Nombre de paramètres (en millions) UNET-MobileNet 0.771 0.688 0.876 5.1 UNET-EfficientNet light 0.802 0.759 0.85 8.6 UNET-EfficientNet 0.828 0.794 0.865 59 UNET-ResNet 0.791 0.776 0.807 62.3
10. 10 Test time augmentation (TTA) Principe : Faire une inférence sur plusieurs rotations et flips puis moyenner les résultats Résultats : Gain de ~1% sur le dataset de test pour tous les modèles (voir slide suivante) 8 instances
11. 11 Résultats sur base de test xView2 Model TTA Accuracy F1-score - buildings Précision - buildings Rappel - buildings UNET-MobileNet 0.969 0.771 0.688 0.876 UNET-MobileNet 0.971 0.784 0.702 0.887 UNET-EfficientNet light 0.975 0.802 0.759 0.85 UNET-EfficientNet light 0.977 0.813 0.771 0.859 UNET-EfficientNet 0.979 0.828 0.794 0.865 UNET-EfficientNet 0.98 0.834 0.805 0.866 UNET-ResNet 0.975 0.791 0.776 0.807 UNET-ResNet 0.976 0.801 0.78 0.822  Toujours meilleur avec TTA  3% au dessous du meilleur résultat sur le challenge xView2 (en score F1)
12. 12 Résultats avec ensembling N Model F1-score - buildings Précision - buildings Rappel - buildings 1 UNET-EfficientNet light 0.813 0.771 0.859 2 UNET-MobileNet 0.784 0.702 0.887 3 UNET-ResNet 0.801 0.78 0.822 4 UNET-EfficientNet 0.834 0.805 0.866 Ensembling: model 2 and 3 0.811 0.793 0.831 Ensembling: model 1, 3 and 4 0.831 0.804 0.861 Ensembling: model 1 and 4 0.833 0.802 0.866  Pas d’ensembling meilleur que le meilleur modèle  Amélioration de 2+3 comparé à 2 et 3 Piste : Entrainer plusieurs réseaux de l’architecture la plus performante Principe : Moyenner les prédictions de plusieurs réseaux (sur les probabilités)
13. 13 Résultats sur base de test xView2 Images pré-catastrophes
14. 14 Résultats sur base de test xView2 Vérité terrain
15. 15 Résultats sur base de test xView2 UNET-EFFICIENTNET avec TTA
16. Segmentation de dégâts
17. 17 Architecture U-Net siamois Architectures de réseaux : segmentation de dégâts Réseau de segmentation siamois : • Deux encodeurs traitant respectivement les images pré-catastrophe et post-catastrophe et partageant les mêmes poids • Encodeur : EfficientNet
18. 18 Architectures de réseaux : segmentation de dégâts Modèle Score F1 Aucun dégât Score F1 Dégâts mineurs Score F1 Dégâts majeurs Score F1 Détruit UNet-EfficientNet 0.790 0.412 0.635 0.702  Résultats avec EfficientNet bons excepté pour la classe « dégâts mineurs »
19. 19 Résultats sur base de test xView2 Images pré-catastrophes
20. 20 Résultats sur base de test xView2 Images post-catastrophes
21. 21 Résultats sur base de test xView2 UNET-EFFICIENTNET siamois avec TTA No-damage Minor damage Destroyed Major damage
22. 22 Résultats sur base de test xView2 No-damage Minor damage Destroyed Major damage Vérité terrain
23. 23 Architectures de réseaux : segmentation de dégâts Réseau binaire en cascade : • Un réseau pour chaque classe entrainé en one vs all • Fusion des résultats a posteriori
24. 24 Architectures de réseaux : segmentation de dégâts Modèle Score F1 Aucun dégât Score F1 Dégâts mineurs Score F1 Dégâts majeurs Score F1 Détruit REF-UNET multi-classe 0.790 0.412 0.635 0.702 DNN binaires 0.805 0.328 0.538 0.691 REF-UNET multi-classe + fusion de majeur et mineur 0.790 0.624 0.702 DNN binaires : 3 classes 0.805 0.603 0.691  Pas d’amélioration en utilisant des réseaux spécialisés  Hypothèse : ce qu’on gagne en spécialisant, on le perd après à cause du problème de fusion des 4 résultats
25. 25 Architectures de réseaux : segmentation de dégâts Modèle Score F1 Aucun dégât Score F1 Dégâts mineurs Score F1 Dégâts majeurs Score F1 Détruit REF-UNET multi-classe 0.790 0.412 0.635 0.702 DNN binaires 3 classes + séparation de majeur/mineur 0.805 0.318 0.558 0.691  Pas d’amélioration si on traite la séparation dégâts mineurs vs majeurs à part
26. Test de généralisation sur images Pléiades
27. 27 Données Haïti Ouragan Matthieu sur l’île d’Haïti en octobre 2016 Données Pléiades (PAN : 70cm): • Image XS-pansharpened : 2015-11-10 • Image XS-pansharpened : 2016-10-07  Extraction de l’intersection des deux emprises : image de taille 30886x22154 PRE POST
28. 28 Données Haïti – Détection du bâti Exemple de détection du bâti sur une zone peu dense
29. 29 Données Haïti – Détection du bâti Exemple de détection du bâti sur une zone urbaine dense
30. 30 Données Haïti – Segmentation en classes de dégâts Exemple de segmentation en types de dégâts sur une zone urbaine peu dense
31. 31 Données Haïti – Segmentation en classes de dégâts Exemple de segmentation en types de dégâts sur une zone urbaine dense
32. 32 Conclusions & Perspectives Bilan : • Très bons résultats pour la détection du bâti • Bons résultats pour la segmentation en classes de dégâts avec les réseaux de segmentation siamois mais problème de généralisation à traiter • Une classification en 3 classes semblent plus réalistes Perspectives : • Etudier l’influence du contexte d’acquisition (dépointage, capteur différence pré- post, etc.) • Explorer d’autres architectures de segmentation (FPN, Deeplab, …) • Traiter le problème quand uniquement l’image post-catastrophe est disponible • Ajouter des données exogènes (données tabulaires, cartes de cohérence, OSM, …)
33. AGENIUM Space Adrien Lagrange François de Vieilleville Christine Fernandez-Martin 1, avenue de l’Europe 31400 TOULOUSE FRANCE t : +33 (0)5 61 41 03 98 m :+33 (0)6 22 59 55 43 agenium.group