CORESA 2024

Transcript

1. ÉVALUATION DE MÉTHODES D’ÉDITION DES ATTRIBUTS FACIAUX BASÉES SUR DES MODÈLES GÉNÉRATIFS PROFONDS* L. Bour, S. Bougleux, C. Charrier, O. Lézoray Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC, Caen, FRANCE lilian.bour@unicaen.fr *Ce travail a bénéficié d’un financement de Saint-Lô Agglomération et de la Région Normandie.
2. Sommaire 1. Introduction 2. Méthodes d’évaluation 3. Expériences 4. Conclusion L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 2 / 18
3. Introduction Modèles génératifs d’édition de visages Contraintes ▶ Qualité ▶ Identité ▶ Entrelacement 3 Éditions Ajout, Suppression, Reconstruction Comment bien évaluer ces modèles ? L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 3 / 18
4. Introduction 3 modèles : ▶ 2 réseaux antagonistes génératifs (GANs): StarGAN et VecGAN GANs ▶ Générateur synthétise image ▶ Discriminateur (réelle ou fausse) ▶ Amélioration avec feedback ▶ 1 Diffusion : DiffAE Diffusion ▶ Ajout détails petit à petit sur image composée de bruit L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 4 / 18
5. Méthodes d’évaluation Qualité ▶ Similarité Structurelle (SSIM) : SSIM(𝐼𝑖 , 𝐼𝑘 𝑖 ) Similarité perceptuelle ▶ Distance de Fréchet (FID) Qualité visuelle et diversité L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 5 / 18
6. Méthodes d’évaluation Identité Extraction de l’information sous forme de vecteur ▶ Landmarks ▶ Swinface L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 6 / 18
7. Méthodes d’évaluation Identité Évaluation du changement d’identitée Pour une identité L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 7 / 18
8. Méthodes d’évaluation Identité Évaluation du changement d’identitée Pour une identité L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 8 / 18
9. Méthodes d’évaluation Identité Évaluation du changement d’identité ▶ Distance : IDD𝑘 = 1 𝑛𝐼 ∑ 𝑖 (𝑛C − 1) ̄ 𝑑(𝐼𝑘 𝑖 , 𝑐𝑖 ) ∑ 𝑐≠𝑐𝑖 ̄ 𝑑(𝐼𝑘 𝑖 , 𝑐) (1) L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 9 / 18
10. Méthodes d’évaluation Attributs Comment comparer les attributs ? ▶ Extraction d’un vecteur de classification à l’aide de Swinface Évaluation des changements d’attributs : Cible Autre Présent Manquant Barbe Âge ... L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 10 / 18
11. Expériences Trois bases de données : ▶ Échantillon CelebA : 1 000 images ▶ Face Research Lab London Set (FRL): 100 images ▶ Base de données personnalisée : 28 images ▶ 2 FRL ▶ 4 CelebA ▶ 8 Non-célébrité CelebA FRL Custom L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 11 / 18
12. Expériences Évaluation de la qualité FID et SSIM en dessous des autres modèles StarGAN n’est pas exploitable Originale Cheveux noirs Cheveux blonds Cheveux bruns Genre Age L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 12 / 18
13. Expériences Évaluation de la qualité DiffAE Dataset SUP REC AJO FID↓ SSIM↑ FID↓ SSIM↑ FID↓ SSIM↑ Custom 68.50 0.88 17.47 0.98 58.34 0.88 FRL 43.60 0.89 17.32 0.98 41.48 0.89 CelebA 32.93 0.88 12.88 0.98 31.80 0.88 VecGAN Dataset SUP REC AJO FID↓ SSIM↑ FID↓ SSIM↑ FID↓ SSIM↑ Custom 58.73 0.83 45.28 0.85 68.32 0.76 FRL 44.32 0.86 34.94 0.88 61.99 0.81 CelebA 27.83 0.86 21.04 0.88 34.20 0.81 DiffAE produit des résultats de meilleur qualité que VecGAN L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 13 / 18
14. Expériences Conservation de l’identité ▶ DiffAE : Reconstruction et Ajout ▶ VecGAN : Suppression IDD𝑘 = 1 𝑛𝐼 ∑ 𝑖 (𝑛C − 1) ̄ 𝑑(𝐼𝑘 𝑖 , 𝑐𝑖 ) ∑ 𝑐≠𝑐𝑖 ̄ 𝑑(𝐼𝑘 𝑖 , 𝑐) (2) Dataset Custom FRL CelebA Operation Rec Ajo Rec Ajo Rec Ajo Modeles D V D V D V D V D V D V Landmarks Age 0.16 0.21 0.34 0.40 0.21 0.34 0.45 0.33 0.86 0.86 0.88 0.90 Sourire 0.16 0.24 0.66 0.52 0.21 0.23 0.78 0.72 0.86 0.87 0.96 0.94 Genre 0.16 0.35 0.42 0.31 0.21 0.52 0.58 0.46 0.86 0.87 0.90 0.88 SwinFace Age 0.01 0.10 0.42 0.43 0.01 0.19 0.44 0.22 0.43 0.48 0.66 0.63 Sourire 0.01 0.07 0.36 0.32 0.01 0.03 0.36 0.35 0.43 0.47 0.66 0.64 Genre 0.01 0.31 0.53 0.37 0.01 0.33 0.51 0.50 0.43 0.52 0.80 0.73 L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 14 / 18
15. Expériences Entrelacement des attributs ▶ DiffAE : Reconstruction et Ajout avec entrelacement élevé ▶ VecGAN : Suppression avec entrelacement élevé L’entrelacement n’est pas général mais spécifique (Genre & Barbe) L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 15 / 18
16. Expériences Entrelacement des attributs Originale Frange Blond Homme Age Sourire Lunettes Genre Age Genre Age Blond Lunettes Biais dans les bases de données L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 16 / 18
17. Conclusion Proposition d’une méthode d’évaluation plus complète. ▶ DiffAE globalement meilleur ▶ Problème d’entrelacement ▶ Artfacts visuels Originale Frange Blond Homme Age Sourire Lunettes Figure: Exemple d’ajout pour DiffAE L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 17 / 18
18. Merci pour votre attention Avez-vous des questions ? L. Bour, S. Bougleux, C. Charrier, O. Lézoray lilian.bour@unicaen.fr L.Bour & al Évaluation de méthodes d’édition des attributs faciaux 18 / 18