20220317-datadrink-Audit-algorithmique

Félicien Vallet (responsable AI à la CNIL) et Clément Hénin (docteur en XAI de l’Inria, actuellement rapporteur à la Cour des Comptes): Deux outils conçus par Clément pendant sa thèse ont été mis à disposition d’agents du service des contrôles de la CNIL dans le cadre d'une user study. Celle-ci a permis d’évaluer sur le terrain l’efficacité de ces méthodes d’XAI (IA explicable) et a présenté à la CNIL le potentiel de ces nouvelles méthodes qui pourront notamment être utiles pour les futurs audits algorithmiques prévus par le projet européen sur l’IA. Si vous souhaitez tester les outils, la plateforme d’expérimentation en ligne est accessible à l’adresse suivante : http://algaudit.inrialpes.fr/ .

Transcript

1. Expérimentation Algaudit :
   Des outils XAI aux mains des contrôleurs de la CNIL
   Clément Henin & Félicien Vallet
   17 mars 2022
   

   View Slide

2. 2/15 2/15
   L’expérimentation
   Projet de l’expérimentation Algaudit
   ▶ Mise à disposition de deux outils développés durant la thèse de Clément
   Henin : IBEX et Algocate.
   ▶ Objectif CNIL : Amorcer une réflexion en interne sur l’évolution de
   « l’outillage » pour la réalisation de contrôle
   ▶ Objectif Inria : Tester la pertinence des outils dans le cadre d’audit
   d’algorithme auprès d’un public expert
   Besoin de mettre en place un cas d’usage fictif mais réaliste :
   Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 2 / 15
   

   View Slide

3. 3/15 3/15
   L’expérimentation
   Déroulement de l’expérimentation
   ▶ 5 dates (entre le 27 mai 2021 et le 09 juin 2021)
   ▶ 29 participants aux profils variés (juridique, technique, etc.)
   ▶ 12 exercices à partir de fausses décisions individuelles
   Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 3 / 15
   

   View Slide

4. 4/15 4/15
   L’expérimentation
   Protocole expérimental
   ▶ Construire un cadre scientifique pour permettre réaliser une expérience
   utilisateur pertinente
   ▶ Choix du jeu de données à utiliser
   ▶ Design de l’algorithme à auditer
   ▶ Choix des manquements à identifier
   ▶ Proposer une mise en situation crédible
   ▶ Utiliser une interface web
   ▶ S’assurer de la licéité de la collecte et du traitement des données
   personnelles !
   L’algorithme de décision :
   Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 4 / 15
   

   View Slide

5. 5/15 5/15
   Présentation des outils Boîte noire
   Hypothèse : boîte noire
   Entrées
   ?
   Boîte noire
   Sorties
   Dossier de crédit Décision (octroi ou refus)
   Dossier (5 000 €, 2 années)
   (Dossier 1 (6 000 €, 2 années)
   Dossier n (5 000 €, 1 année)
   . . .
   Dossier 2 (4 000 €, 2 années)
   Dossier 3 (3 500 €, 3 années)
   (
   (
   (
   Refusé
   . . .
   Accepté
   Accepté
   Refusé
   Refusé
   Situation de l'intéressé à expliquer
   Échantillons (dossiers proches)
   ?
   ?
   Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 5 / 15
   

   View Slide

6. 6/15 6/15
   Présentation des outils IBEX
   Exemples d’explication en boîte noire
   Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 6 / 15
   

   View Slide

7. 7/15 7/15
   Présentation des outils IBEX
   IBEX
   Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 7 / 15
   

   View Slide

8. 8/15 8/15
   Présentation des outils Algocate
   Algocate : justifications d’algorithme
   Distinction entre les explications et les justifications
   ▶ Explication : rendre intelligible (une décision ou un système de décision)
   ▶ Justification : rendre acceptable / convaincre que la décision est « bonne »
   ou fondée
   ▶ Contestation : rendre discutable / convaincre qu’une décision est mauvaise
   ou infondée
   Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 8 / 15
   

   View Slide

9. 9/15 9/15
   Présentation des outils Algocate
   Exemples : système d’octroi de crédit
   ▶ Explication : Votre demande de prêt est refusée car votre taux d’endettement
   dépasserait le tiers de vos revenus
   ▶ Justification 1 : Votre demande de prêt est refusée car la loi interdit aux
   banques d’octroyer des prêts conduisant à un taux d’endettement dépassant
   le tiers des revenus
   ▶ Justification 2 : Votre demande de prêt est refusée car votre taux
   d’endettement entrerait dans la catégorie des situations à fort risque de
   défaut de remboursement (80% des cas passés)
   Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 9 / 15
   

   View Slide

10. 10/15 10/15
    Présentation des outils Algocate
    Algocate : contestations et justifications de décisions
    Les normes du système fictif :
    Exemple de justification :
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 10 / 15
    

    View Slide

11. 11/15 11/15
    Présentation des outils Algocate
    Exemple d’affirmation et de justification
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 11 / 15
    

    View Slide

12. 12/15 12/15
    Réception et résultats Résultats IBEX
    Résultats pour les explications interactives (IBEX)
    Facteur déterminant
    (taux de succès)
    Autres facteurs
    (nombre de facteurs
    corrects)
    Explication libre
    (taux de succès)
    Simple ou cas limite
    (taux de succès)
    Temps d'execution
    0.0
    0.5
    1.0
    1.5
    2.0
    0.81*
    0.66
    1.83*
    1.39
    0.74*
    0.57 0.56 0.5
    IBEX Temoin
    0
    100
    200
    300
    Durée en secondes
    232
    263
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 12 / 15
    

    View Slide

13. 13/15 13/15
    Réception et résultats Résultats Algocate
    Résultats pour les justifications (Algocate)
    A utilisé
    Algocate
    Réponse
    utilisateur
    Correcte Incorrecte %
    Oui 73 (4,1) 36 (3,6) 67 % (3,9)
    Non 34 (3,8) 22 (3,4) 61 % (3,6)
    Total 107 58 65 % (3,8)
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 13 / 15
    

    View Slide

14. 14/15 14/15
    Réception et résultats Retours entretiens
    Avantages / inconvénients
    IBEX
    Avantages
    Utilisation simple et intuitive
    Facilite la compréhension
    Choix des critères de
    visualisation
    Inconvénients
    Lien avec le RGPD ?
    Explications seulement locales
    Pas de croisement des
    explications
    Algocate Utilisation de normes fixes
    Permet de contester la décision
    Justifications accessibles et
    transparentes
    Complexe (++)
    Pas de déduction des normes
    Pas visuel
    Il faut donner les raisons
    Général Pertinence du mode boîte noire
    Réduit l’illusion de simplicité
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 14 / 15
    

    View Slide

15. 15/15 15/15
    Réception et résultats Retours entretiens
    Pour aller plus loin...
    ▶ Possibilité de tester l’interface mise en place
    ▶ http://algaudit.inrialpes.fr/
    ▶ Interview de Clément Henin et Daniel Le Métayer
    sur le site du LINC
    ▶ Transfert des travaux au projet pilote Inria REGALIA
    qui mène une collaboration avec le PEReN (Pôle
    d’Expertise de la Régulation Numérique) concernant
    les méthodes d’évaluation des algorithmes de
    recommandation de contenu
    ▶ Dossier de 3 articles consacrés de l’expérimentation
    à paraître prochainement sur LINC
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 15 / 15
    

    View Slide