Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20220317-datadrink-Audit-algorithmique

etalab-ia
March 17, 2022
40

 20220317-datadrink-Audit-algorithmique

Félicien Vallet (responsable AI à la CNIL) et Clément Hénin (docteur en XAI de l’Inria, actuellement rapporteur à la Cour des Comptes): Deux outils conçus par Clément pendant sa thèse ont été mis à disposition d’agents du service des contrôles de la CNIL dans le cadre d'une user study. Celle-ci a permis d’évaluer sur le terrain l’efficacité de ces méthodes d’XAI (IA explicable) et a présenté à la CNIL le potentiel de ces nouvelles méthodes qui pourront notamment être utiles pour les futurs audits algorithmiques prévus par le projet européen sur l’IA. Si vous souhaitez tester les outils, la plateforme d’expérimentation en ligne est accessible à l’adresse suivante : http://algaudit.inrialpes.fr/ .

etalab-ia

March 17, 2022
Tweet

Transcript

  1. Expérimentation Algaudit :
    Des outils XAI aux mains des contrôleurs de la CNIL
    Clément Henin & Félicien Vallet
    17 mars 2022

    View Slide

  2. 2/15 2/15
    L’expérimentation
    Projet de l’expérimentation Algaudit
    ▶ Mise à disposition de deux outils développés durant la thèse de Clément
    Henin : IBEX et Algocate.
    ▶ Objectif CNIL : Amorcer une réflexion en interne sur l’évolution de
    « l’outillage » pour la réalisation de contrôle
    ▶ Objectif Inria : Tester la pertinence des outils dans le cadre d’audit
    d’algorithme auprès d’un public expert
    Besoin de mettre en place un cas d’usage fictif mais réaliste :
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 2 / 15

    View Slide

  3. 3/15 3/15
    L’expérimentation
    Déroulement de l’expérimentation
    ▶ 5 dates (entre le 27 mai 2021 et le 09 juin 2021)
    ▶ 29 participants aux profils variés (juridique, technique, etc.)
    ▶ 12 exercices à partir de fausses décisions individuelles
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 3 / 15

    View Slide

  4. 4/15 4/15
    L’expérimentation
    Protocole expérimental
    ▶ Construire un cadre scientifique pour permettre réaliser une expérience
    utilisateur pertinente
    ▶ Choix du jeu de données à utiliser
    ▶ Design de l’algorithme à auditer
    ▶ Choix des manquements à identifier
    ▶ Proposer une mise en situation crédible
    ▶ Utiliser une interface web
    ▶ S’assurer de la licéité de la collecte et du traitement des données
    personnelles !
    L’algorithme de décision :
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 4 / 15

    View Slide

  5. 5/15 5/15
    Présentation des outils Boîte noire
    Hypothèse : boîte noire
    Entrées
    ?
    Boîte noire
    Sorties
    Dossier de crédit Décision (octroi ou refus)
    Dossier (5 000 €, 2 années)
    (Dossier 1 (6 000 €, 2 années)
    Dossier n (5 000 €, 1 année)
    . . .
    Dossier 2 (4 000 €, 2 années)
    Dossier 3 (3 500 €, 3 années)
    (
    (
    (
    Refusé
    . . .
    Accepté
    Accepté
    Refusé
    Refusé
    Situation de l'intéressé à expliquer
    Échantillons (dossiers proches)
    ?
    ?
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 5 / 15

    View Slide

  6. 6/15 6/15
    Présentation des outils IBEX
    Exemples d’explication en boîte noire
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 6 / 15

    View Slide

  7. 7/15 7/15
    Présentation des outils IBEX
    IBEX
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 7 / 15

    View Slide

  8. 8/15 8/15
    Présentation des outils Algocate
    Algocate : justifications d’algorithme
    Distinction entre les explications et les justifications
    ▶ Explication : rendre intelligible (une décision ou un système de décision)
    ▶ Justification : rendre acceptable / convaincre que la décision est « bonne »
    ou fondée
    ▶ Contestation : rendre discutable / convaincre qu’une décision est mauvaise
    ou infondée
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 8 / 15

    View Slide

  9. 9/15 9/15
    Présentation des outils Algocate
    Exemples : système d’octroi de crédit
    ▶ Explication : Votre demande de prêt est refusée car votre taux d’endettement
    dépasserait le tiers de vos revenus
    ▶ Justification 1 : Votre demande de prêt est refusée car la loi interdit aux
    banques d’octroyer des prêts conduisant à un taux d’endettement dépassant
    le tiers des revenus
    ▶ Justification 2 : Votre demande de prêt est refusée car votre taux
    d’endettement entrerait dans la catégorie des situations à fort risque de
    défaut de remboursement (80% des cas passés)
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 9 / 15

    View Slide

  10. 10/15 10/15
    Présentation des outils Algocate
    Algocate : contestations et justifications de décisions
    Les normes du système fictif :
    Exemple de justification :
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 10 / 15

    View Slide

  11. 11/15 11/15
    Présentation des outils Algocate
    Exemple d’affirmation et de justification
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 11 / 15

    View Slide

  12. 12/15 12/15
    Réception et résultats Résultats IBEX
    Résultats pour les explications interactives (IBEX)
    Facteur déterminant
    (taux de succès)
    Autres facteurs
    (nombre de facteurs
    corrects)
    Explication libre
    (taux de succès)
    Simple ou cas limite
    (taux de succès)
    Temps d'execution
    0.0
    0.5
    1.0
    1.5
    2.0
    0.81*
    0.66
    1.83*
    1.39
    0.74*
    0.57 0.56 0.5
    IBEX Temoin
    0
    100
    200
    300
    Durée en secondes
    232
    263
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 12 / 15

    View Slide

  13. 13/15 13/15
    Réception et résultats Résultats Algocate
    Résultats pour les justifications (Algocate)
    A utilisé
    Algocate
    Réponse
    utilisateur
    Correcte Incorrecte %
    Oui 73 (4,1) 36 (3,6) 67 % (3,9)
    Non 34 (3,8) 22 (3,4) 61 % (3,6)
    Total 107 58 65 % (3,8)
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 13 / 15

    View Slide

  14. 14/15 14/15
    Réception et résultats Retours entretiens
    Avantages / inconvénients
    IBEX
    Avantages
    Utilisation simple et intuitive
    Facilite la compréhension
    Choix des critères de
    visualisation
    Inconvénients
    Lien avec le RGPD ?
    Explications seulement locales
    Pas de croisement des
    explications
    Algocate Utilisation de normes fixes
    Permet de contester la décision
    Justifications accessibles et
    transparentes
    Complexe (++)
    Pas de déduction des normes
    Pas visuel
    Il faut donner les raisons
    Général Pertinence du mode boîte noire
    Réduit l’illusion de simplicité
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 14 / 15

    View Slide

  15. 15/15 15/15
    Réception et résultats Retours entretiens
    Pour aller plus loin...
    ▶ Possibilité de tester l’interface mise en place
    ▶ http://algaudit.inrialpes.fr/
    ▶ Interview de Clément Henin et Daniel Le Métayer
    sur le site du LINC
    ▶ Transfert des travaux au projet pilote Inria REGALIA
    qui mène une collaboration avec le PEReN (Pôle
    d’Expertise de la Régulation Numérique) concernant
    les méthodes d’évaluation des algorithmes de
    recommandation de contenu
    ▶ Dossier de 3 articles consacrés de l’expérimentation
    à paraître prochainement sur LINC
    Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 15 / 15

    View Slide