Expérimentation Algaudit : Des outils XAI aux mains des contrôleurs de la CNIL Clément Henin & Félicien Vallet 17 mars 2022 

2/15 2/15 L’expérimentation Projet de l’expérimentation Algaudit ▶ Mise à disposition de deux outils développés durant la thèse de Clément Henin : IBEX et Algocate. ▶ Objectif CNIL : Amorcer une réflexion en interne sur l’évolution de « l’outillage » pour la réalisation de contrôle ▶ Objectif Inria : Tester la pertinence des outils dans le cadre d’audit d’algorithme auprès d’un public expert Besoin de mettre en place un cas d’usage fictif mais réaliste : Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 2 / 15 

3/15 3/15 L’expérimentation Déroulement de l’expérimentation ▶ 5 dates (entre le 27 mai 2021 et le 09 juin 2021) ▶ 29 participants aux profils variés (juridique, technique, etc.) ▶ 12 exercices à partir de fausses décisions individuelles Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 3 / 15 

4/15 4/15 L’expérimentation Protocole expérimental ▶ Construire un cadre scientifique pour permettre réaliser une expérience utilisateur pertinente ▶ Choix du jeu de données à utiliser ▶ Design de l’algorithme à auditer ▶ Choix des manquements à identifier ▶ Proposer une mise en situation crédible ▶ Utiliser une interface web ▶ S’assurer de la licéité de la collecte et du traitement des données personnelles ! L’algorithme de décision : Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 4 / 15 

5/15 5/15 Présentation des outils Boîte noire Hypothèse : boîte noire Entrées ? Boîte noire Sorties Dossier de crédit Décision (octroi ou refus) Dossier (5 000 €, 2 années) (Dossier 1 (6 000 €, 2 années) Dossier n (5 000 €, 1 année) . . . Dossier 2 (4 000 €, 2 années) Dossier 3 (3 500 €, 3 années) ( ( ( Refusé . . . Accepté Accepté Refusé Refusé Situation de l'intéressé à expliquer Échantillons (dossiers proches) ? ? Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 5 / 15 

6/15 6/15 Présentation des outils IBEX Exemples d’explication en boîte noire Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 6 / 15 

7/15 7/15 Présentation des outils IBEX IBEX Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 7 / 15 

8/15 8/15 Présentation des outils Algocate Algocate : justifications d’algorithme Distinction entre les explications et les justifications ▶ Explication : rendre intelligible (une décision ou un système de décision) ▶ Justification : rendre acceptable / convaincre que la décision est « bonne » ou fondée ▶ Contestation : rendre discutable / convaincre qu’une décision est mauvaise ou infondée Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 8 / 15 

9/15 9/15 Présentation des outils Algocate Exemples : système d’octroi de crédit ▶ Explication : Votre demande de prêt est refusée car votre taux d’endettement dépasserait le tiers de vos revenus ▶ Justification 1 : Votre demande de prêt est refusée car la loi interdit aux banques d’octroyer des prêts conduisant à un taux d’endettement dépassant le tiers des revenus ▶ Justification 2 : Votre demande de prêt est refusée car votre taux d’endettement entrerait dans la catégorie des situations à fort risque de défaut de remboursement (80% des cas passés) Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 9 / 15 

10/15 10/15 Présentation des outils Algocate Algocate : contestations et justifications de décisions Les normes du système fictif : Exemple de justification : Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 10 / 15 

11/15 11/15 Présentation des outils Algocate Exemple d’affirmation et de justification Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 11 / 15 

12/15 12/15 Réception et résultats Résultats IBEX Résultats pour les explications interactives (IBEX) Facteur déterminant (taux de succès) Autres facteurs (nombre de facteurs corrects) Explication libre (taux de succès) Simple ou cas limite (taux de succès) Temps d'execution 0.0 0.5 1.0 1.5 2.0 0.81* 0.66 1.83* 1.39 0.74* 0.57 0.56 0.5 IBEX Temoin 0 100 200 300 Durée en secondes 232 263 Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 12 / 15 

13/15 13/15 Réception et résultats Résultats Algocate Résultats pour les justifications (Algocate) A utilisé Algocate Réponse utilisateur Correcte Incorrecte % Oui 73 (4,1) 36 (3,6) 67 % (3,9) Non 34 (3,8) 22 (3,4) 61 % (3,6) Total 107 58 65 % (3,8) Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 13 / 15 

14/15 14/15 Réception et résultats Retours entretiens Avantages / inconvénients IBEX Avantages Utilisation simple et intuitive Facilite la compréhension Choix des critères de visualisation Inconvénients Lien avec le RGPD ? Explications seulement locales Pas de croisement des explications Algocate Utilisation de normes fixes Permet de contester la décision Justifications accessibles et transparentes Complexe (++) Pas de déduction des normes Pas visuel Il faut donner les raisons Général Pertinence du mode boîte noire Réduit l’illusion de simplicité Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 14 / 15 

15/15 15/15 Réception et résultats Retours entretiens Pour aller plus loin... ▶ Possibilité de tester l’interface mise en place ▶ http://algaudit.inrialpes.fr/ ▶ Interview de Clément Henin et Daniel Le Métayer sur le site du LINC ▶ Transfert des travaux au projet pilote Inria REGALIA qui mène une collaboration avec le PEReN (Pôle d’Expertise de la Régulation Numérique) concernant les méthodes d’évaluation des algorithmes de recommandation de contenu ▶ Dossier de 3 articles consacrés de l’expérimentation à paraître prochainement sur LINC Clément Henin & Félicien Vallet Audit algorithmique 17 mars 2022 15 / 15