20200810_AtelierBiaisAMI_IA_John-Mathews

Transcript

1. Biais sur les données Compas Jean-Marie John-Mathews Chaire Good In Tech (Institut Mines-Télécom – Sciences Po)
2. Présentation de Compas et la controverse Propublica • COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) est un algorithme commercial utilisé par les juges et les agents de libération conditionnelle pour évaluer la probabilité de récidive des accusés. Il a été démontré que l'algorithme est biaisé en faveur des accusés blancs, et contre les détenus noirs, sur la base d'une étude de suivi de 2 ans.
3. Matrice de confusion • La “règle des 80%” : si Pr(non récidiviste|noir) / Pr(non récidiviste|blanc) est inférieur à 0,8 alors il y a effet disparate entre les groupes
4. Calul de l’indicateur Disparate Impact Humain : Sur les decisions passées prises par le juge dans un historique de données. DI = 0,85 Algorithme non aveugle : Sur une decision algorithmique, alimenté via l’historique de données, et dont le modèle contient la couleur de peau. DI = 0,74 Algorithme aveugle : Sur une decision algorithmique, alimenté via l’historique de données, et dont le modèle ne contient pas la couleur de peau. DI = 0,85
5. Analyse de la distribution des taux d’erreur • Erreur = (nombre de faux positifs + nombre de faux négatifs) / Total • Résultat de la distribution des erreurs sur l’algorithme aveugle : • Taux de bonnes réponses (accuracy) • Chez les personnes de couleur blanche : 0,63 • Chez les personnes de couloire noire : 0,65 • L’algoritme semble légèrement plus précis sur les personnes de couleur noire.
6. Analyse de la symétrie des erreurs Pour un même taux d’erreur (nombre de faux positifs + nombre de faux négatifs), être “faux positif” ou “faux négatif” a des consequences différentes Résultat : Grand déséquilibre entre les faux positifs et les faux négatifs Taux de faux positifs chez les personnes de couleur noire : 16% Taux de faux positifs chez les personnes de couleur blanche : 7%
7. Chaire académique sur 4 axes de recherches : Axe 1 : innovation numérique responsable : quelles mesures ? • Quelles sont les dimensions et les mesures de l'innovation numérique responsable ? • Comment intégrer l'innovation numérique responsable dans la responsabilité sociale numérique des entreprises ? Axe 2 : comment développer des technologies responsables « by design » ? • Comment éviter les biais liés aux données ? • Comment développer des technologies responsables by design ? Axe 3 : réinventer les futurs : Quelle société pour demain dans un monde numérique • Quelle société pour demain dans un monde numérique ? • Comment réinventer les futurs dans une perspective fidèle aux Lumières, de préservation du principe d’égalité appliqué au monde connecté ? Axe 4 : gouvernance de l’innovation et des technologies responsables • Quels sont les mécanismes de gouvernance de l'innovation numérique responsable ? • Quels sont les niveaux pertinents de cette gouvernance : Europe, Nation, Entreprise ?