20200810_AtelierBiaisAMI_IA_Ph_Besse

Transcript

1. Risques Discriminatoires des Algorithmes d’IA PHILIPPE BESSE Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 1 / 11
2. IA et discrimination IA et apprentissage automatique Algorithmes d’Intelligence Artificielle (IA) du quotidien Algorithmes d´ eterministes ou proc´ eduraux ou ferm´ es ou IA symbolique Exemples : impˆ ots, prestations sociales, Parcoursup ... Algorithmes d’apprentissage statistique entraˆ ın´ es sur des donn´ ees ⊂ apprentissage automatique (machine learning) ⊂ IA empirique Profilage automatique publicitaire, professionnel (CV, vid´ eos, carri` ere) Risque de d´ efaut de paiement (cr´ edit), comportement ` a risque (assurance) Risque de rupture de contrat (marketing), r´ ecidive (justice), passage ` a l’acte (police) Risque de fraude (assurance, banque), d´ efaillance d’un syst` eme industriel Diagnostic en imagerie m´ edicale (deep learning) ... 95% des applications de l’IA (Yan Le Cun) Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 2 / 11
3. IA et discrimination Quels risques Quels risques des impacts soci´ etaux des d´ ecisions algorithmiques ? (Besse et al. 2018) Protection : propri´ et´ e, confidentialit´ e des donn´ ees personnelles (RGPD) Entraves ` a la concurrence : moteurs de recherche, comparateurs de prix... 1 Qualit´ e, reproductibilit´ e des pr´ evisions donc des d´ ecisions 2 Explicabilit´ e (domaine, niveau) vs. opacit´ e des algorithmes 3 Biais & Discrimination des d´ ecisions algorithmiques Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 3 / 11
4. IA et discrimination Lignes directrices en mati` ere d’´ ethique pour une IA de confiance Lignes directrices en mati` ere d’´ ethique pour une IA de confiance Groupe d’experts ind´ ependants de hauts niveaux sur l’Intelligence artificielle (2018–2020) (52) Si les biais injustes peuvent ˆ etre ´ evit´ es, les syst` emes d’IA pourraient mˆ eme am´ eliorer le caract` ere ´ equitable de la soci´ et´ e. (69) Il est important que le syst` eme puisse indiquer le niveau de probabilit´ e de ces erreurs. (80) Absence de biais injustes La persistance de ces biais pourrait ˆ etre source de discrimination et de pr´ ejudice (in)directs Dans la mesure du possible, les biais d´ etectables et discriminatoires devraient ˆ etre supprim´ es lors de la phase de collecte. (106) (107) besoin de normalisation Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 4 / 11
5. D´ etecter une discrimination – Exemple de l’emploi Discrimination indirecte aux USA USA : Civil Rights act & Code of Federal Regulations Rapport de deux probabilit´ es ou fr´ equences (disparate impact) : DI = P(Y=1|S=0) P(Y=1|S=1) Title 29 - Labor : PART 1607—UNIFORM GUIDELINES ON EMPLOYEE SELECTION PROCEDURES (1978) D. Adverse impact and the “four-fifths rule.” A selection rate for any race, sex, or ethnic group which is less than four-fifths (4/5) (or eighty percent) of the rate for the group with the highest rate will generally be regarded by the Federal enforcement agencies as evidence of adverse impact, while a greater than four-fifths rate will generally not be regarded by Federal enforcement agencies as evidence of adverse impact. Smaller differences in selection rate may nevertheless constitute adverse impact, where they are significant in both statistical and practical terms or where a user’s actions have discouraged applicants disproportionately on grounds of race, sex, or ethnic group. Attention : la variable sensible est suppos´ ee connue Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 5 / 11
6. D´ etecter une discrimination – Exemple de l’emploi Discrimination indirecte en France D´ etection d’une discrimination (in)directe : Testing Riach et Rich (2002) : ´ economistes, sociologues Comit´ e National de l’Information Statistique Observatoire des Discriminations (Paris 1) DARES (Direction de l’Animation, des ´ Etudes, de la Recherche et des Statistiques) ISM Corum, Challe et al. (2020) Source : Le Monde Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 6 / 11
7. Discrimination Algorithmique Indicateurs de discrimination indirecte Algorithmes d’apprentissage et discrimination Couche suppl´ ementaire (opaque) de complexit´ e Biais structurel ou social des bases de donn´ ees Reproduction voire renforcement du biais et discrimination Mˆ eme si la variable sensible (origine ethnique) est absente car pr´ evisible Crit` eres statistiques de d´ etection d’une discrimination indirecte Monde acad´ emique (Zliobait´ e, 2017) Empiriquement trois niveaux de biais ou discrimination : 1 Effet disproportionn´ e (Disparate ou adverse impact) 2 Taux d’erreur conditionnels : reconnaissance faciale, sant´ e (Besse et al. 2019) 3 ´ Egalit´ e des cotes (equality of odds) : justice ”pr´ edictive” (Propublica vs. Compas) Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 7 / 11
8. Exemple num´ erique de discrimination algorithmique Les donn´ ees Exemple num´ erique : Adult Census Dataset Code disponible sur github/wikistat Donn´ ees publiques de l’UCI 48 842 individus d´ ecrits par 14 variables issues d’un sondage aux USA (1994) Genre, origine ethnique, niveau d’´ education, occupation, statut familial, nombre d’heures travaill´ ees par semaine... Y : Seuil de Revenu inf´ erieur ou sup´ erieur ` a 50k$ Pr´ evision Y de la classe ou ”solvabilit´ e” Donn´ ees largement biais´ ees selon le genre, biais´ ees selon l’origine DI = P(Y=1|S=0) P(Y=1|S=1) = 0.37 P (DI ∈ [0.35, 0.38]) = 0.95 Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 8 / 11
9. Exemple num´ erique de discrimination algorithmique Pr´ evisions de diff´ erents algorithmes Discrimination indirecte (DI = P(Y=1|S=0) P(Y=1|S=1) ) de diff´ erents algorithmes Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 9 / 11
10. Conclusion Tout est li´ e et affaire de compromis Utilit´ e d’un syst` eme d’IA : ´ equilibre b´ en´ efice / risque 1 Confidentialit´ e, protection ds donn´ ees vs. connaissance de la variable sensible 2 Qualit´ e, robustesse de la d´ ecision algorithmique 3 Explicabilit´ e de la d´ ecision algorithmique 4 Types de bais donc risques de discrimination Biais de soci´ et´ e Biais des erreurs Biais de l’asym´ etrie des erreurs Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 10 / 11
11. R´ ef´ erences R´ ef´ erences Barocas S. , Selbst A. (2016). Big Data’s Disparate Impact, California Law Review (104), 671. Besse P. (2020). D´ etecter, ´ evaluer les risques des impacts discriminatoires des algorithmes d’IA , HAL preprint. Besse P., Castets-Renard C., Garivier A., Loubes J.-M. (2019). L’IA du Quotidien peut elle ˆ etre ´ Ethique? Loyaut´ e des Algorithmes d’Apprentissage Automatique, Statistique et Soci´ et´ e, Vol 6 (3), pp 9-31. Besse P., Besse Patin A., Castets Renard C. (2019). Implications juridiques et ´ ethiques des algorithmes d’intelligence artificielle dans le domaine de la sant´ e, soumis, HAL preprint. CNIL, D´ efenseur des Droits (2012). Mesurer pour progresser vers l’´ egalit´ e des chances, Guide m´ ethodologique ` a l’usage des acteurs de l’emploi. Challe L., Chareyron S., L’Horty Y., Petit P. (2020). Discrimination dans le recrutement des grandes entreprises: une approche multicanal, rapport de recherche TEPP 2020-01. Code of Federal Regulations (1978). Title 29 - Labor PART 1607—UNIFORM GUIDELINES ON EMPLOYEE SELECTION PROCEDURES (1978), CHAPTER XIV - EQUAL EMPLOYMENT OPPORTUNITY COMMISSION. Commission Europ´ eenne (2018). Ethics guidelines for trustworthy AI. Commission Europ´ eenne (2020). White Paper on Artificial Intelligence: a European approach to excellence and trust. D´ efenseur des Droits, CNIL (2012). Mesurer pour progresser vers l’´ egalit´ e des chances. Guide m´ ethodologique ` a l’usage des acteurs de l’emploi. Riach P.A., Rich J. (2002). Field Experiments of Discrimination in the Market Place, The Economic Journal, Vol. 112 (483), pp F480-F518. Zliobait´ e I. (2017). Measuring discrimination in algorithmic decision making. Data Min Knowl Disc 31, 1060–1089. doi.org/10.1007/s10618-017-0506-1. Philippe Besse – INSA Toulouse & ObvIA Atelier etalab 2020 – Impacts & Risques de l’IA 11 / 11