Groupe de travail Algorithmes EIG 3 - Session 1

Transcript

1. Boîte à outils “Ethique et algorithmes” Traduit et adapté de https://ethicstoolkit.ai/ Ce document est sous Licence CC BY 4.0.
2. “A risk management framework for governments (and other people too!)” Outil développé par le Center for Government Excellence (Johns Hopkins University), la ville et métropole de San Francisco, Harvard DataSmart, Data Community DC. ➔ Une approche locale et analytique. L’approche
3. Une boîte à outils en 2 parties : 1. Evaluation des risques entraînés par les algorithmes, du point de vue de l’impact, de l’utilisation des données, de la redevabilité et des biais. Une “feuille de travail” pour l’évaluation. 2. Identification de mesures pour mitiger ces risques. La boîte à outils
4. 1. Comprendre et évaluer l’impact
5. 1.Le type : utilisé pour classifier l’impact et déterminer sa nature. • Par exemple, un algorithme développé pour détecter des anomalies dans le code génétique se placerait dans la catégorie « vie / sécurité ». 2.Le degré : c’est le niveau d’impact, de « négligeable » à « majeur ». • Par exemple, décider de la liberté conditionnelle d’une personne incarcérée serait considéré comme « majeur ». 3.L’échelle : combien de personnes, lieux, ou choses sont affectés. 4.La direction : si l’impact est positif ou négatif. La plupart des algorithmes auront à la fois des impacts positifs et négatifs. • Par exemple, un algorithme visant à appairer des personnes sans abri et des logements abordables affecte positivement ceux relogés, mais négativement ceux dont la demande est refusée. Dimensions de l’impact
6. 1.1.Décrire l’impact
7. Pour identifier qui ou ce qui va être impacté, il est utile de penser en termes de proximité d’impact : • Primaire : les objectifs immédiats de l’algorithmes, c’est-à-dire les personnes, lieux ou choses auxquelles l’algorithme contribue. • Secondaire : les personnes, lieux ou choses qui peuvent ressentir les effets de l’algorithme par le biais de son impact sur les « impactés » primaires. • Inattendus / imprévus : les personnes, lieux ou choses qui subissent des impacts imprévus de l’algorithme. Vous n’avez peut-être pas identifié ces impactés, mais vous pouvez prendre le temps d’y penser. NB : il est probablement nécessaire de hiérarchiser ces éléments par ordre d’importance. 1.1.1.Identifier qui ou ce qui va être impacté
8. Primaire Secondaire Inattendus Individus Famille Quartier, école, communauté, amis Entreprises/commerces Clients Quartier, entreprises similaires Zone géographique Résidents, commerces Agences immobilières, écoles, visiteurs Groupes de personnes (par exemple, les artistes) Opportunités de loisirs Qualité de la vie pour les résidents, valeur des biens 1.1.1.Identifier qui ou ce qui va être impacté
9. 1.1.2.Identifier les types d’impact Votre algorithme aura au moins un type d’impact. Le tableau ci-dessous décrit les différents types d’impact. Un type d’impact peut en impliquer un autre : par exemple, les avis sur les restaurants ont un impact sur la réputation qui, à son tour, a un impact financier. Le but de cette étape est de comprendre la nature des impacts -pas leur degré (faible/fort) ou leur direction (positive/négative). Vous devrez identifier le type d’impact pour chaque groupe que vous avez identifié à l’étape 1.1.1.
10. 1.1.2.Identifier les types d’impact Types d’impact : • Accès à des biens et des services • Financier • Immobilier ou équipement • Réputation • Emotion • Vie / sécurité • Vie privée • Libertés • Droits / Propriété intellectuelle
11. 1.2.Evaluer le périmètre de l’impact
12. 1.2.1.Estimer le degré d’impact Maintenant que vous avez identifié le(s) type(s) d’impact qu’a votre algorithme, vous pouvez évaluer leurs impacts relatifs. Le tableau ci-dessous décrit les niveaux d’impact pour chaque type. A cette étape, ne vous préoccupez pas de la direction de l’impact (positive/négative).
13. 1.2.1.Estimer le degré d’impact Type Impact non-discernable Impact mineur Impact modéré Impact majeur Accès à des biens et des services Financier Immobilier ou équipement Réputation Emotion Vie / sécurité Vie privée Libertés Droits / Propriété intellectuelle
14. 1.2.2.Estimer l’échelle d’impact Echelle Description Petite L’algorithme a un impact sur très peu de personnes, lieux ou choses dans notre domaine. Moyenne L’algorithme a un impact sur un nombre substantiel de personnes, lieux ou choses dans notre domaine. Grande L’algorithme a un impact sur presque toutes les personnes, lieux ou choses dans notre domaine et peut avoir un impact sur des éléments extérieurs à notre domaine.
15. 1.2.3.Déterminer le périmètre de l’impact Estimation du périmètre Estimation de l’échelle de l’impact Petite Moyenne Grande Degré d’impact Non discernable Périmètre très réduit Périmètre très réduit Périmètre limité / réduit Mineur Périmètre très réduit Périmètre limité / réduit Périmètre important Modéré Périmètre limité / réduit Périmètre important Périmètre très large Majeur Périmètre important Périmètre très large Périmètre très large Combinez le score obtenu en 1.2.1 et celui obtenu en 1.2.2. pour déterminer le périmètre de l’impact.
16. 1.3.Estimer la direction de l’impact
17. Chaque type d’impact peut être positif, négatif, ou les deux, sans que cela soit lié à son degré ou son échelle. Par exemple, identifier des zones à surveiller peut être négatif et positif. Il y a au moins deux groupes affectés de manière différente : ceux qui sont soumis à de la surveillance et ceux qui n’y sont pas soumis. Cependant, vous devriez évaluer la direction générale de l’impact. Cela vous sera utile dans les sections suivantes lorsque vous déterminerez les mesures que vous devez prendre pour améliorer l’utilisation responsable et éthique de votre algorithme. 1.3.Estimer la direction de l’impact
18. Impact Description Positif Impact généralement positif, pas d’accès différencié (exemple : qui priverait ou exclurait certaines personnes) ou de changements/impacts négatifs, ne prive pas un autre groupe ou une autre zone. Majoritairement positif Impact positif pour certains tout en ne privant pas un autre groupe ou une autre zone. Certains ne vont pas bénéficier des résultats, mais personne ne sera affecté de manière négative. Majoritairement négatif Impact négatif pour certains, et peut priver un autre groupe ou une autre zone. Négatif Impacts majoritairement négatifs, prive ou enlève des choses à tous les groupes ou zones à qui il s’applique. 1.3.Estimer la direction de l’impact
19. 1.4.Etablir un risque global d’impact
20. Risque global d’impact Direction générale Positif Majoritairemen t positif Négatif Majoritairemen t négatif Périmètre Très réduit Très faible risque d'impact Très faible risque d'impact Faible risque d’impact Risque d’impact modéré Limité / réduit Très faible risque d'impact Faible risque d’impact Risque d’impact modéré Risque d'impact important Important Faible risque d’impact Risque d’impact modéré Risque d'impact important Risque d’impact très important Très large Risque d’impact modéré Risque d'impact important Risque d’impact très important Risque d'impact extrême Combinez l’estimation du périmètre d’impact (étape 1.2.3) avec l’estimation de la direction générale (étape 1.3) pour estimer le risque d’impact général de l’algorithme.
21. Mesures de remédiation
22. Correspondance risque-mesures de remédiation
23. Périmètre très réduit ou limité / réduit : impliquez les communautés impactées (remédiation 1). Périmètre important : ayez recours au suivi de la performance (remédiation 2). Périmètre très large : créez un comité d’éthique indépendant (independent review board) (remédiation 3) ou un autre comité consultatif public (remédiation 4). Etape 1.3 : Estimation du périmètre
24. Risque très faible, faible ou modéré : impliquez les communautés impactées (remédiation 1). Risque important : ayez recours au suivi de la performance (remédiation 2). Risque très important ou extrême : créez un comité d’éthique indépendant (independent review board) (remédiation 3) ou un autre comité consultatif public avec un poids décisionnel dans le programme (remédiation 4). Etape 1.4. : Notez le risque global d’impact
25. Les remédiations en détail
26. Une implication efficace des communautés / parties prenantes est centrée sur les gens, repose sur des partenariats, et est consciente des relations de pouvoir. L’implication des parties prenantes est sociale (en utilisant les réseaux sociaux et canaux existants), technique (compétences, outils, espaces numériques), physique (communs), et se fait sur un pied d’égalité (en ayant conscience des relations de pouvoir et en les limitant). Un exemple d’implication des parties prenantes autour de l’open data pourrait être la co-production d’une politique d’open data, les citoyens créant des outils à partir de données brutes, puis interagissant avec des applications utilisant et visualisant ces données. Remédiation 1 - Une implication efficace des communautés / parties prenantes
27. L’objectif du suivi d’efficacité est d’identifier des zones d’efficacité et des zones où l’efficacité peut être améliorée. La mesure de l’efficacité devrait être : • Centrée sur les objectifs et les services de l’administration • Appropriée et utile pour les parties prenantes susceptibles d’utiliser l’outil • Equilibrée, en permettant une vision d’ensemble de ce que fait l’administration, recouvrant toutes les zones importantes de travail • Résiliente, dans le but de s’adapter à des changements organisationnels ou des départs individuels • Intégrée à l’organisation • Rentable, en trouvant un équilibre entre les bénéfices apportés par l’information et les coûts qu’elle entraîne Remédiation 2 - Suivi d’efficacité
28. Un comité d’éthique est un comité classique dans le monde de la recherche, mis en place pour évaluer et approuver l’application de projets de recherche. Les comités d’éthique peuvent aussi exister hors du monde de la recherche, et peuvent être une étape nécessaire à l’implémentation d’un algorithme. Remédiation 3 - Comité d’ éthique
29. Des groupes de conseils publics sont généralement composés de parties-prenantes clés et de représentants du grand public, sélectionnés pour éclairer le développement d’un projet. Remédiation 4 - Comité consultatif public