20201007_IA_et_controles_LabIA

Transcript

1. IA et métier du contrôle - Mise en perspective par le Lab IA d’Etalab
2. 2 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) Présentation du Lab IA IA et métiers du contrôle Les domaines d’interventions Quelles techniques? Quelles limites technologiques et organisationnelles ? Quels risques et comment les atténuer ? Points abordés
3. 3 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) 1. Accompagner les projets IA de la sphère publique AMI 1 (2018) 6 projets IA sélectionnés pour « mettre le pied à l’étrier » sur l’intelligence artificielle dans la sphère publique. Les résultats ont été présentés le 28 novembre 2019. AMI 2 (2019) 15 projets IA sélectionnés portant sur de nombreux domaines de l’action publique : justice, sécurité, économie, santé, transition écologique… En cours de réalisation Présentation du Lab IA
4. 4 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) 2. Proposer des capacités mutualisées au service du développement d’une IA française PIAF – Pour des IA Francophones Création d’un jeu de données francophones pour l’IA public et ouvert. « Annotathons » hebdomadaires pour construire le jeu de données Actuellement, travail en cours pour développer des moteurs de recherche / chatbots au service de différentes administrations (servicepublic notamment) https://piaf.etalab.studio/ Outil de pseudonymisation des décisions de justice Brique de mutualisation (code open source et guide de pseudononymisation). https://github.com/etalab-ia/pseudonymisation_decisions_ce https://guides.etalab.gouv.fr/pseudonymisation/#a-quoi-sert-ce-guide Présentation du Lab IA
5. 5 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) 3. Acculturer et former l’écosystème des acteurs publics à l’IA Animation du réseau IA des acteurs publics Organisation de data drinks (un par mois) pour presenter les initiatives IA et data sciences dans l’administration. Une infolettre: https://infolettres.etalab.gouv.fr/subscribe/lab- ia@mail.etalab.studio Partenariat avec la recherche Convention de collaboration avec l’INRIA en cours de signature. 4 projets AMI IA 2 bénéficieront d’un accompagnement scientifique du fait d’une complexité technique particulière. Présentation du Lab IA
6. 6 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) Exemple de projet : iAlim (en production) Prioriser les contrôles sanitaires pour les restaurants, à partir de leurs caractéristiques et des avis d’internautes Contexte • La Direction générale de l’alimentation (DGAL) veille à la sécurité et à la qualité des aliments à tous les maillons de la chaîne alimentaire. • Pour veiller au respect des règles d’hygiène relatives à la restauration, des inspecteurs sont déployés sur le territoire pour inspecter les restaurants. Objectifs • Renforcer l’effet dissuasif des contrôles sanitaires pour la protection de la santé publique • Valoriser le métier des inspecteurs • Améliorer le ciblage des contrôles • Enrichir les informations disponibles sur les restaurants Chiffres clés • 175 000 restaurants en France • ~300 agents responsables des inspections des restaurants • 12% des restaurants contrôlés par an • 19% des inspections ont des résultats insatisfaisants
7. 7 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) IA et métiers du contrôle: les domaines d’intervention Vérification de l’information Lutte contre la fraude Contrôle de légalité Contrôle de « qualité » / adéquation aux normes • Normes sanitaires: Ex: contrôle des restaurants, projet iAlim, DGAL • Normes environnementales: Qualité de l’air, de l’eau, utilisation de ressources (MonitorFish, MTES) • Outil d’aides à la décision pour juristes : Ex: contrôle de légalité des actes • Détection de clauses abusives dans les contrats : Ex: projet pour la DGCCRF • Outils d’aide à l’inspection de conformités à des règlementations territoriales Ex: Envinorma, DRIEE • Détection de « fake news » • Fact checking Ex: collaboration INRIA / Le Monde pour implémenter des méthodes d’IA (chaire SourcesSay) • Lutte contre la fraude financière Ex: projet Adler, DGFIP) • Lutte contre la fraude à l’acquisition de droits sociaux DGEFP, projet de lutte contre la fraude à l’activité partielle
8. 8 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) IA et métiers du contrôle: quelles techniques ? L’analyse de graphes L’analyse de graphes est une méthode souvent utilisée pour la détection d’anomalie, dans la lutte contre la fraude en particulier. Permet de détecter des « parttern » anormaux sans avoir besoin de données « labélisées » Nécessite un travail préalable de constitution de la base de connaissance (graphe): reconnaissance d’entités (NER), réconciliations d’entités, NER linking Ex: projet Adler, DGFIP Nécessite d’avoir des données « labélisées » La constitution d’une base de données labélisées implique souvent de passer par une phase d’annotation EX: Projet ActIA de la DGCL (phase d’annotation) Ex: projet iAlim de DGAL (données labélisées grâce aux résultats d’inspection L’apprentissage supervisé Traduction de règles métier en code informatique pour automatiser certains contrôles Quand ces règles métiers existent, il est intéressant de mettre en place ce type de solutions « simples » qui serviront de « benchmark » aux solutions plus complexes d’apprentissage automatique Ex: travaux mis en place à la DGEFP pour la détection de fraude à l’activité partielle Les moteurs de règles Les types de problèmes: classification, scoring, détection d’anomalies
9. 9 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) IA et métiers du contrôle: quelles limites ? Les limites technologiques • Nécessité de collecter la donnée de façon à la rendre utilisable • Performance du modèle : quelles métriques (à définir conjointement avec les métiers) , quel seuil acceptable ? • Stabilité du modèle (les individus contrôlées peuvent mettre en place des stratégies d’adaptation aux modèles) Les limites organisationnelles • Les projets sont souvent complexes et nécessitent une forte implication des métiers: - compréhension du besoin - tests utilisateurs - annotation quand c’est pertinent • Nécessité de fonctionner par itérations (méthode de l’escalier), ne pas viser trop large (commencer par viser un périmètre atteignable) pour éviter les désillusions
10. 10 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) IA et métiers du contrôle: quels risques et comment les atténuer ? Les risques • Risque de biais de la solution d’IA : - Cibler les contrôles davantage vers certains groupes (risques d’amplification, de feedback loops) - Risques d’erreurs importants pour les cas rares ou atypiques • Risque que la solution d’IA biaise la prise de décision humaine Comment atténuer ces risques : • Se fixer des objectifs souhaitables et les garder en tête tout au long du processus • Impliquer les différentes parties prenantes tout au long du processus • Intégrer à l’outil un module d’explication des résultats de l’algorithme • Réaliser une étude risques (voir « Pour une IA de confiance de la Commission Européenne » )
11. 11 DINUM | ETALAB – Mise en place du Lab IA (janvier 2020) Contact: lab-ia@data.gouv.fr