20210211-datadrink-ami-ia-dgcl

Transcript

2. 2 DGCL – Projet @CTES (Aide au contrôle de légalité dématérialisé) ACLIA - Aide au Contrôle de Légalité par l’Intelligence Artificielle Equipe MOA: Eglantine Fraisse et Séverine Codet dgcl-actes@dgcl.gouv.fr
3. 3 Le contrôle de légalité Mission étatique inscrite à l’article 72 de la Constitution Contrôle effectué par les préfectures et DDT Délai de 2 mois à compter de la réception de l’acte. Une course contre la montre!
4. 4 Le dispositif @CTES (2004) Pour les collectivités territoriales : outil de dématérialisation de la transmission Pour les préfectures : outil de contrôle, avec des outils pour cibler les actes sensibles La mission du contrôleur peut être compliquée par les mauvaises pratiques des émetteurs.
5. 5 Pour un acte : un PDF + des annexes + des métadonnées Type de métadonnées Exemple Acteurs Exemple d’une délibération autorisant le maire à lancer un marché public Nature de l’acte Délibération CT Matière de l’acte Marché public CT Libellé des annexes Règlement de consultation CT Objet Appel d’offres pour l’entretien des espaces verts CT Acte non soumis au contrôle (tag) Préfecture
6. 6 Les difficultés rencontrées Action de la collectivité Difficulté Actions correctives de la préfecture Les préfectures doivent visualiser chacun des actes reçus Envois massifs d’actes non soumis à l’obligation de transmission Effet de masse, mélange Tri des actes Erreurs dans le choix de la « matière » ou de la « nature » Mauvais routage des actes, filtres inefficaces Réaffectation des actes Objet de l’acte imprécis Information inexploitable ou trompeuse, recherche par mot clé inefficace
7. 7 Les objectifs du projet ACLIA : - Mieux repérer les actes à enjeux et les actes sensibles - Mieux détecter les risques d’illégalité - Se recentrer sur l’analyse juridique en gagnant du temps sur les actions préalables Repérer les actes non soumis à l’obligation de transmission Fiabiliser les données saisies par les collectivités Repérer les informations clés dans un acte
8. 8 Choix méthodologique Donner la priorité à la qualité et ne pas exploiter des métadonnées brutes disponibles en base dans @CTES Limiter au maximum le temps d’annotation d’un acte Procéder en cascade : D’abord prédire la nature et la matière Puis utiliser ces métadonnées fiabilisées pour atteindre les autres objectifs Objet Nature Matière Océriser les PDF non textuels
9. 9 Prédiction des nature et matière de l’acte Annotation : choix de la bonne valeur dans une liste préétablie Correction des nuages de mots utilisés par les algorithmes (présence des mots pertinents, adaptation de la pondération) Résultats satisfaisants pour : -La prédiction des délibérations : 95% en précision et en rappel, la prédiction de la matière « marchés publics » : 75% en précision et en rappel Nature Matière
10. 10 Prédiction de l’objet de l’acte Découpage de l’objet en concepts – une liste de concept pour chaque nature d’acte Repérage des concepts dans la métadonnée ET dans le corps de l’acte Résultats insuffisants. Complexité de l’annotation (part de subjectivité). Difficulté à homogénéiser l’annotation et à traiter tous les cas de figure. Objet
11. 11 Prédiction du caractère non transmissible de l’acte Classification Utilisation métadonnées corrigées Règles heuristiques La méthode d’annotation n’apportait pas assez d’informations à l’algorithme. Elle a été réajustée en cours de route. Résultats améliorés mais inexploitables
12. 12 Les enseignements Nécessité de l’utilisation du corps de l’acte et donc d’une brique d’océrisation. Difficultés liées au caractère non normé des actes et de certaines métadonnées. Repenser la catégorisation nationale utilisée dans @CTES. Apporter le maximum d’informations à l’algorithme. Projet Aclia