elasticsearch.Douane

restitution : cas d'usage métier avec nested
meetup Elasticsearch France #3 - Paris

Transcript

1. 1 16/09/2013 DGDDI - CID par Cyril Vialard Construire une Intelligence Douanière [ appliquée au 'bigData' ...] ElasticSearch .Douane .Douane #1- Douane : mythe ou réalité ? #2- ElasticSearch : pour faire quoi ?
2. 2 16/09/2013 DGDDI - CID Quizz : q1 Intro …
3. 3 16/09/2013 DGDDI - CID Quizz : q2 Intro …
4. 4 16/09/2013 DGDDI - CID DGDDI (Douane) : quelle utilité ? ➔ Réguler les échanges ➔ Mission fiscale ➔ Soutien économique aux entreprises ➔ Protection du citoyen et de l'environnement ➔ Lutte contre la fraude et la grande délinquance ➔ En réalité …
5. 5 16/09/2013 DGDDI - CID DGDDI (Douane) : quel contexte ? En réalité … ➔ Logique de performance ➔ Ratio coût/productivité ➔ + + => =>
6. 6 16/09/2013 DGDDI - CID DGDDI (Douane) : depuis 20 ans ? ➔ Le Grand Marché Unique ➔ Euro ➔ Frontières ont 'disparu' En réalité … ➔ Programme eCustoms évoluer & s'adapter ➔ réseau ➔ IT => =>
7. 7 16/09/2013 DGDDI - CID eCustoms ✗ Variété [ process métier & données métier ] ◦ NSTI (1) [ NSTI / NCTS ] ◦ DELTA (2) [ Commun / Domicilié / Express ] ◦ DEB [ Déclaration d'Echanges de Biens ] ◦ ECS [ Export Control System ] ◦ ICS [ Import Control System ] ◦ Gamma (3) [ Gamma / EMCS ] ✗ Volume [ stockage ] ◦ Nb télédéclarations / an [ 29,6 M ] ◦ Stockage réglementaire [ 4 – 10 ans ] ✗ Vélocité [ disponibilité ]  (1) NSTI : Nouveau Système de Transit Informatisé / New Computerised Transit System  (2) DELTA : Dédouanement En Ligne par Traitement Automatisé  (3) Gamma : Gestion de l'Accompagnement des Mouvements de Marchandises soumises à Accise / Excise Movement and Control System Le programme …
8. 8 16/09/2013 DGDDI - CID Flux métier ... ➔ Usage [ cas métier (quoi?) ] ◦ Crise sanitaire • quels produits en provenance du Japon ? • quels bureaux concernés? Opérateurs ? ◦ Mission entreprise • trafic opérateur, (marchandises, bureaux, régimes) ◦ Régulation économique • Tomates du maroc, contingents utilisés, saisonnalité, ➔ Services [ fonctionnalité (comment ?) ] ➔ Rechercher, visualiser, analyser vision opérationnelle …
9. 9 16/09/2013 DGDDI - CID Fonction ( Recherche ) Oser l'Innovation Fonction ( Stockage ) Architecture globale … outils : recherches métiers process métiers : télé-services T0 T0 T0+60s T0+60s T0+2s T0+2s SGBD - R
10. 10 16/09/2013 DGDDI - CID Fonction ( Recherche ) Intégration des flux DAU_interne.json Delta [ 1 – normaliser les données : {JSON} ] [ 2 – stocker : au fil de l'eau / reprise ] [ 3 - indexer : au fil de l'eau / reprise ] SGBD - R Fonction ( Stockage ) Architecture globale … DAU outils : recherches métiers process métiers : télé-services
11. 11 16/09/2013 DGDDI - CID ➔ Formulaire papier [ 54 cases ] ➔ Notions fonctionnelles • Numéros, bureaux, opérateurs, logistique, marchandises, liquidation, ... La donnée [ DAU ] ... vision Utilisateur …
12. 12 16/09/2013 DGDDI - CID La donnée [ DAU ] ... N1 N2 1-999 N3 • données générales • bureaux • Logistique • ... • Opérateurs (...) • Liquidation (...) • Cycle de Vie • ... 1 - n • Marchandises • Réglementation(...) • Taxes (...) 0-n vision Fonctionnelle …
13. 13 16/09/2013 DGDDI - CID ➔ Structure [ 652 champs ] Import [ 573 ] export [ 442 ] ➔ 17 collections [ 3 niveaux ] La donnée [ DAU ] ... N1 N2 1-999 N3 • données générales • bureaux • Logistique • ... • Opérateurs (...) • Liquidation (...) • Cycle de Vie • ... 1 - n • Marchandises • Réglementation(...) • Taxes (...) 0-n vision Fonctionnelle …
14. 14 16/09/2013 DGDDI - CID ➔ Structure identique ➔ Pièces jointes [ xml / pdf ] ➔ Volume stocké [ 13 M/an ] ➔ TimeToLive [ 10 ans ] La donnée [ DAU_interne ] ... vision Technique …
15. 15 16/09/2013 DGDDI - CID ➔ Cluster ➔ Nb noeuds [ 3 ] ➔ Version [ 0.17.6 - 0.19.7 ] > [ 0.90.0 ] ➔ RAM 22 Go ➔ Design Index [ processMétier - Periode(YYYY-MM) ] • 2 types / index [ general, article ] • taille 1 index/general [ 4 Go max ] ~ 500 000 decs • taille 1 index/article [ 40 Go max ]~ 1 200 000 articles • Nb Shards [ 3 ] • Nb Replicats [ 1 ] - 2 Templates [ general, article ] ➔ Nb de docs [ 13 M/an ] > [ 2 To ] >> [ 1,2 To ] ➔ TimeToLive [ 4ans ] Le Cluster - Les Index [ ] ... vision ES …
16. 16 16/09/2013 DGDDI - CID ➔ Structure identique [ champs / notions fonctionnelles / collections ] ➔ Gestion des collections [ nested ] ➔ _source : stocké ➔ _attachments : exclus ➔ ➔ 2 Templates [ general / article ] ➔ Pourquoi ? - Création automatique des index & types Le Mapping [ DAU ] ... N1 N2 N3 nested nested vision ES …
17. 17 16/09/2013 DGDDI - CID ➔ Template [ general ] ➔ Possibilités ? ➔ Rechercher les documents sur tous les niveaux ➔ Restituer les informations de niveau 1 Le Mapping [ DAU ] ... N1 N2 N3 nested nested vision ES …
18. 18 16/09/2013 DGDDI - CID ListerGeneral [ DAU ] ... vision ES …
19. 19 16/09/2013 DGDDI - CID ➔ Template [ article ] ➔ Possibilités ? ➔ Rechercher les documents sur tous les niveaux ➔ Restituer les informations de niveau 1 et 2 Le Mapping [ DAU ] ... N1 N2 N3 1 - 1 nested vision ES …
20. 20 16/09/2013 DGDDI - CID ListerArticle [ DAU ] ... vision ES …
21. 21 16/09/2013 DGDDI - CID ListerDocument [ DAU ] ... vision ES …
22. 22 16/09/2013 DGDDI - CID Analyser [ DAU ] ... vision ES …
23. 23 16/09/2013 DGDDI - CID Expérimenter [ DAU ] ... Apprentissage …
24. 24 16/09/2013 DGDDI - CID ➔ ES [ 0.17.6 ] ✗ Index avec structure 'à plat' ➔ Pb de volume occupé & couverture des besoins ✗ Index avec parent/child [ has_child (expérimental) ] ◦ Pb de comportement ➔ ES [ 0.19.7 ] ✔ Index avec nested ➔ ES [ 0.90.0 ] ✔ Gain de place + 40 % Expérimenter [ DAU ] ... Apprentissage …
25. 25 16/09/2013 DGDDI - CID Tester [ DAU ] ... Apprentissage …
26. 26 16/09/2013 DGDDI - CID Fonction ( Recherche ) Choisir & ... Fonction ( Stockage ) outils : recherches métiers process métiers : télé-services T0 T0 T0+60s T0+60s T0+2s T0+2s SGBD - R En résumé …
27. 27 16/09/2013 DGDDI - CID Approche ETL – SGBD R Archiver Transformer Charger Extraire Interroger SQL & … Renoncer En résumé … outils : recherches métiers simples process métiers : télé-services T0 T0 T1 + ? s/h/j T1 + ? s/h/j T0 + 24h T0 + 24h ou ou T0 + 30J T0 + 30J DAU-C DW-A DW-AV DMA1 DMA5 DMAV1 DMAV3 SGBD - R Nb mappings / source : • DataWarehouse : 43 • DataMart : 10
28. 28 16/09/2013 DGDDI - CID Conclusion …
29. 29 16/09/2013 DGDDI - CID Conclusion …
30. 30 16/09/2013 DGDDI - CID Questions ? Merci de votre attention Réponse Quizz q2 : Autre > le 16/09/2013 – MeetUp ElasticSearch France #3