Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ANF RNBM : Présentation de la plateforme ISTEX

Stéphane Gully
November 16, 2015

ANF RNBM : Présentation de la plateforme ISTEX

A l'occasion de l'ANF organisée par le RNBM à Marseille sur le thème des "Bibliothèques de mathématiques de demain"

Stéphane Gully

November 16, 2015
Tweet

More Decks by Stéphane Gully

Other Decks in Research

Transcript

  1. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] ISTEX INITIATIVE D’EXCELLENCE EN INFORMATION SCIENTIFIQUE ET TECHNIQUE LA PLATEFORME ISTEX
  2. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] Les chargements des données dans la plateforme Usage 1 : Outils de découvertes Usage 2 : Portails doc, CMS, ENT Enrichissements des données ISTEX Usage 3 : Extraction de corpus pour la recherche Le tout parsemé de démos DÉROULEMENT DE LA PRÉSENTATION
  3. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] • • • • • • • € QUELQUES RAPPELS
  4. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] CARTOGRAPHIE DES PROJETS Le SOCLE Reconstruction de Réf. citées Indexation automatique Extraction d’entités nommées Extraction terminologique ISTEX-R LOREXPLOR CELLO Chantiers d’ usage HUB De Métadonnés
  5. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] WILEY loader Stockage Standardisation (Mods+TEI) Indexation INGESTION Canaux Usages NORMALIZATION and ENRICHISSEMENTS DIFFUSION et SERVICES ( Reformatage ) OAI PMH SPARQL ENDPOINT API Web REST/JSON METS, DC, PREMIS WIDGET S Portails ENT CMS ElasticSearch Discovery tools Projets de Recherche Archivage pérenne Enrichissements ISTEX Utilisateurs Labos ISTEX ARCHITECTURE Labos
  6. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] ORGANISATION POUR CONSTRUIRE LA PLATEFORME ISTEX
  7. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] WILEY loader Stockage Standardisation (Mods+TEI) Indexation INGESTION Canaux Usages NORMALIZATION and ENRICHISSEMENTS DIFFUSION et SERVICES ( Reformatage ) OAI PMH SPARQL ENDPOINT API Web REST/JSON METS, DC, PREMIS WIDGET S Portails ENT CMS ElasticSearch Discovery tools Projets de Recherche Archivage pérenne Enrichissements ISTEX Utilisateurs Labos PÉRIMÈTRES DES ÉQUIPES INIST Labos ISTEX DATA ISTEX RD ISTEX API
  8. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] ARTICULATION ENTRE LES ÉQUIPES ISTEX DATA ISTEX API ISTEX RD ABES Éditeurs ESR (meta) + ft meta + ft meta + ft m eta enrichissements Unités de recherche
  9. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] CADRE ORGANISATIONNEL : SCRUM Vision du produit « cadre de travail permettant de répondre à des problèmes complexes et changeants tout en livrant de manière productive et créative des produits de la plus grande valeur possible » Ken Schwaber & Jeff Sutherland sources wikipedia
  10. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] • • • • VALEURS AGILES, ÉTAT D’ESPRIT
  11. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] LES CHARGEMENTS DES DONNÉES DANS LA PLATEFORME
  12. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] ISTEX L’INGESTION • • ❖ ❖ ❖ ❖ … ❖ • •
  13. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] ISTEX CHARGEMENTS • • • • • • • • •
  14. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] WILEY loader Stockage Standardisation (Mods+TEI) Indexation INGESTION Canaux Usages NORMALIZATION and ENRICHISSEMENTS DIFFUSION et SERVICES ( Reformatage ) OAI PMH SPARQL ENDPOINT API Web REST/JSON METS, DC, PREMIS WIDGET S Portails ENT CMS ElasticSearch Discovery tools Projets de Recherche Archivage pérenne Enrichissements ISTEX Utilisateurs Labos Labos ISTEX ARCHITECTURE
  15. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] PRINCIPE D’UN DT formulaire de recherche click au choix sur un des moyens d’accéder à l’article étape pouvant être transparente en fonction de la configuration click sur “Aller au texte intégral” d’un article discovery tool outil de découverte link solver résolveur de lien
  16. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] ISTEX DIFFUSION VIA LES DT Premier test avec EBSCO
  17. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] WILEY loader Stockage Standardisation (Mods+TEI) Indexation INGESTION Canaux Usages NORMALIZATION and ENRICHISSEMENTS DIFFUSION et SERVICES ( Reformatage ) OAI PMH SPARQL ENDPOINT API Web REST/JSON METS, DC, PREMIS WIDGET S Portails ENT CMS ElasticSearch Discovery tools Projets de Recherche Archivage pérenne Enrichissements ISTEX Utilisateurs Labos Labos ISTEX ARCHITECTURE
  18. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] API ISTEX : ARCHITECTURE API ISTEX https://api.istex.fr PDF PDF PDF PDF PDF indexation GET /corpus/ GET /?q=nobel ex: revues et articles scientifiques
  19. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] API ISTEX : DOCUMENTATION API ISTEX ENT de l’UL Menu de navigation de l’ENT … … Ressources ISTEX … … ... AJAX ou JSONP http(s)://widgets.istex.fr/ <script type=" text/javascript" src="...” <link rel=" stylesheet" href="...” script.min.js style.min.css images.png http://ent.univ-lorraine.fr/ https://api.istex.fr/
  20. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] ISTEX DIFFUSION VIA WIDGETS Merci à Guillaume COLSON, Thomas FRANTZ et Julien Marchal de l’Université de Lorraine
  21. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] ISTEX ELÉMENTS TECHNIQUES ❖ ❖ <istex-search></istex-search> <istex-results></istex-results> <istex-facets></istex-facets> ❖ <script> var istexConfig = { proxyApi: "https://api.istex.fr", }; [ "https://widgets.istex.fr/bower_components/bootstrap/dist/css/bootstrap.min.css", "https://widgets.istex.fr/bower_components/bootstrap/dist/css/bootstrap-theme.min.css", "https://widgets.istex.fr/slider/rzslider.css", "https://widgets.istex.fr/style.min.css" ].forEach(function (href) { var link = document.createElement("link"); link.href = href; link.rel = "stylesheet"; document.head.appendChild(link); }); </script> <!-- Dependencies --> <script src="https://widgets.istex.fr/bower_components/angular/angular.min.js"></script> <script src="https://widgets.istex.fr/slider/rzslider.js"></script> <script src="https://widgets.istex.fr/app.min.js"></script> Plus de détails et le code complet sur github
  22. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] Merci à Dominique ROUGER de l’ Université de Saint Etienne INTÉGRATION VIA API DANS ENT
  23. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] INTÉGRATION VIA API DANS DRUPAL Merci à Julien SICOT de l’Université de Rennes 2
  24. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] INTÉGRATION VIA API DANS DRUPAL Module Drupal – version 7 – Non encore publié
  25. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] WILEY loader Stockage Standardisation (Mods+TEI) Indexation INGESTION Canaux Usages NORMALIZATION and ENRICHISSEMENTS DIFFUSION et SERVICES ( Reformatage ) OAI PMH SPARQL ENDPOINT API Web REST/JSON METS, DC, PREMIS WIDGET S Portails ENT CMS ElasticSearch Discovery tools Projets de Recherche Archivage pérenne Enrichissements ISTEX Utilisateurs Labos Labos ISTEX ARCHITECTURE
  26. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] <biblStruct> <author> <persName> <surname>Johnstone</surname><forename>I</forename>/persName> <surname>Silverman</surname><forename>B</forename>/persName> </author> <title level="a">Ebayesthresh : R programs for empiracal bayse thresholding</title> <title level="j">Journal of Statistical Software</title> <biblScope type="vol">12</biblScope> <biblScope type="issue">8</biblScope> <date when="2005">2005</date> <biblScope type="pp" from="1" to="38">1-38</biblScope> </biblStruct> REFERENCE RECOGNITION : GOAL Localisation Identification Structuration Cross-linking between documents Co-citation & Cited-by analysis
  27. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] 3 tools Training corpus Training cycle Metrics REFERENCE RECOGNITION : METHOD
  28. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] EXTRACTION D’ENTITÉ NOMMÉE (1) Person: <persName>Albert EINSTEIN</persName> <persName>Marie CURIE</persName> Localisation: <placeName>Paris<geogName> Organisations: <orgName>CNRS</orgName> Funded_by <orgName type="funded">ANR</orgName> Date: <date>1905</date> URL: <ref type="url">www.istex.fr</ref> Refine by category Search in unstructured full-text
  29. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] TERMINOLOGY EXTRACTION: GOAL Refine by category Increase index quality
  30. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] USAGE 3 EXTRACTION DE CORPUS POUR LA RECHERCHE
  31. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] WILEY loader Stockage Standardisation (Mods+TEI) Indexation INGESTION Canaux Usages NORMALIZATION and ENRICHISSEMENTS DIFFUSION et SERVICES ( Reformatage ) OAI PMH SPARQL ENDPOINT API Web REST/JSON METS, DC, PREMIS WIDGET S Portails ENT CMS ElasticSearch Discovery tools Projets de Recherche Archivage pérenne Enrichissements ISTEX Utilisateurs Labos Labos ISTEX ARCHITECTURE
  32. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] - npm install -g istex-api-harvester - istex-api-harvester -u [email protected] \ -q '* AND categories.wos:("MATHEMATICS")' \ --fulltext pdf \ --size 10 - POUR COMMENCER, EXTRACTION D’UN CORPUS
  33. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] CLASSIFICATION Automatically build on the results list by clustering
  34. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] Split Disappear Arrival Stable Period #1 Period #2 DIACHRONIC MAPS CONSTRUCTION
  35. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] LOREXPLOR: PUTTING ISTEX IN THE HEART OF THE RESEARCH PRACTICES …
  36. ANR-10-IDEX-0004-02 – 18 Novembre 2015 – CIRM2015 – MARSEILLE –

    Stéphane Gully – [email protected] [email protected] [email protected] [email protected] [email protected] @Projet_ISTEX or @istexdev http://www.istex.fr https://api.istex.fr http://demo.istex.fr