Statistiques d'usage des ressources documentaires électroniques - Infrastructures

Pour comprendre les impacts des
technologies sur les statistiques : proxy,
reverse proxy, shibboleth, logs,
tracker ...

Transcript

1. Statistiques d'usage des ressources documentaires électroniques Infrastructures Stéphane Gully <stephane.gully@inist.fr> « Pour comprendre les impacts des technologies sur les statistiques : proxy, reverse proxy, shibboleth, logs, tracker ... » ENSSIB, 13 mars 2012
2. 2 À propos • Stéphane Gully • Chef de projet Fédération d'identités à l'INIST-CNRS • Développements Web PHP, NodeJS, HTML, CSS, JQuery, REST, Framework, Stats, Wiki ... • DevelopR6, DevLog, Plume • Perso Site : http://www.zeitoun.net Twitter : @kerphi79
3. 3 UPS076 du CNRS : 300 personnes Collecter, analyser et diffuser l’IST Unité de production 6 000 clients 600 000 nouvelles références bibliographiques chaque année Bases de Données Pascal : 15 millions de références en science, technologie et médecine Francis : 3 millions de références en sciences humaines, sociales et économie Services en ligne : cat.inist.fr (catalogue) : 3 millions visites / mois, 100 000 visites / jours www.refdoc.fr (VPC de documents) : 250 000 visites / mois, 7800 visites / jours Portails Biblios (accès réservé aux documents numériques) Sites de Veille (sites thématiques spécialisés) INIST : INstitut de l’Information Scientifique et Technique
4. 4 Plan • Techniques de mesures des usages • Les fichiers de log (outils ?) • Les « trackers » (outils ?) • Comment lire les résultats ? • EZProxy • Fonctionnement d'EZProxy • Avantages d'EZProxy • Contrôle d'accès avec EZProxy • Stratégie d'analyse des logs locales
5. 5 Techniques de mesure des usages Fichiers de log d'un serveur Web Tracker : javascripts insérés dans les pages Estimations : barre d'outils échantillons ou panel choisi d'utilisateurs ?
6. 6 Mesure des usages avec les « trackers » Exemple d'outils :
7. 7 Méthode du « tracker » js Site Web Serveur de statistique
8. 8 Méthode du « tracker » js js Site Web Serveur de statistique
9. 9 Méthode du « tracker » js js Site Web Serveur de statistique
10. 10 Code source d'un tracker
11. 11 Discriminer les visiteurs js
12. 12 Discriminer les visiteurs js
13. 13 Informations tracées = ➔ Identifiant anonyme ➔ Page visitée ➔ Heure de la visite ➔ Navigateur / OS ➔ Taille de l'écran ➔ Pays, ville ➔ Affluents ?
14. 14 Exemple de résultat
15. 15 Tracker & PDF • Tracker = Javascript • Javascript s'exécute dans une page Web • Javascript peut analyser le contenu de la page Web • Un fichier PDF ≠ page Web Technique du tracker ne peut pas compter les consultations de PDF
16. 16 Mesure des usages avec les fichiers de log Exemple d'outil :
17. 17 page1.html page2.html 1 page chargée = 1 ligne de log Collecte des logs
18. 18 145.130.77.81 - toto [10/Jun/2010:03:00:55 +0200] "GET /data/page1.html HTTP/1.1" 200 1689 "http://www.google.fr/?q=logiciel+libre" "IE6" 66.130.77.181 - username [10/Jun/2010:03:01:15 +0200] "GET /data/page3.html HTTP/1.1" 200 1993 "http://monsite.domaine.fr/data/page2.html" "Mozilla/5.0" Contenu d'une ligne de log 126.10.7.11 - bob [10/Jun/2010:03:01:01 +0200] "GET /data/page3_.html HTTP/1.1" 404 0 "http://monsite.domaine.fr/data/page1.html" "Chrome" 45.78.89.1 - titi [10/Jun/2010:03:01:14 +0200] "GET /data/page3.html HTTP/1.1" 200 1993 "http://monsite.domaine.fr/data/page2.html" "Safari/3.0" 66.130.77.181 - username [10/Jun/2010:03:01:05 +0200] "GET /data/page2.html HTTP/1.1" 200 1473 "http://monsite.domaine.fr/data/page1.html" "Mozilla/5.0"
19. 19 Contenu d'une ligne de log 66.130.77.181 - username [10/Jun/2010:03:01:05 +0200] "GET /data/page2.html HTTP/1.1" 200 1473 "http://monsite.domaine.fr/data/page1.html" "Mozilla/5.0" IP machine utilisateur
20. 20 Contenu d'une ligne de log 66.130.77.181 - username [10/Jun/2010:03:01:05 +0200] "GET /data/page2.html HTTP/1.1" 200 1473 "http://monsite.domaine.fr/data/page1.html" "Mozilla/5.0" IP machine utilisateur Login utilisateur
21. 21 Contenu d'une ligne de log 66.130.77.181 - username [10/Jun/2010:03:01:05 +0200] "GET /data/page2.html HTTP/1.1" 200 1473 "http://monsite.domaine.fr/data/page1.html" "Mozilla/5.0" IP machine utilisateur Login utilisateur Date de la requête
22. 22 Contenu d'une ligne de log 66.130.77.181 - username [10/Jun/2010:03:01:05 +0200] "GET /data/page2.html HTTP/1.1" 200 1473 "http://monsite.domaine.fr/data/page1.html" "Mozilla/5.0" IP machine utilisateur Login utilisateur Date de la requête Page consultée
23. 23 Contenu d'une ligne de log 66.130.77.181 - username [10/Jun/2010:03:01:05 +0200] "GET /data/page2.html HTTP/1.1" 200 1473 "http://monsite.domaine.fr/data/page1.html" "Mozilla/5.0" IP machine utilisateur Login utilisateur Date de la requête Page consultée Code retour HTTP
24. 24 Contenu d'une ligne de log 66.130.77.181 - username [10/Jun/2010:03:01:05 +0200] "GET /data/page2.html HTTP/1.1" 200 1473 "http://monsite.domaine.fr/data/page1.html" "Mozilla/5.0" IP machine utilisateur Login utilisateur Date de la requête Page consultée Code retour HTTP Taille de la requête Référent Version de navigateur
25. 25 Données compilées Préparation des statistiques awstats.pl -update Logs brutes compilées périodiquement par crontab
26. 26 Visualisation des statistiques Données compilées + mod_cgi jawstats awstats
27. 27 Outils génériques & article PDF • AWStats, Webalizer, W3Perl, AWFFull, Analog Outils génériques ne sont pas faits pour reconnaître ISSN, DOI ...
28. 28 Comment lire les résultats ?
29. 29 Pages vues + = 2 pages visitées
30. 30 Pages vues
31. 31 Hits + = 4 hits + +
32. 32 Hits
33. 33 Page d'entrée, sortie Page d'entrée Page de sortie
34. 34 Page d'entrée, sortie
35. 35 Durée de la visite - =
36. 36 Durée de la visite
37. 37 Non rebond Rebond Taux de rebond = Taux de visites à une page = Σ rebonds Σ visites Taux de rebond
38. 38 Taux de rebond
39. 39 Affluents / Référents Site A Site B A est le référent de B ⇔ A est le « referer » de B ⇔ A est l'affluent de B Accès direct ➔ Url saisie ➔ Favoris
40. 40 Moteur de recherche Google est le référent de B Site B
41. 41 Affluents / Référents
42. 42 Mots clés http://www.google.fr/?q=logiciel+libre Mots clés
43. 43 Mots clés
44. 44 Visites t5 – t4 < 30 minutes mercredi mardi jeudi t4 t6 t5 t1 t2 t3 5 visites
45. 45 Visites
46. 46 Visiteurs uniques mercredi mardi jeudi t4 t6 t5 t1 t2 t3 2 visiteurs
47. 47 Visiteurs uniques
48. 48 ➔ http://awstats.sourceforge.net/ ➔ http://www.jawstats.com/ ➔ http://www.projet-plume.org/fiche/awstats ➔ http://piwik.org/ ➔ http://www.google.com/intl/fr/analytics Références
49. 49 Questions ?
50. 50 EZProxy
51. 51 Portails INIST
52. 52 Portails INIST Éditeur Chercheur Des titres de revues lui sont présentés.
53. 53 Fonctionnement d'EZProxy
54. 54 Fonctionnement d'EZProxy Client EZproxy HTTP HTTP HTML* PDF Éditeur Réécriture des urls dans le HTML HTML PDF
55. 55 Fonctionnement d'EZProxy Client EZproxy http://sciencedirect.com.gate1.inist.fr
56. 56 Fonctionnement d'EZProxy EZproxy Éditeur http://sciencedirect.com .gate1.inist.fr L'éditeur autorise @ip de l'ezproxy
57. 57 Fonctionnement d'EZProxy EZproxy Éditeur HTML <a href="http://sciencedirect.com/00014575/01.pdf"> Télécharger la version PDF </a>
58. 58 Fonctionnement d'EZProxy EZproxy <a href="http://sciencedirect.com/00014575/01.pdf"> Télécharger la version PDF </a> Réécriture des liens dans la page HTML retournée par l'éditeur. <a href="http://sciencedirect.com.gate1.inist.fr/00014575/01.pdf"> Télécharger la version PDF </a>
59. 59 Fonctionnement d'EZProxy EZproxy HTML* Client <a href="http://sciencedirect.com.gate1.inist.fr/00014575/01.pdf"> Télécharger la version PDF </a>
60. 60 Fonctionnement d'EZProxy http://sciencedirect.com.gate1.inist.fr/00014575/01.pdf EZproxy Client
61. 61 Fonctionnement d'EZProxy Éditeur http://sciencedirect.com/00014575/01.pdf EZproxy .gate1.inist.fr L'éditeur autorise @ip de l'ezproxy
62. 62 Fonctionnement d'EZProxy EZproxy Éditeur Possibilité de logger l'accès au PDF
63. 63 Fonctionnement d'EZProxy EZproxy Client
64. 64 Logs générées par cet exemple 126.10.7.11 – stephane.gully@inist.fr [13/Mar/2012:16:10:01 +0100] "GET http://sciencedirect.com HTTP/1.1" 200 1993 126.10.7.11 – stephane.gully@inist.fr [13/Mar/2012:16:13:41 +0100] "GET http://sciencedirect.com/00014575/01.pdf HTTP/1.1" 200 465935 ISSN = 0001-4575 id PDF = 01
65. 65 Avantages d'EZProxy • Proxy transparent pour l'utilisateur • Pré-configuré pour les grands éditeurs • Flexibilité pour l'authentification • Possibilité de mesure des consultations
66. 66 Mesure locale des consultations • Analyse des logs EZproxy permet de : • Compter les consultations par éditeurs • Compter les consultations par revues • Compter les consultations par articles • Chiffres utiles pour : • Évaluation des campagnes de tests d'abonnements • Choix des abonnements pour le CNRS • Négocier les tarifs avec les éditeurs Par individu Par laboratoire Par « groupe »
67. 67 Contrôle d'accès avec EZProxy +
68. 68 Authentifications disponibles • Athens • Blackboard • CAS • DRA Web2 • FTP • IMAP • Innovative Interface Inc. • Insignia • L4U • LDAP • Library card numbers • ODBC • POP • RADIUS • Referring URL • Shibboleth • SirsiDynix • SIP • Text file • Ticket • TLC • Windows Domain • Virtual reference • Multiple auth
69. 69 Authentification par ticket Ticket https://ezticket.inist.fr http://gate1.inist.fr/
70. 70 Configuration EZProxy # délégation de l'authentification ::CGI=https://ezticket.inist.fr/index.php?service=^U&gate=gate1 # authentification par ticket ::Ticket AcceptGroups bibliovie TimeValid 10 MD5 xxxxx Expired; Deny expired.html /Ticket user.txt Group bibliovie IncludeFile ../share/editors/plateforme_elsevier IncludeFile ../share/editors/wos IncludeFile ../share/editors/sciencemag IncludeFile ../share/editors/blackwell # ... config.txt
71. 71 Code PHP pour la génération d'un ticket EZProxy https://ezticket.inist.fr/index.php function EZproxyURLInit( $EZproxyServerURL, $secret, $user = "portal", $groups = "") { global $EZproxyStartingPointURL; if (strcmp($secret, "") == 0) { echo("EZproxyURLInit secret missing"); exit(1); } $packet = '$u' . time(); if (strcmp($groups, "") != 0) { $packet .= '$g' . $groups; } $EZproxyTicket = urlencode(md5($secret . $user . $packet) . $packet); $EZproxyStartingPointURL = $EZproxyServerURL . "/login?user=" . urlencode($user) . "&ticket=" . $EZproxyTicket; } function EZproxyURL($url) { global $EZproxyStartingPointURL; if (strcmp($EZproxyStartingPointURL, "") == 0) { echo("EZproxyURLInit must be called before EZproxyURL"); return ""; } return $EZproxyStartingPointURL . "&url=" . $url; }
72. 72 EZProxy en mode fournisseur de service +
73. 73 Fournisseur de service Ticket https://ezticket.inist.fr WAYF
74. 74 Attributs récupérés • mail ex : stephane.gully@inist.fr • sn ex : GULLY • givenName ex : Stéphane • o ex : CNRS • ou ex : UPS76 (code unité) • cnrsDS ex : 97 (département scientifique)
75. 75 Utilisation des attributs https://ezticket.inist.fr mail sn givenName ou o cnrsDS Administrateur des portails INIST fedeadmin 1. Mémorisation des attributs. 2. Récupération de l'attribut « communauté » (bibliovie, biblioshs …) Référentiel utilisateurs 1. Réglages manuels des droits. 2. Enrichissement de la base de connaissances (SI Labo, infos de gestion)
76. 76 Gestion des chercheurs isolés IdP « virtuel » https://ezticket.inist.fr WAYF 1. Création des comptes des chercheurs isolés. 2. Réglage des droits de chaque chercheur isolé. 3. Volumétrie doit rester raisonnable.
77. 77 Les éditeurs en mode fournisseur de service
78. 78 Fournisseur de service côté éditeur WAYF Client Éditeur
79. 79 EZProxy et les éditeurs • Les tendances sont : • Fournisseur de service côté éditeurs • Analyse fine des logs EZProxy en local • Donc conflit d'intérêts … Alternatives : • Récupération des statistiques chez les éditeurs (SUSHI) • Demander aux éditeurs d'ajouter des systèmes de tracker sur leurs plate-formes
80. 80 Stratégie d'analyse des logs locales
81. 81 Structure d'une URL http://pdn.sciencedirect.com/science? _ob=MiamiImageURL&_cid=271664&_user=4046 427&_pii=S0001457512000747&_check=y&_origi n=browse&_zone=rslt_list_item&_coverDate=201 2-07-31&wchp=dGLbVlt- zSkWb&md5=f5d8d157ccda6d597cb466af123dbff 3/1-s2.0-S0001457512000747-main.pdf
82. 82 Structure d'une URL http://pdn.sciencedirect.com/science? _ob=MiamiImageURL&_cid=271664&_user=4046 427&_pii=S0001457512000747&_check=y&_origi n=browse&_zone=rslt_list_item&_coverDate=201 2-07-31&wchp=dGLbVlt- zSkWb&md5=f5d8d157ccda6d597cb466af123dbff 3/1-s2.0-S0001457512000747-main.pdf ISSN & type du fichier consulté
83. 83 Structure d'une URL http://www.sciencedirect.com/science/journal/000 14575 ISSN En essayant l'URL manuellement on voit que c'est un sommaire HTML
84. 84 Structure d'une URL http://www.cairn.info/load_pdf.php? ID_ARTICLE=RFG_218_0009 Type PDF & ID éditeur Nécessite une base de connaissances pour décoder. Code éditeur ISSN RFG 0338-4551 LMS 0027-2671 ...
85. 85 Découper l'URL http://pdn.sciencedirect.com/science? _ob=MiamiImageURL&_cid=271664&_user=4046 427&_pii=S0001457512000747&_check=y&_origi n=browse&_zone=rslt_list_item&_coverDate=201 2-07-31&wchp=dGLbVlt- zSkWb&md5=f5d8d157ccda6d597cb466af123dbff 3/1-s2.0-S0001457512000747-main.pdf /_pii=S([0-9]{0,7}[0-9X])/i
86. 86 Une structure d'URL par plate-forme éditeur • Sciencedirect = une structure d'URL • Cairn = une structure d'URL • … • Chaque plate-forme possède sa structure d'URL • Un système de reconnaissance d'URL par plate-forme • Écriture d'un : parseur / module / plugin
87. 87 Limites de l'analyse des URLs Exemple chez Springer : http://www.springerlink.com/content/j5q872410p5 10m63/fulltext.pdf Exemple chez Cairn : http://www.cairn.info/load_pdf.php? ID_ARTICLE=RFG_218_0009 • URL opaques (session, cryptages) • Bases de connaissances à compléter manuellement
88. 88 Processus d'analyse des logs Travail d'enrichissement manuel mais peut être réalisé collaborativement
89. 89 Perspectives • Mise à disposition d'une plate-forme d'analyse des logs au niveau ESR • Mutualisation des bases de connaissances (référentiels id éditeurs) • Interopérabilité avec les référentiels des SI • Reconnaissances jusqu'aux articles • Consolidation avec récupération des stats éditeurs (SUSHI) • Prototypage de systèmes de tracker sur les sites des éditeurs (à contractualiser ?)
90. 90 Questions ?