Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Vues sur la bibliométrie

C62883159382961b2cd5382e8b349238?s=47 mlarrieu
February 05, 2021

Vues sur la bibliométrie

"Vues sur la bibliométrie", intervention donnée dans le cadre de la formation des conservateurs de l'ENSSIB en février 2021.

Partie 1 : Bibliométrie et documentation, p.4
Partie 2 : Bibliométrie et évaluation de la recherche, p. 40
partie 3 : Bibliométrie et science ouverte, p. 58

C62883159382961b2cd5382e8b349238?s=128

mlarrieu

February 05, 2021
Tweet

Transcript

  1. Vues sur la Bibliométrie ENSSIB, 2021 UE enseignements professtionnels Données

    et Science ouverte Maxence LARRIEU, PhD cv.archives-ouvertes.fr/maxence-larrieu
  2. 2/125 Pinto, A. L., Semeler-Ribas, A., Gonzales-Aguilar, A., & Clauzel,

    C. (2015). Visualization and co-occurrence of journals in the area of information science in vis-a-vis the Qualis/Capes system in Brazil. Netcom. Réseaux, communication et territoires, (29-3/4), 325-346.
  3. 3/125 Plan Bibliométrie & Documentation Bibliométrie & Évaluation Bibliométrie &

    Science ouverte 30s 90s 10s
  4. Bibliométrie & Documentation

  5. 5/125 Accroissement scientifique Mabe, M., & Amin, M. (2001). Growth

    dynamics of scholarly and scientific journals. Scientometrics, 51, 147-162. • XXe s. accroissement des journaux • 1920 début de la hausse
  6. 6/125 Growth of the annual number of cited references from

    1650 to 2012 (citing publications from 1980 to 2012) Bornmann, L., & Mutz, R. (2015). Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology doi.org/10.1002/asi.23329
  7. 7/125 Savoir-faire pour sélectionner des livres “ The answer to

    the question of what books a library in chemistry should contain will be found excellently answered in a book, containing a list of 1,600 books, each one judged by experts as to importance and value. This book, edited by Patterson and Crane, will soon be available Contexte bibliothéconomie Gross, P. L., & Gross, E. M. (1927). College libraries and chemical education. Science, 66(1713), 385-389.
  8. 8/125 • Changement d’échelle, de granularité • Budget limité, quantité

    d’article démesurée : comment procéder ? “ What files of scientific periodicals are needed in a college library successfully to prepare the student for advanced work ? Contexte bibliothéconomie “ only relatively few libraries can afford complete files of journals which have been published continuously for a century or more Ibid.
  9. 9/125 Depuis une revue majeure, comptage des citations vers les

    autres revues du domaine Gross, P. L., & Gross, E. M. (1927). College libraries and chemical education. Science, 66(1713), 385-389
  10. 10/125 Définition Pritchard, A. (1969). Statistical bibliography or bibliometrics. Journal

    of documentation , 25(4), 348-349 “ L’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication
  11. 11/125 L’application des mathématiques et des méthodes statistiques aux livres

    et autres moyens de communication références des publications scientifiques Définition bis
  12. 12/125 La bibliométrie • Concerne la science • S’opère sur

    les références, pas le contenu • Naît dans un contexte documentaire • En s’intéressant aux journaux et articles • Ne possède pas de finalité per se
  13. 13/125 “ la bibliométrie est aux publications ce que la

    démographie est aux populations. Le bibliomètre exploite statistiquement des signalements bibliographiques comme le démographe étudie les populations : il n'est pas sensé avoir lu les publications qu'il catégorise et comptabilise Rostaing, H. (1996). La bibliométrie et ses techniques Bibliométrie et démographie
  14. 14/125 Où trouver la matière première, les données, les références

    bibliographiques, de la bibliométrie ?
  15. 15/125 Eugène Garfield, the guy • 1951 PhD in Linguistic,

    related to chimical nomencalture • 1953 degree in Library Science • 1960 create Institue of Scientific Information • 1963 conceptor of the Science Citation Index US, 1925 - 2017
  16. 16/125 Science Citation Index • Première base des citations scientifiques

    • Ancêtre du Web Of Science
  17. 17/125 Science Citation Index

  18. 18/125 Typologie documentaire

  19. 19/125 Journal Citation Reports • Index des journaux scientifiques :

    issn, domaine, nb of publis, citations émises, citations reçues, facteur impact
  20. 20/125 Facteur d’Impact Métrique sur le journal, conçue en 1969

    Rapport entre le nombre de citations reçues et le nombre d’articles publiés
  21. 21/125 Facteur d’Impact FI 2018 = Somme des citations reçues

    en 2018 des publis parues en 2015-17 ____________________________________________________ Nombre de publications « citable » en 2015-17
  22. 22/125 Garfield, E. (2006). "The History and Meaning of the

    Journal Impact Factor". JAMA. 295 (1): 90–3.
  23. 23/125 Journal Citation Ranking

  24. 24/125 Outils traditionnels • Bases : Wos & Scopus •

    Avant Scopus (2004), le Wos avait le monopole : la bibliométrie s’est forgée pendant 40 ans avec le Wos
  25. 25/125 Web Of Science

  26. 26/125 Scopus

  27. 27/125 Wos The Core collection is • Over 74 millions

    records • 21,177 journals • Over 8 million conference papers • 104,000 books • 1.5 billion (1900 to present) cited references Wos coverage (janv. 2021)
  28. 28/125 Scopus • 70 millions items • 21,950 peer-reviewed journals

    • 8 millions conference papers • 150,000 books • 1.4 Billion of recorded references Scopus coverage (janv. 2021)
  29. 29/125 ✐Exercice Labo : LMV, LATMOS, VIMA, GEMAC, LSCP, LIGM

    Période : 3 dernières années nb publi evol publi 4 dernières années 2 premiers type de publication avec % 2 premiers domaines 2 revues au plus fort impact du premier domaine docs.google.com/spreadsheets/d/1t44F_uocMo7nvAPkdzTy6-DQKcbA BC6n0XkSv4i0A3Q/edit?usp=sharing
  30. 30/125

  31. 31/125 Vue sur les données Bibliographiques Citations

  32. 32/125 Des données structurées publi journal citat° reçues domaine auteur

    structure établiss ement pays citat° émises type doc
  33. 33/125 Des identifiants … publi journal citat° reçues domaine auteur

    structure établiss ement pays citat° émises ISSN DOI ORCID RNSR idRef structId idHal type doc ROR GRID ISO
  34. 34/125 … aux Référentiels • Référentiel Auteurs • Référentiel Structures

    • Référentiel Journaux • Référentiel Domaines • Référentiel Type de doc ...
  35. 35/125 Référentiel Auteur Hal

  36. 36/125 Base ref domaine ref journal ref auteur ref structure

    ref type doc données utilisat° données bibliogra données citations métriques
  37. 37/125 x² + ∫n+1 - √y = indicateur la Bibliométrie

    Base ref domaine ref journal ref auteur ref structure ref type doc données utilisat° données bibliogra données citations métriques
  38. 38/125 Deux axes cardinaux

  39. 39/125 Différents usages de la Bibliométrie Rappel : la bibliométrie

    n’a pas de finalité en soi • Exemple – Veille scientifique – Veille industrielle (90’s ajout des brevets) – Éclairer l’évolution des sciences (eg. disciplines émergeantes) – Appuyer l’évaluation de la recherche
  40. Évaluer la recherche

  41. 41/125 Un usage non prévu “ Les répertoires de l'ISI

    n 'ont pas été créés pour mesurer les "performances" des chercheurs, équipes ou laboratoires […]. Or très rapidement, on a fait dévier le but originel de ces données pour évaluer, plus ou moins légitimement, les acteurs de la recherche scientifique. Rostaing, H. (1996). La bibliométrie et ses techniques. La bibliométrie pour évaluer la recherche : un glissement
  42. 42/125 “ Il y a actuellement un consensus pour dire

    que la citation ne mesure pas la qualité de la recherche mais plus exactement ce qu'on pourrait appeler l'impact des publications, que cet impact soit dû au contenu de l'article ou aux autres facteurs influençant la pratique de citation Prédicat bancal : données de citations comme signe de qualité Ibid.
  43. 43/125 Nombre de citation et facteur d’impact des revues pour

    « noter » les chercheurs “ On connaît la très forte influence exercée par l’ISI sur la communauté scientifique internationale. Le modèle statistique qu’il a mis en œuvre conditionne l’avancement des chercheurs dans un nombre croissant de pays. Les administrations qui en ont la tutelle utilisent fréquemment la combinaison Citations + Impact Factor pour « noter » ces chercheurs. Durand-Barthez, M. (2006). L'évaluation des publications scientifiques: du facteur d'impact à l'indice de notoriété.
  44. 44/125 Ex : points SIGAPS, ministère Santé Nombre de publication,

    FI revue et rang des auteurs, pour calculer un score, à partir duquel déduire une dotation Conçu en 2002 CHU Lille
  45. 45/125 La valeur du point en 2017 est de 648

    euros MADIOT, H., BELLE, L., Points SIGAPS / SIGREC : ce que vous faites gagner à votre Hôpital Congrès CNCH 2016 Un score calculé à partir des publications, utilisé par le Ministère de la Santé pour financer une partie des CHU
  46. 46/125 “ D’outil de cartographie, de gestion et d’analyse des

    publications à l’échelle des établissements, il a été transformé en outil de gestion administrative de l’enveloppe budgétaire dédiée à la recherche “ Alors que les budgets de recherche, pour les CHU notamment, étaient auparavant alloués sur une base forfaitaire et proportionnelle à la taille de l’établissement, l’instauration du nouveau système SIGAPS a profondément changé la donne, en introduisant un financement basé sur la « performance », modèle qualifié par certains chercheurs de « tarification à l’acte bibliométrique » (Mancini et al., 2009). Gingras, Y., & Khelfaoui, M. (2020) L’effet SIGAPS: La recherche médicale française sous l’emprise de l’évaluation comptable.
  47. 47/125 labcom-risca.com (2021, 01) “ plusieurs CHU utilisent désormais les

    données de publication individuelles compilées par SIGAPS dans les processus d’embauche ou de promotion des chercheurs Ibid.
  48. 48/125 Ex : classement de Shangaï 6 critères dont 3

    basés sur les publications et citations du Wos
  49. 49/125 Ex : Hcéres classement des revues SHS1 Économie &

    Gestion
  50. 50/125 Un usage détourné de la bibliométrie, mais tellement répandu

    qu’on ne peut se référer à l’un sans l’autre
  51. 51/125 “ été 2009 l’AERES a invité les représentants de

    chaque section du CNU et du CNRS à former des commissions destinées à établir, section par section, la liste des revues garantissant la valeur des travaux publiés dans une discipline donnée. Ainsi donc devait s’achever la préhistoire de l’évaluation ; que vive désormais l’ère de la bibliométrie ! Abelhauser, A., Sauret, M. J., & Gori, R. (2011). La folie évaluation: les nouvelles fabriques de la servitude. Fayard/Mille et une nuits
  52. 52/125 “ La bibliométrie est accusée de tous les maux.

    « des effets délétères de la bibliométrie sur la recherche » “ Pour le meilleur et pour le pire, les grandes manœuvres sont lancées dans la recherche française sur le front de la bibliométrie : celle-ci cesse désormais d’être un outil réservé aux documentalistes et spécialistes de l’information. Les princes qui nous gouvernent s’en sont emparés à des fins d’évaluation des disciplines, des laboratoires, des individus. Le Coadic, Yves-François. « Défense et illustration de la bibliométrie ». Bulletin des bibliothèques de France (BBF), 2010, n° 4, p. 48-51. Un usage hautement décrié Abelhauser, A., Sauret, M. J., & Gori, R. (2011). La folie évaluation: les nouvelles fabriques de la servitude. Fayard/Mille et une nuits
  53. 53/125 La bibliométrie a mauvaise réputation (au moins) auprès de

    la communauté scientifique
  54. 54/125 Le h-index Métrique sur le chercheur conçue en 2005

    Viser l’impact d’un chercheur en croisant - le nombre de publication avec - le nombre de citation reçues
  55. 55/125 Le h-index Le nombre n de publications qui ont

    au moins été citées n fois.
  56. 56/125 Le rang de la dernière publication qui reste inférieur

    au nombre de citations reçues
  57. 57/125 ✐Exercice : h-index • Alain Bui, Sylvie Retailleau, Pierre

    Couprie, Alexandre Mebazaa, Damien lamberton, Mélanie Clément-fontaine Pour chaque chercheur extraire ces données : nb publis, h-index scopus, h-index GScholar
  58. Bibliométrie & Science Ouverte

  59. 59/125 Bibliométrie Évaluation Éthique de la recherche Oligopole Science ouverte

    Marché édition scientifique Bibliodiversité Indicateurs Classement Valorisation Impact Image : 10.3390/math7010086
  60. 60/125 Pourquoi s’intéresser à la bibliométrie à l’heure de la

    science ouverte ?
  61. 61/125 1. L’évaluation bibliométrique de la recherche, freine, le développement

    de la science ouverte (postulat: notre volonté est de développer la science ouverte)
  62. 62/125 “Évaluation bibliométrique de la recherche” : évaluation utilisant essentiellement

    le facteur d’impact, le WOS (ou leurs succédanés) pour évaluer la recherche par ex. SIGAPS
  63. 63/125 Un système d’évaluation pernicieux • Préambule : les pratiques

    des chercheurs sont fortement conditionnées par les modalités d’évaluation qui leur incombent ex : si l’évaluation favorise les publications dans des journaux à haut FI alors les chercheurs vont faire en sorte de publier dans ceux-ci
  64. 64/125 Composant du système pernicieux • Des revues sur-favorisées •

    Des chercheurs devant publier dans ces revues pour leur carrière • Des (méga) éditeurs qui commercialisent ces revues
  65. 65/125 Dérives (i) économiques • Plus une revue est prestigieuse

    meilleure est sa commercialisation « on ne négocie pas une porche »
  66. 66/125 Dérives (ii) éthiques • Niveau chercheur : – citations

    coercitives – primes pour publier dans Nature • Niveau éditeur : – citations coercitives – cartels de publishers
  67. 67/125 Gingras, Y., & Khelfaoui, M. (2020) L’effet SIGAPS: La

    recherche médicale française sous l’emprise de l’évaluation comptable. “ Censés mettre fin aux pratiques de copinages, ces critères d’évaluation quantitatifs, dits « objectifs », ont dans les faits conduit à une croissance anormale du taux d’autocitations nationales, c’est-à-dire des citations faites par les chercheurs d’un pays aux publications de leur pays • Niveau chercheurs
  68. 68/125 Don’t pay prizes for published science, Nature, 2017 “

    Zhejiang Agricultural and Forestry University in Lin’An, for example, pays a flat rate of 500,000 yuan for a paper published in Cell, Science or Nature. And it uses a table with equations to help calculate prizes for publications elsewhere. For any paper in a journal with an impact factor (IF) higher than 10, for example, the prize is IF × 1.5 × 10,000 yuan. And the practice is far from unique to China. Scientists in countries such as Qatar and Saudi Arabia can find themselves similarly rewarded. • Niveau chercheurs
  69. 69/125 Hvistendahl, M. (2013). China's publication bazaar. Science, 342 6162,

    1035-9 . • Niveau chercheurs
  70. 70/125 papersowl.com/order (2021 01)

  71. 71/125 • Niveau éditeurs Farge, M. (2017), Comment les chercheurs

    échangent leurs idées. Présentation. slideplayer.fr/slide/13210808/ (2021 01)
  72. 72/125 • Niveau publishers

  73. 73/125 Système pyramidal ; oligopole doi.org/10.1371/journal.pone.0127502.g001 Larivière, V., Haustein, S.,

    & Mongeon, P. (2015). The oligopoly of academic publishers in the digital era. PloS one, 10(6) Dérives (iii) globales
  74. 1 % des éditeurs publient 53 % des publications de

    l’UVSQ ≠ bibliodiversité 2015 - 2019
  75. 75/125 “ une grande partie des revues médicales françaises sont

    classées « E », étant donné leur faible visibilité internationale. Le système SIGAPS a donc pour effet de précipiter le déclin des revues médicales françaises à caractère national Gingras, Y., & Khelfaoui, M. (2020) L’effet SIGAPS: La recherche médicale française sous l’emprise de l’évaluation comptable.
  76. 76/125 Dérives (iii) globales • L’effet Matthieu “ Les auteurs

    d'articles cherchent à faire référence à des articles des chercheurs renommés afin de mieux convaincre de la solidité de leur argumentation Rostaing, H. (1996). La bibliométrie et ses techniques
  77. 77/125 … le succès appelle le succès “ Si un

    élément (le scientifique, le périodique...) a du succès, sa probabilité de succès augmentera pour une tentative ultérieure, alors qu'un échec ne réduit pas la probabilité de succès pour la prochaine tentative (Rostaing, 1996)
  78. 78/125 Dérives (iii) globales • Goodhart's Law « When a

    mesure become a target, it ceases to be a good measure » Faire de la recherche pour publier ?
  79. 79/125 “ On peut aussi se questionner sur le caractère

    éthique d’un système qui amène, consciemment ou non, les chercheurs et les gestionnaires de la recherche à adapter leurs pratiques pour optimiser les points SIGAPS plutôt que la recherche de qualité. (Gingras et al. 2020)
  80. 80/125 “ [dans la compétition de freeride] tu ski plus

    vraiment pour toi, tu prends des lignes pour des juges ” Jérémie Heitz Portrait d’un freerider surdoué, Jérémie Heitz youtube.com/watch?v=0HQzzWot9i4, (2021 01)
  81. 81/125 “ La critique du « publish or perish »

    est bien sûr ancienne, mais elle est exacerbée par les nouvelles méthodes d’évaluation. (Gingras et al. 2020)
  82. 82/125 “ We should be in a position where we

    are able to influence our academic system, not be stifled by the current actors in it Tenant, John, 2019
  83. 83/125 Pourquoi s’intéresser à la bibliométrie à l’heure de la

    science ouverte ? (bis)
  84. 84/125 Présume que la bibliométrie s’oppose à la science ouverte

    ? l’évaluation bibliométrique de la recherche, oui, mais la bibliométrie ne se réduit pas à l’évaluation de la recherche
  85. 85/125 2. La bibliométrie existait avant (1930s), et continue d’exister

    en dehors de cet usage. Exemple :
  86. 86/125 Pour connaître l’évolution du taux de publication d’un pays

    en accès ouvert (niveau pays)
  87. 87/125 ministeresuprecherche.github.io/bso/ (2021 01)

  88. 88/125 Pour connaître l’évolution du taux de publication d’une université

    en accès ouvert
  89. 89/125 Fiche de Poste 2019, Bibliomètre, Sorbonne Université

  90. 90/125 Mesurer l’évolution du nombre de preprints sur la COVID-19

    par serveur de preprints
  91. 91/125 github.com/nicholasmfraser/covid19_preprints (2021 01)

  92. 92/125 Étudier l’impact de l’accès ouvert aux publications sur les

    citations
  93. 93/125 Bordignon, F., & Andro, M. (2016). Impact de l’Open

    Access sur les citations: une étude de cas. I2D Information, données documents, 53(3), 70-79.
  94. 94/125 Mesurer l’évolution d’une initiative visant à ouvrir les résumés

    des publications (I4OA : initiative for open abstract)
  95. 95/125 https://github.com/bmkramer/I4OA (2021 01)

  96. 96/125 3. La science ouverte renouvelle la bibliométrie

  97. 97/125 3.a. meilleur connaissance des bases utilisées

  98. 98/125 Le Wos, comme Scopus (ou autre) possèdent des biais

    “ Il faut donc, en plus, prendre en considération les limites propres à la source ISI : les mauvaises couvertures thématiques, géographiques, temporelles (CARPENTER et NARIN, 1981) et la variation des saisies des citations dans les références (retranscrites telles qu'elles sont mentionnées dans l'article d'origine). Rostaing, H. (1996). La bibliométrie et ses techniques
  99. 99/125 Hcéres compare l’UBM dans Wos, Hal et rapport Rapport

    hceres nov 2018 Hal = 8 * Wos Biblio Hcéres = 24,4 * Wos
  100. 100/125 Pour une université pluridisciplinaire, les indicateurs de l’OST sont

    calculés sur moins de 70 % Baromètre Science ouverte UVSQ
  101. 101/125 WOS et Scopus se recouvrent à ~75 % Baromètre

    Science ouverte UVSQ github.com/ml4rrieu/barometre_science_ouverte_uvsq (2021 01)
  102. 102/125 Une dimension politique : qui sélectionne les revues ?

    “ Where DOAJ listed 12,582 journals (as of January 2019), SCOPUS listed 5920 OA journals and WoS only listed 4485 journals blog.doaj.org/2019
  103. 103/125 Visser, M., van Eck, N. J., & Waltman, L.

    (2020). Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic. arXiv preprint arXiv:2005.10732.
  104. 104/125 « Web of science »

  105. 105/125 Ce reflet n’est-il pas, à un certain degré, celui

    d’une science « occidentale et anglo-saxonne » ?
  106. 106/125 https://twitter.com/LizzieGadd/status/1331641697529442308, 2021 01

  107. 107/125 3.b. revoir l’évaluation de la recherche. Décorréler bibliométrie et

    évaluation de la recherche
  108. 108/125 (i) sensibiliser

  109. 109/125 Oxymores : - Le Wos est exhaustif - Scopus

    est exhaustif … Comment des bases qui sélectionnent des revues peuvent-elles être qualifiées d’exhaustives ? Paradoxe : prétendre à la fois à la qualité et à l’exhaustivité Sortir de l’exhaustivité
  110. 110/125 Sortir de la prétendue objectivité « C’est objectif car

    c’est basé sur le nombre de citations des revues, pas depuis leur lecture » Oui, mais les revues sont sélectionnées en amont Une instance qui sélectionne les revues dont il faut traiter les citations peut-elle prétendre à l’objectivité ?
  111. 111/125 Une analyse se basant sur des nombres est elle

    objective ? “ La caractérisation par un simple chiffre rend d’ailleurs possible un classement, illusion totale d’objectivité dont les êtres humains [du XXIe] sont extrêmement friands surtout lorsqu’ils sont amenés à faire un choix Rentier, B. (2018). Science ouverte, le défi de la transparence. Académie royale de Belgique Pointer l’aveuglement du nombre
  112. 112/125 Jamais un nombre ne pourra rendre compte de la

    qualité scientifique Sortir, pour l’évaluation, du quantitatif Si la qualité se mesure ce n’est qu’après lecture
  113. 113/125 (ii) agir

  114. 114/125 La déclaration de DORA But : - freiner l’hégémonique

    FI - changer les pratiques d’évaluation sfdora.org, (2021 01) 2013
  115. 115/125 hal-01938552

  116. 116/125 Leiden Manifesto for research metrics Science and technology indicators

    are prone to conceptual ambiguity and uncertainty and require strong assumptions that are not universally accepted. (...) best practice uses multiple indicators to provide a more robust and pluralistic picture “ Use these ten principles to guide research evaluation leidenmanifesto.org/ 2015
  117. 117/125 Le groupe évaluation du CoSo ouvrirlascience.fr/evaluation/ (2021 01)

  118. 118/125 “ 4. Demandez à la personne évaluée de sélectionner

    au maximum une publication par an qu’elle considère comme la meilleure. “ 3. N’utilisez jamais d’indicateurs indirects et/ou peu pertinents tels que le nombre absolu de publications, les facteurs d’impact des revues ni leurs produits dérivés. En règle générale, n’utilisez pas de chiffres ou de mesures numériques. Ressource : Bernard Rentier
  119. 119/125 bernardrentier.wordpress.com/ « Open Science Career Assessment Matrix » Une

    matrice et des conseils à appliquer
  120. 120/125 Changer les mentalités

  121. 121/125 Guider les pratiques ecrlife.org/fighting-the-impact-factor-one-cv-at-a-time/

  122. 122/125 Demain, des données de citations ouvertes

  123. Coda

  124. 124/125

  125. 125/125 merci @ml4rrieu