Bibliométrie et science ouverte

En quoi une agence qui produit des statistiques sur des publications scientifiques serait-elle concernée par un mouvement prônant un accès ouvert global aux produits de la recherche ? Il serait tentant en premier lieu de penser que la bibliométrie n'a pas grand chose à voir avec la science ouverte. Pourtant, en étudiant de plus près l'écosystème de la recherche, ces injonctions et incitations, on constate que la bibliométrie et l'évaluation de la recherche forment une brique centrale dans le développement de la Science ouverte.
Cet atelier vise à éclairer les liens entre bibliométrie et science ouverte, et plus particulièrement les changements provoqués par cette dernière sur la bibliométrie et l'évaluation de la recherche.

Dans la première partie nous expliquons la genèse de la bibliométrie ; dans la deuxième nous décrivons "l'évaluation bibliométrique de la recherche", c'est à dire une évaluation quantitative, basée sur le nombre de publications et de citations ; dans la dernière nous éclairons les liens qui se tissent entre bibliométrie et science ouverte.

A. bibliométrie & documentation
B. bibliométrie & évaluation
C. bibliométrie & science ouverte

Transcript

1. Bibliométrie & Science Ouverte ENSSIB, 2023-02 Kim HUIJPEN #OSEC2022 @ml4rrieu Maxence LARRIEU, PhD
2. 2/127 Plan Bibliométrie & Documentation Bibliométrie & Évaluation Bibliométrie & Science ouverte 30s 90s 10s
3. Bibliométrie & Documentation
4. 4/127 Accroissement scientifique Mabe, M., & Amin, M. (2001). Growth dynamics of scholarly and scientific journals. Scientometrics, 51, 147-162. • XXe s. accroissement des journaux • 1920 début de la hausse
5. 5/127 Savoir-faire pour sélectionner des livres “ The answer to the question of what books a library in chemistry should contain will be found excellently answered in a book, containing a list of 1,600 books, each one judged by experts as to importance and value. This book, edited by Patterson and Crane, will soon be available Contexte bibliothéconomie Gross, P. L., & Gross, E. M. (1927). College libraries and chemical education. Science, 66(1713), 385-389.
6. 6/127 • Changement de granularité • Budget limité, quantité d’article démesurée : comment procéder ? “ What files of scientific periodicals are needed in a college library successfully to prepare the student for advanced work ? Contexte bibliothéconomie “ only relatively few libraries can afford complete files of journals which have been published continuously for a century or more Ibid.
7. 7/127 Depuis une revue majeure, comptage des citations vers les autres revues du domaine Gross, P. L., & Gross, E. M. (1927). College libraries and chemical education. op. cit.
8. 8/127 Définition Pritchard, A. (1969). Statistical bibliography or bibliometrics. Journal of documentation , 25(4), 348-349 “ L’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication
9. 9/127 L’application des mathématiques et des statistiques aux livres et autres moyens de communication références des publications scientifiques Définition bis
10. 10/127 La bibliométrie • Concerne la science • S’opère sur les références, pas le contenu • Naît dans un contexte documentaire • S’applique surtout sur les journaux et articles • Ne possède pas de finalité per se
11. 11/127 “ la bibliométrie est aux publications ce que la démographie est aux populations. Le bibliomètre exploite statistiquement des bibliographies comme le démographe étudie les populations : il n'est pas sensé avoir lu les publications qu'il catégorise et comptabilise Rostaing, H. (1996). La bibliométrie et ses techniques, Centre de Recherche Rétrospective de Marseille. Bibliométrie et démographie
12. 12/127 Comment trouver les références bibliographiques des publications mondiales (nationales, institutionnelles) ?
13. 13/127 Eugène Garfield, the guy • 1951 PhD in Linguistic, related to chimical nomencalture • 1953 degree in Library Science • 1960 create Institue of Scientific Information • 1963 conceptor of the Science Citation Index US, 1925 - 2017
14. 14/127 Science Citation Index • Première base des citations scientifiques • Ancêtre du Web Of Science
15. 15/127 Science Citation Index Article cité Source de la citation
16. 16/127 Journal Citation Reports • Index des journaux scientifiques issn, domaine, nb of publis, citations émises, citations reçues, facteur impact
17. 17/127 Facteur d’Impact Métrique sur le journal, conçue en 1969 Citations reçues __________________ nb publications Facteur d’Impact =
18. 18/127 FI 2018 = Somme des citations reçues en 2018 sur les publications de 2016 et 17 ____________________________________________________ Nombre de publications « citable* » en 2016 et 17 *Article, Review or Proceedings Paper du WoS Facteur d’Impact
19. 19/127 Garfield, E. (2006). The History and Meaning of the Journal Impact Factor. JAMA. 295 (1).
20. 20/127 Journal Citation Report 2022-09
21. 21/127 Outils traditionnels • Bases : Wos & Scopus • Avant Scopus (2004), le Wos avait le monopole : la bibliométrie s’est forgée pendant 40 ans avec le Wos
22. 22/127 Web Of Science
23. 23/127 Scopus
24. 24/127 Wos The Core collection is • Over 74 millions records • 21,177 journals • Over 8 million conference papers • 104,000 books • 1.5 billion (1900 to present) cited references Wos coverage (juin 2021)
25. 25/127 Scopus • 70 millions items • 21,950 peer-reviewed journals • 8 millions conference papers • 150,000 books • 1.4 Billion of recorded references Scopus coverage (juin. 2021)
26. 26/127 ✐Exercice Laboratoires : MAP5, LATMOS, VIMA, ELICO, GEMAC, LSCP, Lipade, CERLIS nb publi 3 dernières années 2 premiers type de publication 2 premiers domaines 2 revues à haut impact du premier domaine
27. 27/127
28. 28/127 Vue sur les données Bibliographiques Citations
29. 29/127 publi journal citat° reçues domaine auteur structure établiss ement pays citat° émises type doc des données liées
30. 30/127 des identifiants publi journal citat° reçues domaine auteur structure établiss ement pays citat° émises ISSN DOI ORCID RNSR idRef structId idHal type doc ROR GRID ISO
31. 31/127 des référentiels • Référentiel Auteurs • Référentiel Structures • Référentiel Journaux • Référentiel Domaines
32. 32/127 Base ref domaine ref journal ref auteur ref structure ref type doc données utilisat° données bibliogra données citations métriques
33. 33/127 x² + ∫n+1x - √y = indicateur bibliométrie Base ref domaine ref journal ref auteur ref structure ref type doc données utilisat° données bibliogra données citations métriques
34. 34/127 Deux axes cardinaux
35. 35/127 Différents usages Rappel : la bibliométrie n’a pas de finalité en soi • Exemple – Veille scientifique – Éclairer l’évolution des sciences (eg. disciplines émergentes) – Appuyer l’évaluation de la recherche
36. Évaluer la recherche Au détriment de l’intégrité scientifique, de la science et de la société, la bibiométrie a et est encore utilisée pour évaluer la recherche
37. 37/127 Un usage non prévu “ Les répertoires de l'ISI n 'ont pas été créés pour mesurer les "performances" des chercheurs, équipes ou laboratoires […]. Or très rapidement, on a fait dévier le but originel de ces données pour évaluer […] les acteurs de la recherche scientifique. Rostaing, H. (1996). La bibliométrie et ses techniques. op. cit.
38. 38/127 The Journal Impact Factor was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment sfdora.org San Francisco Declaration on Research Assessment
39. 39/127 “ Il y a actuellement un consensus pour dire que la citation ne mesure pas la qualité de la recherche mais plus exactement ce qu'on pourrait appeler l'impact des publications Les citations ne sont pas signes de qualité scientifique Ibid.
40. 40/127
41. 41/127 twitter.com/astromikemerri/status/1428025833860567049
42. 42/127 Nombre de citation et facteur d’impact pour noter les chercheurs “ Le modèle statistique [que l’ISI] il a mis en œuvre conditionne l’avancement des chercheurs dans un nombre croissant de pays. Les administrations qui en ont la tutelle utilisent fréquemment la combinaison Citations + Impact Factor pour « noter » ces chercheurs. Durand-Barthez, M. (2006). L'évaluation des publications scientifiques: du facteur d'impact à l'indice de notoriété.
43. 43/127 Ex : classement de Shangaï 6 critères dont 3 basés sur les publications et citations du Wos
44. 44/127 Ex : points SIGAPS, ministère Santé Nombre de publication, FI revue et rang des auteurs, pour calculer un score, à partir duquel déduire une dotation Conçu en 2002 CHU Lille
45. 45/127 La valeur du point en 2017 est de 648 euros MADIOT, H., BELLE, L. (2016) Points SIGAPS / SIGREC : ce que vous faites gagner à votre Hôpital. Congrès CNCH . Un score calculé à partir des publications, utilisé par le Ministère de la Santé pour financer une partie des CHU
46. 46/127 Extrait d’un CV d’un chercheur en recherche médicale
47. 47/127 “ D’outil de cartographie, de gestion et d’analyse des publications à l’échelle des établissements, [SIGAPS] a été transformé en outil de gestion administrative de l’enveloppe budgétaire dédiée à la recherche “ Alors que les budgets de recherche, pour les CHU notamment, étaient auparavant alloués sur une base forfaitaire et proportionnelle à la taille de l’établissement, l’instauration du nouveau système SIGAPS a profondément changé la donne, en introduisant un financement basé sur la « performance », modèle qualifié par certains chercheurs de « tarification à l’acte bibliométrique » (Mancini et al., 2009). Gingras, Y., & Khelfaoui, M. (2021) L’effet SIGAPS: La recherche médicale française sous l’emprise de l’évaluation comptable, Zilsel, 8(1). https://doi.org/10.3917/zil.008.0144
48. 48/127 labcom-risca.com (2021-06) “ plusieurs CHU utilisent désormais les données de publication individuelles compilées par SIGAPS dans les processus d’embauche ou de promotion des chercheurs Ibid.
49. 49/127 Ex : Hcéres classement des revues (2020) SHS1 Économie & Gestion source
50. 50/127 Un usage détourné de la bibliométrie, mais tellement répandu qu’on ne peut se référer à l’un sans l’autre
51. 51/127 “ été 2009 l’AERES a invité les représentants de chaque section du CNU et du CNRS à former des commissions destinées à établir, section par section, la liste des revues garantissant la valeur des travaux publiés dans une discipline donnée. Ainsi donc devait s’achever la préhistoire de l’évaluation ; que vive désormais l’ère de la bibliométrie ! Abelhauser, A., Sauret, M. J., & Gori, R. (2011). La folie évaluation: les nouvelles fabriques de la servitude. Fayard/Mille et une nuits
52. 52/127 “ La bibliométrie est accusée de tous les maux. « des effets délétères de la bibliométrie sur la recherche » “ Pour le meilleur et pour le pire, les grandes manœuvres sont lancées dans la recherche française sur le front de la bibliométrie : celle-ci cesse désormais d’être un outil réservé aux documentalistes et spécialistes de l’information. Les princes qui nous gouvernent s’en sont emparés à des fins d’évaluation des disciplines, des laboratoires, des individus Le Coadic, Yves-François (2010), Défense et illustration de la bibliométrie, Bulletin des bibliothèques de France, n° 4. Un usage hautement décrié Abelhauser, A., Sauret, M. J., & Gori, R. (2011). La folie évaluation: les nouvelles fabriques de la servitude. op. cit.
53. 53/127 Le h-index Métrique sur le chercheur conçue en 2005 Viser l’impact d’un chercheur en croisant : - le nombre de publication - le nombre de citation reçues
54. 54/127 Le h-index Le nombre n de publications qui ont au moins été citées n fois.
55. 55/127 Le rang de la dernière publication qui reste inférieur au nombre de citations reçues
56. 56/127 ✐Exercice : h-index • Alain Bui, Sylvie Retailleau, Pierre Couprie, Alexandre Mebazaa, Damien lamberton, Mélanie Clément-fontaine Pour chaque chercheur extraire nb publis, h-index scopus, h-index GScholar
57. 57/127 It is database dependent: there are researchers in computer science who have an h-index of around 10 in the Web of Science but of 20–30 in Google Scholar Leiden Manifesto for research metrics, 2015
58. Bibliométrie & Science Ouverte
59. 59/127 Bibliométrie Évaluation Éthique de la recherche Oligopole Science ouverte Marché édition scientifique Bibliodiversité Indicateurs Classement Valorisation Impact Image : 10.3390/math7010086
60. 60/127 1. Pourquoi la bibliométrie à l’heure de la science ouverte ?
61. 61/127 Constat (i)
62. 62/127 Tijdink, J. K. et al. (2016). How do scientists perceive the current publication culture? A qualitative focus group interview study among Dutch biomedical researchers. BMJ open, 6(2). doi.org/10.1136/bmjopen-2015-008681 Constat (ii) problème d’intégrité scientifique
63. 63/127 La science ouverte a permis d’éclairer les dérives de l’évaluation bibliométrique de la recherche
64. 64/127 Un système d’évaluation pernicieux Préambule : les pratiques des chercheurs sont conditionnées par les procédés d’évaluation de la recherche “ Indicators change the system through the incentives they establish The Leiden Manifesto for research metrics
65. 65/127 Composants du système pernicieux • Des revues sur-favorisées • Des chercheurs devant publier dans ces revues (carrière) • Des méga éditeurs qui commercialisent ces revues
66. 66/127 Dérives (i) économiques • Plus une revue est prestigieuse meilleure est sa commercialisation (APC et abonnements) « on ne négocie pas une porche »
67. 67/127 bjoern.brembs.net/2018/04/why-open-access- big-deals-are-worse-than-subscriptions/ “ APC costs are correlated with journal prestige Khoo, S. (2019). Article processing charge hyperinflation and price insensitivity: An open access sequel to the serials crisis. Liber Quarterly, 29(1), https://doi.org/10.18352/lq.10280 2018
68. 68/127 Dérives (ii) éthiques • Niveau chercheur : – citations coercitives – primes pour publier dans Nature
69. 69/127 Gingras, Y., & Khelfaoui, M. (2021) L’effet SIGAPS: La recherche médicale française sous l’emprise de l’évaluation comptable, op cit. “ Censés mettre fin aux pratiques de copinages, ces critères d’évaluation quantitatifs, dits « objectifs », ont dans les faits conduit à une croissance anormale du taux d’autocitations nationales, c’est-à-dire des citations faites par les chercheurs d’un pays aux publications de leur pays
70. 70/127 Don’t pay prizes for published science, Nature, 2017 “ Zhejiang Agricultural and Forestry University in Lin’An, for example, pays a flat rate of 500,000 yuan for a paper published in Cell, Science or Nature. And it uses a table with equations to help calculate prizes for publications elsewhere. For any paper in a journal with an impact factor (IF) higher than 10, for example, the prize is IF × 1.5 × 10,000 yuan. And the practice is far from unique to China. Scientists in countries such as Qatar and Saudi Arabia can find themselves similarly rewarded.
71. 71/127 https://twitter.com/author_for_sale
72. 72/127 Dérives (ii) éthiques • Niveau publisher : – citations coercitives – cartels de publishers
73. 73/127 Farge, Marie (2017), Comment les chercheurs échangent leurs idées. Présentation. slideplayer.fr/slide/13210808/ (2021 01)
74. 74/127 https://twitter.com/Markinthelab/status/1564529270927532034
75. 75/127
76. 76/127 https://twitter.com/jamesheathers/status/150913667676082 5859 CINOs = citable, numerator only
77. 77/127 Système pyramidal ; oligopole ; concentration éditoriale doi.org/10.1371/journal.pone.0127502.g001 Larivière, V., Haustein, S., & Mongeon, P. (2015). The oligopoly of academic publishers in the digital era. PloS one, 10(6) Dérives (iii) globales
79. github.com/ml4rrieu/fr_expenditure_publishing_syst
80. 75 % of European spending on scientific journals goes to the "big five" Emanuel KULCZYCKI #OSEC2022
81. 81/127 Dérives (iii) globales • Goodhart's Law « When a mesure become a target, it ceases to be a good measure » Faire de la recherche pour publier ?
82. 82/127 “ On peut aussi se questionner sur le caractère éthique d’un système qui amène, consciemment ou non, les chercheurs et les gestionnaires de la recherche à adapter leurs pratiques pour optimiser les points SIGAPS plutôt que la recherche de qualité. (Gingras et al. 2021)
83. 83/127 “ dans les douze ans qui ont suivi l’instauration de [SIGAPS], le nombre de publications par les centres hospitaliers et universitaires français a augmenté de 45 %. « Excel m’a tué » : comment la bureaucratie a asphyxié notre système hospitalier, l’OBS, 2022-01. source
84. 84/127 “ [dans la compétition de freeride] tu skies plus vraiment pour toi, tu prends des lignes pour des juges ” Jérémie Heitz Portrait d’un freerider surdoué, Jérémie Heitz youtube.com/watch?v=0HQzzWot9i4, (2021-06)
85. 85/127 “ La critique du « publish or perish » est bien sûr ancienne, mais elle est exacerbée par les nouvelles méthodes d’évaluation. (Gingras et al. 2021)
86. 86/127 “ We should be in a position where we are able to influence our academic system, not be stifled by the current actors in it John Tenant, 2019 “ We have a strange system where we are now serving publishing industry rather than publishing industry serving us. " Leslie Chan, 2021
87. 87/127 2. La science ouverte renouvelle la bibliométrie 2a. meilleure connaissance des outils utilisés
88. 88/127 “ Il faut donc, en plus, prendre en considération les limites propres à la source ISI : les mauvaises couvertures thématiques, géographiques, temporelles et la variation des saisies des citations dans les références (retranscrites telles qu'elles sont mentionnées dans l'article d'origine). Rostaing, H. (1996). La bibliométrie et ses techniques, op. cit. Wos & Scopus : couverture problématique
89. 89/127 Hcéres compare l’UBM dans Wos, Hal et rapport Rapport hceres nov 2018 Hal = 8 * Wos Biblio Hcéres = 24,4 * Wos
90. 90/127 Emanuel KULCZYCKI #OSEC2022 doi.org/10.1007/s11192-018-2711-0
91. 91/127 Comment des bases qui sélectionnent des revues peuvent-elles être qualifiées d’exhaustives ? Paradoxe: qualifier Scopus d’exhaustif et de qualitatif fin de l’exhaustivité
92. 92/127 LARRIEU, M. (2022) How research libraries can contribute to reform the research evaluation system, LIBER. doi.org/10.5281/zenodo.6812306
93. 93/127 Pour une université pluridisciplinaire, les indicateurs de l’OST sont calculés sur moins de 70 % Baromètre Science ouverte UVSQ
94. 94/127 WOS et Scopus se recouvrent à ~75 % Baromètre Science ouverte UVSQ github.com/ml4rrieu/barometre_science_ouverte_uvsq (2021 01)
95. 95/127 Une dimension politique : qui sélectionne les revues ? “ Where DOAJ listed 12,582 journals (as of January 2019), Scopus listed 5920 OA journals and WoS only listed 4485 journals blog.doaj.org/2019
96. 96/127 Visser, M., van Eck, N. J., & Waltman, L. (2020). Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic. arXiv preprint. RIP
97. 97/127 « Web of science » Carte à la une : le monde selon... le Web of Science
98. 98/127 Source Redalyc, 2020
99. 99/127 Le territoire des activités scientifiques, la carte de l’évaluation de ces activités
100. 100/127 Source twitter
101. 101/127 2. La science ouverte renouvelle la bibliométrie 2b. des nouveaux acteurs/données
102. 102/127 Des données de citations ouvertes
103. 103/127 Vers un écosystème ouvert Ficarra, Victoria et. al. (2020). Scoping the Open Science Infrastructure Landscape in Europe. https://doi.org/10.5281/zenodo.4159838
104. 104/127 Pour un outil bibliométrique français en faveur de la science ouverte ? Research.data.gouv.fr
105. 105/127 Open data Publish or perish Open software Course à l’IF Course à la quantité Article oriented Sources Multilinguisme Reproductibilité « Culture du WOS » Diversité des productions
106. 106/127 3. Sur l’évaluation de la recherche évaluation rech. ≠ bibliométrie
107. 107/127 Ne plus prétendre au qualitatif avec du quantitatif
108. 108/127 « La bibliométrie pour évaluer les publications scientifiques en biologie et santé » alambic.hypotheses.org/6068 Jamais un nombre ne rendra compte de la qualité scientifique
109. 109/127 Une analyse se basant sur des nombres est-elle objective ? “ La caractérisation par un simple chiffre rend d’ailleurs possible un classement, illusion totale d’objectivité dont les êtres humains [du XXIe] sont extrêmement friands surtout lorsqu’ils sont amenés à faire un choix Rentier, B. (2018). Science ouverte, le défi de la transparence. Académie royale de Belgique Pointer l’aveuglement du nombre
110. 110/127 La déclaration de DORA But : - freiner l’hégémonique FI - considérer code & datasets - être transparent sur l’évaluation - guider les bonnes pratiques sfdora.org 2013
111. 111/127 DORA for publishers • Don’t use IF as a promotional tool • Use a variety of journal-based metrics • Make available a range of article-level metrics • Provide information about the specific contributions of each author. • Make citation list available under CC0 • Remove constraints on the number of references • mandate the citation of primary literature in favor of reviews in order to give credit to the group(s) who first reported a finding.
112. 112/127 Ne plus recourir aux classements de revues
113. 113/127 hceres.fr/fr/actualites/le-hceres-signe-dora- la-declaration-de-san-francisco-sur-levaluat ion-de-la-recherche
114. 114/127 Leiden Manifesto for research metrics Science and technology indicators are prone to conceptual ambiguity and uncertainty and require strong assumptions that are not universally accepted. (...) best practice uses multiple indicators to provide a more robust and pluralistic picture “ Use these ten principles to guide research evaluation leidenmanifesto.org/ 2015
115. 115/127 Appel de Paris sur l’évaluation de la recherche https://osec2022.eu/fr/appel-de-paris/ 2022
116. 116/127 coara.eu/agreement/the-commitments/ Coalition on Advancing Research Assessment
117. 117/127 Valoriser pratiques d’ouverture
118. 118/127 Guider les pratiques ecrlife.org/fighting-the-impact-factor-one-cv-at-a-time-2/
119. 119/127 3. N’opposons pas bibliométrie & science ouverte Exemples ▼
120. 120/127 “ C’est en croisant les bases mais surtout en puisant dans des archives ouvertes que ces biais [de représentativité] peuvent être atténués. Bordignon, F. (2021). Comment ouvrir et mesurer la science vont de pair. Arabesques, (103) doi.org/10.35562/arabesques.2714
121. 121/127 bso.dataesr.ovh/publications/general Piloter l’accès ouvert en France
122. 122/127 github.com/nicholasmfraser/covid19_preprints (2021 01) Mesurer l’évolution des preprints sur la COVID-19
123. 123/127 github.com/bmkramer/I4OA (2021 01) Mesurer l’évolution de I4OA (initiative for open abstract)
124. Coda
125. 125/127
126. 126/127 Kim HUIJPEN #OSEC2022
127. 127/127 merci @ml4rrieu