Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Bibliométrie et science ouverte

Bibliométrie et science ouverte

En quoi une agence qui produit des statistiques sur des publications scientifiques serait-elle concernée par un mouvement prônant un accès ouvert global aux produits de la recherche ? Il serait tentant en premier lieu de penser que la bibliométrie n'a pas grand chose à voir avec la science ouverte. Pourtant, en étudiant de plus près l'écosystème de la recherche, ces injonctions et incitations, on constate que la bibliométrie et l'évaluation de la recherche forment une brique centrale dans le développement de la Science ouverte.
Cet atelier vise à éclairer les liens entre bibliométrie et science ouverte, et plus particulièrement les changements provoqués par cette dernière sur la bibliométrie et l'évaluation de la recherche.

Dans la première partie nous expliquons la genèse de la bibliométrie ; dans la deuxième nous décrivons "l'évaluation bibliométrique de la recherche", c'est à dire une évaluation quantitative, basée sur le nombre de publications et de citations ; dans la dernière nous éclairons les liens qui se tissent entre bibliométrie et science ouverte.

A. bibliométrie & documentation
B. bibliométrie & évaluation
C. bibliométrie & science ouverte

Maxence Larrieu

March 17, 2022
Tweet

More Decks by Maxence Larrieu

Other Decks in Science

Transcript

  1. Bibliométrie
    &
    Science
    Ouverte
    ENSSIB, 2023-02
    Kim HUIJPEN
    #OSEC2022
    @ml4rrieu
    Maxence LARRIEU, PhD

    View Slide

  2. 2/127
    Plan
    Bibliométrie
    & Documentation
    Bibliométrie
    & Évaluation
    Bibliométrie
    & Science ouverte
    30s
    90s
    10s

    View Slide

  3. Bibliométrie
    &
    Documentation

    View Slide

  4. 4/127
    Accroissement scientifique
    Mabe, M., & Amin, M. (2001). Growth
    dynamics of scholarly and scientific
    journals. Scientometrics, 51, 147-162.

    XXe s.
    accroissement
    des journaux

    1920 début de
    la hausse

    View Slide

  5. 5/127
    Savoir-faire pour
    sélectionner des livres

    The answer to the question
    of what books a library in
    chemistry should contain will
    be found excellently
    answered in a book,
    containing a list of 1,600
    books, each one judged by
    experts as to importance
    and value. This book, edited
    by Patterson and Crane, will
    soon be available
    Contexte bibliothéconomie
    Gross, P. L., & Gross, E. M. (1927). College
    libraries and chemical education. Science,
    66(1713), 385-389.

    View Slide

  6. 6/127

    Changement de granularité

    Budget limité, quantité
    d’article démesurée :
    comment procéder ?

    What files of scientific
    periodicals are needed in
    a college library
    successfully to prepare
    the student for advanced
    work ?
    Contexte bibliothéconomie

    only relatively few
    libraries can afford
    complete files of journals
    which have been
    published continuously
    for a century or more
    Ibid.

    View Slide

  7. 7/127
    Depuis une revue majeure, comptage des
    citations vers les autres revues du domaine
    Gross, P. L., & Gross, E. M. (1927). College libraries and chemical education. op. cit.

    View Slide

  8. 8/127
    Définition
    Pritchard, A. (1969). Statistical bibliography or
    bibliometrics. Journal of documentation , 25(4), 348-349

    L’application des mathématiques et des
    méthodes statistiques aux livres, articles et
    autres moyens de communication

    View Slide

  9. 9/127
    L’application des mathématiques et
    des statistiques aux
    livres et autres moyens de communication
    références des
    publications scientifiques
    Définition bis

    View Slide

  10. 10/127
    La bibliométrie

    Concerne la science

    S’opère sur les références, pas le contenu

    Naît dans un contexte documentaire

    S’applique surtout sur les journaux et articles

    Ne possède pas de finalité per se

    View Slide

  11. 11/127

    la bibliométrie est aux publications ce que la
    démographie est aux populations.
    Le bibliomètre exploite statistiquement des
    bibliographies comme le démographe étudie les
    populations : il n'est pas sensé avoir lu les
    publications qu'il catégorise et comptabilise
    Rostaing, H. (1996). La bibliométrie et ses techniques,
    Centre de Recherche Rétrospective de Marseille.
    Bibliométrie et démographie

    View Slide

  12. 12/127
    Comment trouver les références
    bibliographiques des publications
    mondiales (nationales, institutionnelles)
    ?

    View Slide

  13. 13/127
    Eugène Garfield, the guy

    1951 PhD in Linguistic,
    related to chimical
    nomencalture

    1953 degree in Library
    Science

    1960 create Institue of
    Scientific Information

    1963 conceptor of the
    Science Citation Index
    US, 1925 - 2017

    View Slide

  14. 14/127
    Science Citation Index

    Première
    base des
    citations
    scientifiques

    Ancêtre du
    Web Of
    Science

    View Slide

  15. 15/127
    Science Citation Index
    Article cité Source de la
    citation

    View Slide

  16. 16/127
    Journal Citation Reports

    Index des journaux scientifiques
    issn, domaine, nb of publis,
    citations émises, citations reçues,
    facteur impact

    View Slide

  17. 17/127
    Facteur d’Impact
    Métrique sur le journal,
    conçue en 1969
    Citations reçues
    __________________
    nb publications
    Facteur d’Impact =

    View Slide

  18. 18/127
    FI 2018 =
    Somme des citations reçues en 2018
    sur les publications de 2016 et 17
    ____________________________________________________
    Nombre de publications « citable* » en 2016 et 17
    *Article, Review or Proceedings Paper du WoS
    Facteur d’Impact

    View Slide

  19. 19/127
    Garfield, E. (2006). The History and Meaning of the
    Journal Impact Factor. JAMA. 295 (1).

    View Slide

  20. 20/127
    Journal Citation Report
    2022-09

    View Slide

  21. 21/127
    Outils
    traditionnels

    Bases : Wos & Scopus

    Avant Scopus (2004), le Wos avait le
    monopole : la bibliométrie s’est forgée pendant
    40 ans avec le Wos

    View Slide

  22. 22/127
    Web Of Science

    View Slide

  23. 23/127
    Scopus

    View Slide

  24. 24/127
    Wos
    The Core collection is

    Over 74 millions records

    21,177 journals

    Over 8 million conference papers

    104,000 books

    1.5 billion (1900 to present) cited references
    Wos coverage (juin 2021)

    View Slide

  25. 25/127
    Scopus

    70 millions items

    21,950 peer-reviewed journals

    8 millions conference papers

    150,000 books

    1.4 Billion of recorded references
    Scopus coverage (juin. 2021)

    View Slide

  26. 26/127
    ✐Exercice
    Laboratoires :
    MAP5, LATMOS, VIMA, ELICO, GEMAC, LSCP,
    Lipade, CERLIS
    nb publi 3 dernières années
    2 premiers type de publication
    2 premiers domaines
    2 revues à haut impact du premier domaine

    View Slide

  27. 27/127

    View Slide

  28. 28/127
    Vue sur les données
    Bibliographiques Citations

    View Slide

  29. 29/127
    publi
    journal
    citat°
    reçues
    domaine
    auteur
    structure
    établiss
    ement
    pays
    citat°
    émises
    type
    doc
    des données liées

    View Slide

  30. 30/127
    des identifiants
    publi
    journal
    citat°
    reçues
    domaine
    auteur
    structure
    établiss
    ement
    pays
    citat°
    émises
    ISSN
    DOI
    ORCID
    RNSR
    idRef
    structId
    idHal
    type
    doc
    ROR
    GRID
    ISO

    View Slide

  31. 31/127
    des référentiels

    Référentiel Auteurs

    Référentiel Structures

    Référentiel Journaux

    Référentiel Domaines

    View Slide

  32. 32/127
    Base
    ref
    domaine
    ref
    journal
    ref
    auteur
    ref
    structure
    ref
    type doc
    données
    utilisat°
    données
    bibliogra
    données
    citations
    métriques

    View Slide

  33. 33/127
    x² + ∫n+1x - √y = indicateur
    bibliométrie
    Base
    ref
    domaine
    ref
    journal
    ref
    auteur
    ref
    structure
    ref
    type doc
    données
    utilisat°
    données
    bibliogra
    données
    citations
    métriques

    View Slide

  34. 34/127
    Deux axes
    cardinaux

    View Slide

  35. 35/127
    Différents usages
    Rappel : la bibliométrie n’a pas de finalité en soi

    Exemple
    – Veille scientifique
    – Éclairer l’évolution des sciences (eg. disciplines
    émergentes)
    – Appuyer l’évaluation de la recherche

    View Slide

  36. Évaluer la recherche
    Au détriment de l’intégrité scientifique, de la science et de la société, la
    bibiométrie a et est encore utilisée pour évaluer la recherche

    View Slide

  37. 37/127
    Un usage non prévu

    Les répertoires de l'ISI n 'ont
    pas été créés pour mesurer
    les "performances" des
    chercheurs, équipes ou
    laboratoires […].
    Or très rapidement, on a fait
    dévier le but originel de ces
    données pour évaluer […] les
    acteurs de la recherche
    scientifique.
    Rostaing, H. (1996). La bibliométrie et ses techniques. op. cit.

    View Slide

  38. 38/127
    The Journal Impact Factor
    was originally created as a
    tool to help librarians
    identify journals to
    purchase, not as a
    measure of the scientific
    quality of research in an
    article. With that in mind,
    it is critical to understand
    that the Journal Impact
    Factor has a number of
    well-documented
    deficiencies as a tool for
    research assessment
    sfdora.org
    San Francisco Declaration on
    Research Assessment

    View Slide

  39. 39/127

    Il y a actuellement un
    consensus pour dire que la
    citation ne mesure pas la
    qualité de la recherche mais
    plus exactement ce qu'on
    pourrait appeler l'impact des
    publications
    Les citations ne
    sont pas signes
    de qualité
    scientifique
    Ibid.

    View Slide

  40. 40/127

    View Slide

  41. 41/127
    twitter.com/astromikemerri/status/1428025833860567049

    View Slide

  42. 42/127
    Nombre de citation et
    facteur d’impact pour
    noter les chercheurs

    Le modèle statistique [que
    l’ISI] il a mis en œuvre
    conditionne l’avancement
    des chercheurs dans un
    nombre croissant de pays.
    Les administrations qui en
    ont la tutelle utilisent
    fréquemment la
    combinaison Citations +
    Impact Factor pour «
    noter » ces chercheurs.
    Durand-Barthez, M. (2006). L'évaluation des publications
    scientifiques: du facteur d'impact à l'indice de notoriété.

    View Slide

  43. 43/127
    Ex : classement de Shangaï
    6 critères dont 3 basés sur les publications et citations du Wos

    View Slide

  44. 44/127
    Ex : points SIGAPS, ministère Santé
    Nombre de publication, FI revue et rang
    des auteurs, pour calculer un score, à
    partir duquel déduire une dotation
    Conçu en 2002
    CHU Lille

    View Slide

  45. 45/127
    La valeur du point en 2017 est de 648 euros
    MADIOT, H., BELLE, L. (2016) Points SIGAPS / SIGREC : ce
    que vous faites gagner à votre Hôpital. Congrès CNCH .
    Un score
    calculé à partir
    des
    publications,
    utilisé par le
    Ministère de la
    Santé pour
    financer une
    partie des CHU

    View Slide

  46. 46/127
    Extrait d’un CV d’un chercheur en recherche médicale

    View Slide

  47. 47/127

    D’outil de cartographie, de
    gestion et d’analyse des
    publications à l’échelle des
    établissements, [SIGAPS] a
    été transformé en outil de
    gestion administrative de
    l’enveloppe budgétaire
    dédiée à la recherche

    Alors que les budgets de recherche, pour les CHU
    notamment, étaient auparavant alloués sur une
    base forfaitaire et proportionnelle à la taille de
    l’établissement, l’instauration du nouveau système
    SIGAPS a profondément changé la donne, en
    introduisant un financement basé sur la «
    performance », modèle qualifié par certains
    chercheurs de « tarification à l’acte bibliométrique
    » (Mancini et al., 2009).
    Gingras, Y., & Khelfaoui, M. (2021) L’effet SIGAPS: La
    recherche médicale française sous l’emprise de
    l’évaluation comptable, Zilsel, 8(1).
    https://doi.org/10.3917/zil.008.0144

    View Slide

  48. 48/127
    labcom-risca.com (2021-06)

    plusieurs CHU utilisent désormais les
    données de publication individuelles
    compilées par SIGAPS dans les processus
    d’embauche ou de promotion des
    chercheurs
    Ibid.

    View Slide

  49. 49/127
    Ex : Hcéres
    classement
    des revues (2020)
    SHS1
    Économie &
    Gestion
    source

    View Slide

  50. 50/127
    Un usage détourné de la bibliométrie,
    mais tellement répandu
    qu’on ne peut se référer à l’un sans l’autre

    View Slide

  51. 51/127

    été 2009 l’AERES a invité les représentants de
    chaque section du CNU et du CNRS à former
    des commissions destinées à établir, section
    par section, la liste des revues garantissant la
    valeur des travaux publiés dans une discipline
    donnée.
    Ainsi donc devait s’achever la préhistoire de
    l’évaluation ; que vive désormais l’ère de la
    bibliométrie !
    Abelhauser, A., Sauret, M. J., & Gori, R. (2011).
    La folie évaluation: les nouvelles fabriques de
    la servitude. Fayard/Mille et une nuits

    View Slide

  52. 52/127

    La bibliométrie est accusée
    de tous les maux.
    « des effets délétères de la
    bibliométrie sur la
    recherche »

    Pour le meilleur et pour le pire, les
    grandes manœuvres sont lancées dans la
    recherche française sur le front de la
    bibliométrie : celle-ci cesse désormais
    d’être un outil réservé aux
    documentalistes et spécialistes de
    l’information. Les princes qui nous
    gouvernent s’en sont emparés à des fins
    d’évaluation des disciplines, des
    laboratoires, des individus
    Le Coadic, Yves-François (2010), Défense
    et illustration de la bibliométrie, Bulletin
    des bibliothèques de France, n° 4.
    Un usage hautement décrié
    Abelhauser, A., Sauret, M. J., & Gori, R. (2011).
    La folie évaluation: les nouvelles fabriques de
    la servitude. op. cit.

    View Slide

  53. 53/127
    Le h-index
    Métrique sur le chercheur
    conçue en 2005
    Viser l’impact d’un chercheur en croisant :
    - le nombre de publication
    - le nombre de citation reçues

    View Slide

  54. 54/127
    Le h-index
    Le nombre n de publications qui ont au moins
    été citées n fois.

    View Slide

  55. 55/127
    Le rang de la dernière publication qui reste inférieur au nombre de citations reçues

    View Slide

  56. 56/127
    ✐Exercice : h-index

    Alain Bui, Sylvie Retailleau, Pierre Couprie,
    Alexandre Mebazaa, Damien lamberton, Mélanie
    Clément-fontaine
    Pour chaque chercheur extraire
    nb publis, h-index scopus, h-index GScholar

    View Slide

  57. 57/127
    It is database
    dependent: there
    are researchers in
    computer science
    who have an h-index
    of around 10 in the
    Web of Science but
    of 20–30 in Google
    Scholar
    Leiden Manifesto for research metrics, 2015

    View Slide

  58. Bibliométrie
    &
    Science Ouverte

    View Slide

  59. 59/127
    Bibliométrie
    Évaluation
    Éthique de la
    recherche
    Oligopole
    Science
    ouverte
    Marché édition
    scientifique
    Bibliodiversité
    Indicateurs
    Classement
    Valorisation Impact
    Image : 10.3390/math7010086

    View Slide

  60. 60/127
    1.
    Pourquoi la bibliométrie
    à l’heure de la science ouverte ?

    View Slide

  61. 61/127
    Constat (i)

    View Slide

  62. 62/127
    Tijdink, J. K. et al. (2016). How do scientists perceive the current publication culture? A qualitative focus
    group interview study among Dutch biomedical researchers. BMJ open, 6(2).
    doi.org/10.1136/bmjopen-2015-008681
    Constat (ii) problème d’intégrité scientifique

    View Slide

  63. 63/127
    La science ouverte a permis d’éclairer
    les dérives de l’évaluation bibliométrique
    de la recherche

    View Slide

  64. 64/127
    Un système d’évaluation pernicieux
    Préambule : les pratiques des chercheurs sont conditionnées
    par les procédés d’évaluation de la recherche

    Indicators change the system through
    the incentives they establish
    The Leiden Manifesto for research metrics

    View Slide

  65. 65/127
    Composants du système pernicieux

    Des revues sur-favorisées

    Des chercheurs devant publier dans
    ces revues (carrière)

    Des méga éditeurs qui commercialisent
    ces revues

    View Slide

  66. 66/127
    Dérives (i) économiques

    Plus une revue est prestigieuse meilleure est sa
    commercialisation
    (APC et abonnements)
    « on ne négocie pas une porche »

    View Slide

  67. 67/127
    bjoern.brembs.net/2018/04/why-open-access-
    big-deals-are-worse-than-subscriptions/

    APC costs are
    correlated with
    journal prestige
    Khoo, S. (2019). Article processing charge
    hyperinflation and price insensitivity: An
    open access sequel to the serials crisis.
    Liber Quarterly, 29(1),
    https://doi.org/10.18352/lq.10280
    2018

    View Slide

  68. 68/127
    Dérives (ii) éthiques

    Niveau chercheur :
    – citations coercitives
    – primes pour publier dans Nature

    View Slide

  69. 69/127
    Gingras, Y., & Khelfaoui, M. (2021) L’effet SIGAPS: La
    recherche médicale française sous l’emprise de
    l’évaluation comptable, op cit.

    Censés mettre fin aux pratiques de copinages, ces critères d’évaluation
    quantitatifs, dits « objectifs », ont dans les faits conduit à une croissance
    anormale du taux d’autocitations nationales, c’est-à-dire des
    citations faites par les chercheurs d’un pays aux publications de leur
    pays

    View Slide

  70. 70/127
    Don’t pay prizes for published science, Nature, 2017

    Zhejiang Agricultural and Forestry University in Lin’An, for example,
    pays a flat rate of 500,000 yuan for a paper published in Cell,
    Science or Nature. And it uses a table with equations to help calculate
    prizes for publications elsewhere. For any paper in a journal with an
    impact factor (IF) higher than 10, for example, the prize is IF × 1.5 ×
    10,000 yuan. And the practice is far from unique to China. Scientists
    in countries such as Qatar and Saudi Arabia can find themselves
    similarly rewarded.

    View Slide

  71. 71/127
    https://twitter.com/author_for_sale

    View Slide

  72. 72/127
    Dérives (ii) éthiques

    Niveau publisher :
    – citations coercitives
    – cartels de publishers

    View Slide

  73. 73/127
    Farge, Marie (2017), Comment les chercheurs échangent leurs idées. Présentation.
    slideplayer.fr/slide/13210808/ (2021 01)

    View Slide

  74. 74/127
    https://twitter.com/Markinthelab/status/1564529270927532034

    View Slide

  75. 75/127

    View Slide

  76. 76/127
    https://twitter.com/jamesheathers/status/150913667676082
    5859
    CINOs =
    citable,
    numerator only

    View Slide

  77. 77/127
    Système
    pyramidal ;
    oligopole ;
    concentration
    éditoriale
    doi.org/10.1371/journal.pone.0127502.g001
    Larivière, V., Haustein, S., & Mongeon, P. (2015). The oligopoly
    of academic publishers in the digital era. PloS one, 10(6)
    Dérives (iii) globales

    View Slide

  78. View Slide

  79. github.com/ml4rrieu/fr_expenditure_publishing_syst

    View Slide

  80. 75 % of European spending on scientific journals
    goes to the "big five"
    Emanuel KULCZYCKI
    #OSEC2022

    View Slide

  81. 81/127
    Dérives (iii) globales

    Goodhart's Law « When a mesure become a
    target, it ceases to be a good measure »
    Faire de la recherche pour publier ?

    View Slide

  82. 82/127

    On peut aussi se questionner sur le caractère éthique
    d’un système qui amène, consciemment ou non, les
    chercheurs et les gestionnaires de la recherche à
    adapter leurs pratiques pour optimiser les points
    SIGAPS plutôt que la recherche de qualité.
    (Gingras et al. 2021)

    View Slide

  83. 83/127

    dans les douze ans qui ont
    suivi l’instauration de
    [SIGAPS], le nombre de
    publications par les
    centres hospitaliers et
    universitaires français a
    augmenté de 45 %.
    « Excel m’a tué » : comment la
    bureaucratie a asphyxié notre système
    hospitalier, l’OBS, 2022-01. source

    View Slide

  84. 84/127

    [dans la compétition
    de freeride] tu skies
    plus vraiment pour
    toi, tu prends des
    lignes pour des juges ”
    Jérémie Heitz
    Portrait d’un freerider surdoué, Jérémie Heitz
    youtube.com/watch?v=0HQzzWot9i4, (2021-06)

    View Slide

  85. 85/127

    La critique du « publish or perish » est bien sûr ancienne, mais elle est exacerbée par
    les nouvelles méthodes d’évaluation.
    (Gingras et al. 2021)

    View Slide

  86. 86/127

    We should be in a position where we are able to
    influence our academic system, not be stifled by the
    current actors in it
    John Tenant, 2019

    We have a strange system where we are now serving publishing
    industry rather than publishing industry serving us. "
    Leslie Chan, 2021

    View Slide

  87. 87/127
    2.
    La science ouverte renouvelle la bibliométrie
    2a. meilleure connaissance
    des outils utilisés

    View Slide

  88. 88/127

    Il faut donc, en plus, prendre en
    considération les limites propres à la
    source ISI : les mauvaises couvertures
    thématiques, géographiques,
    temporelles et la variation des saisies des
    citations dans les références (retranscrites
    telles qu'elles sont mentionnées dans
    l'article d'origine).
    Rostaing, H. (1996). La bibliométrie et ses techniques, op. cit.
    Wos & Scopus :
    couverture problématique

    View Slide

  89. 89/127
    Hcéres compare l’UBM
    dans Wos, Hal et rapport
    Rapport hceres nov 2018
    Hal =
    8 * Wos
    Biblio Hcéres =
    24,4 * Wos

    View Slide

  90. 90/127
    Emanuel KULCZYCKI
    #OSEC2022
    doi.org/10.1007/s11192-018-2711-0

    View Slide

  91. 91/127
    Comment des bases
    qui sélectionnent des
    revues peuvent-elles
    être qualifiées
    d’exhaustives ?
    Paradoxe: qualifier Scopus d’exhaustif et de qualitatif
    fin de l’exhaustivité

    View Slide

  92. 92/127
    LARRIEU, M. (2022) How research libraries can contribute to reform the
    research evaluation system, LIBER. doi.org/10.5281/zenodo.6812306

    View Slide

  93. 93/127
    Pour une université pluridisciplinaire, les indicateurs
    de l’OST sont calculés sur moins de 70 %
    Baromètre Science ouverte UVSQ

    View Slide

  94. 94/127
    WOS et Scopus
    se recouvrent
    à ~75 %
    Baromètre Science ouverte UVSQ
    github.com/ml4rrieu/barometre_science_ouverte_uvsq
    (2021 01)

    View Slide

  95. 95/127
    Une dimension politique :
    qui sélectionne les revues ?

    Where DOAJ listed 12,582
    journals (as of January 2019),
    Scopus listed 5920 OA journals
    and WoS only listed 4485
    journals
    blog.doaj.org/2019

    View Slide

  96. 96/127
    Visser, M., van Eck, N. J., & Waltman, L. (2020). Large-scale comparison of
    bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and
    Microsoft Academic. arXiv preprint.
    RIP

    View Slide

  97. 97/127
    « Web of science »
    Carte à la une : le monde selon... le Web of Science

    View Slide

  98. 98/127
    Source Redalyc, 2020

    View Slide

  99. 99/127
    Le territoire des activités
    scientifiques,
    la carte de l’évaluation de ces
    activités

    View Slide

  100. 100/127
    Source twitter

    View Slide

  101. 101/127
    2.
    La science ouverte renouvelle la bibliométrie
    2b. des nouveaux
    acteurs/données

    View Slide

  102. 102/127
    Des données de citations ouvertes

    View Slide

  103. 103/127
    Vers un
    écosystème
    ouvert
    Ficarra, Victoria et. al. (2020). Scoping the Open
    Science Infrastructure Landscape in Europe.
    https://doi.org/10.5281/zenodo.4159838

    View Slide

  104. 104/127
    Pour un outil bibliométrique français
    en faveur de la science ouverte ?
    Research.data.gouv.fr

    View Slide

  105. 105/127
    Open
    data
    Publish or
    perish
    Open
    software
    Course
    à l’IF
    Course à la
    quantité
    Article
    oriented
    Sources
    Multilinguisme
    Reproductibilité
    « Culture du
    WOS »
    Diversité
    des
    productions

    View Slide

  106. 106/127
    3.
    Sur l’évaluation de la recherche
    évaluation rech. ≠ bibliométrie

    View Slide

  107. 107/127
    Ne plus prétendre au qualitatif
    avec du quantitatif

    View Slide

  108. 108/127
    « La bibliométrie pour évaluer les publications
    scientifiques en biologie et santé »
    alambic.hypotheses.org/6068
    Jamais un nombre ne rendra
    compte de la qualité
    scientifique

    View Slide

  109. 109/127
    Une analyse se
    basant sur des
    nombres est-elle
    objective ?

    La caractérisation par un
    simple chiffre rend d’ailleurs
    possible un classement, illusion
    totale d’objectivité dont les
    êtres humains [du XXIe] sont
    extrêmement friands surtout
    lorsqu’ils sont amenés à faire
    un choix
    Rentier, B. (2018). Science ouverte, le défi de la
    transparence. Académie royale de Belgique
    Pointer l’aveuglement du nombre

    View Slide

  110. 110/127
    La déclaration de DORA
    But :
    - freiner l’hégémonique FI
    - considérer code & datasets
    - être transparent sur l’évaluation
    - guider les bonnes pratiques
    sfdora.org
    2013

    View Slide

  111. 111/127
    DORA for publishers

    Don’t use IF as a promotional tool

    Use a variety of journal-based metrics

    Make available a range of article-level metrics

    Provide information about the specific contributions of each
    author.

    Make citation list available under CC0

    Remove constraints on the number of references

    mandate the citation of primary literature in favor of reviews in
    order to give credit to the group(s) who first reported a finding.

    View Slide

  112. 112/127
    Ne plus
    recourir aux
    classements
    de revues

    View Slide

  113. 113/127
    hceres.fr/fr/actualites/le-hceres-signe-dora-
    la-declaration-de-san-francisco-sur-levaluat
    ion-de-la-recherche

    View Slide

  114. 114/127
    Leiden Manifesto for research metrics
    Science and technology indicators
    are prone to conceptual ambiguity
    and uncertainty and require strong
    assumptions that are not universally
    accepted. (...) best practice uses
    multiple indicators to provide a
    more robust and pluralistic picture
    “ Use these ten principles to guide research evaluation
    leidenmanifesto.org/
    2015

    View Slide

  115. 115/127
    Appel de Paris sur l’évaluation de la
    recherche
    https://osec2022.eu/fr/appel-de-paris/
    2022

    View Slide

  116. 116/127
    coara.eu/agreement/the-commitments/
    Coalition on Advancing Research
    Assessment

    View Slide

  117. 117/127
    Valoriser pratiques
    d’ouverture

    View Slide

  118. 118/127
    Guider les pratiques
    ecrlife.org/fighting-the-impact-factor-one-cv-at-a-time-2/

    View Slide

  119. 119/127
    3.
    N’opposons pas
    bibliométrie & science ouverte
    Exemples ▼

    View Slide

  120. 120/127

    C’est en croisant les bases mais
    surtout en puisant dans des
    archives ouvertes que ces biais [de
    représentativité] peuvent être
    atténués.
    Bordignon, F. (2021). Comment ouvrir et mesurer la
    science vont de pair. Arabesques, (103)
    doi.org/10.35562/arabesques.2714

    View Slide

  121. 121/127
    bso.dataesr.ovh/publications/general
    Piloter l’accès ouvert en France

    View Slide

  122. 122/127
    github.com/nicholasmfraser/covid19_preprints (2021 01)
    Mesurer l’évolution des preprints
    sur la COVID-19

    View Slide

  123. 123/127
    github.com/bmkramer/I4OA (2021 01)
    Mesurer l’évolution
    de I4OA (initiative
    for open abstract)

    View Slide

  124. Coda

    View Slide

  125. 125/127

    View Slide

  126. 126/127
    Kim HUIJPEN
    #OSEC2022

    View Slide

  127. 127/127
    merci
    @ml4rrieu

    View Slide