Bibliométrie et science ouverte

En quoi une agence qui produit des statistiques sur des publications scientifiques serait-elle concernée par un mouvement prônant un accès ouvert global aux produits de la recherche ? Il serait tentant en premier lieu de penser que la bibliométrie n'a pas grand chose à voir avec la science ouverte. Pourtant, en étudiant de plus près l'écosystème de la recherche, ces injonctions et incitations, on constate que la bibliométrie et l'évaluation de la recherche forment une brique centrale dans le développement de la Science ouverte.
Cet atelier vise à éclairer les liens entre bibliométrie et science ouverte, et plus particulièrement les changements provoqués par cette dernière sur la bibliométrie et l'évaluation de la recherche.

Dans la première partie nous expliquons la genèse de la bibliométrie ; dans la deuxième nous décrivons "l'évaluation bibliométrique de la recherche", c'est à dire une évaluation quantitative, basée sur le nombre de publications et de citations ; dans la dernière nous éclairons les liens qui se tissent entre bibliométrie et science ouverte.

A. bibliométrie & documentation
B. bibliométrie & évaluation
C. bibliométrie & science ouverte

Transcript

1. Bibliométrie
   &
   Science
   Ouverte
   ENSSIB, 2023-02
   Kim HUIJPEN
   #OSEC2022
   @ml4rrieu
   Maxence LARRIEU, PhD
   

   View Slide

2. 2/127
   Plan
   Bibliométrie
   & Documentation
   Bibliométrie
   & Évaluation
   Bibliométrie
   & Science ouverte
   30s
   90s
   10s
   

   View Slide

3. Bibliométrie
   &
   Documentation
   

   View Slide

4. 4/127
   Accroissement scientifique
   Mabe, M., & Amin, M. (2001). Growth
   dynamics of scholarly and scientific
   journals. Scientometrics, 51, 147-162.
   ●
   XXe s.
   accroissement
   des journaux
   ●
   1920 début de
   la hausse
   

   View Slide

5. 5/127
   Savoir-faire pour
   sélectionner des livres
   “
   The answer to the question
   of what books a library in
   chemistry should contain will
   be found excellently
   answered in a book,
   containing a list of 1,600
   books, each one judged by
   experts as to importance
   and value. This book, edited
   by Patterson and Crane, will
   soon be available
   Contexte bibliothéconomie
   Gross, P. L., & Gross, E. M. (1927). College
   libraries and chemical education. Science,
   66(1713), 385-389.
   

   View Slide

6. 6/127
   ●
   Changement de granularité
   ●
   Budget limité, quantité
   d’article démesurée :
   comment procéder ?
   “
   What files of scientific
   periodicals are needed in
   a college library
   successfully to prepare
   the student for advanced
   work ?
   Contexte bibliothéconomie
   “
   only relatively few
   libraries can afford
   complete files of journals
   which have been
   published continuously
   for a century or more
   Ibid.
   

   View Slide

7. 7/127
   Depuis une revue majeure, comptage des
   citations vers les autres revues du domaine
   Gross, P. L., & Gross, E. M. (1927). College libraries and chemical education. op. cit.
   

   View Slide

8. 8/127
   Définition
   Pritchard, A. (1969). Statistical bibliography or
   bibliometrics. Journal of documentation , 25(4), 348-349
   “
   L’application des mathématiques et des
   méthodes statistiques aux livres, articles et
   autres moyens de communication
   

   View Slide

9. 9/127
   L’application des mathématiques et
   des statistiques aux
   livres et autres moyens de communication
   références des
   publications scientifiques
   Définition bis
   

   View Slide

10. 10/127
    La bibliométrie
    ●
    Concerne la science
    ●
    S’opère sur les références, pas le contenu
    ●
    Naît dans un contexte documentaire
    ●
    S’applique surtout sur les journaux et articles
    ●
    Ne possède pas de finalité per se
    

    View Slide

11. 11/127
    “
    la bibliométrie est aux publications ce que la
    démographie est aux populations.
    Le bibliomètre exploite statistiquement des
    bibliographies comme le démographe étudie les
    populations : il n'est pas sensé avoir lu les
    publications qu'il catégorise et comptabilise
    Rostaing, H. (1996). La bibliométrie et ses techniques,
    Centre de Recherche Rétrospective de Marseille.
    Bibliométrie et démographie
    

    View Slide

12. 12/127
    Comment trouver les références
    bibliographiques des publications
    mondiales (nationales, institutionnelles)
    ?
    

    View Slide

13. 13/127
    Eugène Garfield, the guy
    ●
    1951 PhD in Linguistic,
    related to chimical
    nomencalture
    ●
    1953 degree in Library
    Science
    ●
    1960 create Institue of
    Scientific Information
    ●
    1963 conceptor of the
    Science Citation Index
    US, 1925 - 2017
    

    View Slide

14. 14/127
    Science Citation Index
    ●
    Première
    base des
    citations
    scientifiques
    ●
    Ancêtre du
    Web Of
    Science
    

    View Slide

15. 15/127
    Science Citation Index
    Article cité Source de la
    citation
    

    View Slide

16. 16/127
    Journal Citation Reports
    ●
    Index des journaux scientifiques
    issn, domaine, nb of publis,
    citations émises, citations reçues,
    facteur impact
    

    View Slide

17. 17/127
    Facteur d’Impact
    Métrique sur le journal,
    conçue en 1969
    Citations reçues
    __________________
    nb publications
    Facteur d’Impact =
    

    View Slide

18. 18/127
    FI 2018 =
    Somme des citations reçues en 2018
    sur les publications de 2016 et 17
    ____________________________________________________
    Nombre de publications « citable* » en 2016 et 17
    *Article, Review or Proceedings Paper du WoS
    Facteur d’Impact
    

    View Slide

19. 19/127
    Garfield, E. (2006). The History and Meaning of the
    Journal Impact Factor. JAMA. 295 (1).
    

    View Slide

20. 20/127
    Journal Citation Report
    2022-09
    

    View Slide

21. 21/127
    Outils
    traditionnels
    ●
    Bases : Wos & Scopus
    ●
    Avant Scopus (2004), le Wos avait le
    monopole : la bibliométrie s’est forgée pendant
    40 ans avec le Wos
    

    View Slide

22. 22/127
    Web Of Science
    

    View Slide

23. 23/127
    Scopus
    

    View Slide

24. 24/127
    Wos
    The Core collection is
    ●
    Over 74 millions records
    ●
    21,177 journals
    ●
    Over 8 million conference papers
    ●
    104,000 books
    ●
    1.5 billion (1900 to present) cited references
    Wos coverage (juin 2021)
    

    View Slide

25. 25/127
    Scopus
    ●
    70 millions items
    ●
    21,950 peer-reviewed journals
    ●
    8 millions conference papers
    ●
    150,000 books
    ●
    1.4 Billion of recorded references
    Scopus coverage (juin. 2021)
    

    View Slide

26. 26/127
    ✐Exercice
    Laboratoires :
    MAP5, LATMOS, VIMA, ELICO, GEMAC, LSCP,
    Lipade, CERLIS
    nb publi 3 dernières années
    2 premiers type de publication
    2 premiers domaines
    2 revues à haut impact du premier domaine
    

    View Slide

27. 27/127
    

    View Slide

28. 28/127
    Vue sur les données
    Bibliographiques Citations
    

    View Slide

29. 29/127
    publi
    journal
    citat°
    reçues
    domaine
    auteur
    structure
    établiss
    ement
    pays
    citat°
    émises
    type
    doc
    des données liées
    

    View Slide

30. 30/127
    des identifiants
    publi
    journal
    citat°
    reçues
    domaine
    auteur
    structure
    établiss
    ement
    pays
    citat°
    émises
    ISSN
    DOI
    ORCID
    RNSR
    idRef
    structId
    idHal
    type
    doc
    ROR
    GRID
    ISO
    

    View Slide

31. 31/127
    des référentiels
    ●
    Référentiel Auteurs
    ●
    Référentiel Structures
    ●
    Référentiel Journaux
    ●
    Référentiel Domaines
    

    View Slide

32. 32/127
    Base
    ref
    domaine
    ref
    journal
    ref
    auteur
    ref
    structure
    ref
    type doc
    données
    utilisat°
    données
    bibliogra
    données
    citations
    métriques
    

    View Slide

33. 33/127
    x² + ∫n+1x - √y = indicateur
    bibliométrie
    Base
    ref
    domaine
    ref
    journal
    ref
    auteur
    ref
    structure
    ref
    type doc
    données
    utilisat°
    données
    bibliogra
    données
    citations
    métriques
    

    View Slide

34. 34/127
    Deux axes
    cardinaux
    

    View Slide

35. 35/127
    Différents usages
    Rappel : la bibliométrie n’a pas de finalité en soi
    ●
    Exemple
    – Veille scientifique
    – Éclairer l’évolution des sciences (eg. disciplines
    émergentes)
    – Appuyer l’évaluation de la recherche
    

    View Slide

36. Évaluer la recherche
    Au détriment de l’intégrité scientifique, de la science et de la société, la
    bibiométrie a et est encore utilisée pour évaluer la recherche
    

    View Slide

37. 37/127
    Un usage non prévu
    “
    Les répertoires de l'ISI n 'ont
    pas été créés pour mesurer
    les "performances" des
    chercheurs, équipes ou
    laboratoires […].
    Or très rapidement, on a fait
    dévier le but originel de ces
    données pour évaluer […] les
    acteurs de la recherche
    scientifique.
    Rostaing, H. (1996). La bibliométrie et ses techniques. op. cit.
    

    View Slide

38. 38/127
    The Journal Impact Factor
    was originally created as a
    tool to help librarians
    identify journals to
    purchase, not as a
    measure of the scientific
    quality of research in an
    article. With that in mind,
    it is critical to understand
    that the Journal Impact
    Factor has a number of
    well-documented
    deficiencies as a tool for
    research assessment
    sfdora.org
    San Francisco Declaration on
    Research Assessment
    

    View Slide

39. 39/127
    “
    Il y a actuellement un
    consensus pour dire que la
    citation ne mesure pas la
    qualité de la recherche mais
    plus exactement ce qu'on
    pourrait appeler l'impact des
    publications
    Les citations ne
    sont pas signes
    de qualité
    scientifique
    Ibid.
    

    View Slide

40. 40/127
    

    View Slide

41. 41/127
    twitter.com/astromikemerri/status/1428025833860567049
    

    View Slide

42. 42/127
    Nombre de citation et
    facteur d’impact pour
    noter les chercheurs
    “
    Le modèle statistique [que
    l’ISI] il a mis en œuvre
    conditionne l’avancement
    des chercheurs dans un
    nombre croissant de pays.
    Les administrations qui en
    ont la tutelle utilisent
    fréquemment la
    combinaison Citations +
    Impact Factor pour «
    noter » ces chercheurs.
    Durand-Barthez, M. (2006). L'évaluation des publications
    scientifiques: du facteur d'impact à l'indice de notoriété.
    

    View Slide

43. 43/127
    Ex : classement de Shangaï
    6 critères dont 3 basés sur les publications et citations du Wos
    

    View Slide

44. 44/127
    Ex : points SIGAPS, ministère Santé
    Nombre de publication, FI revue et rang
    des auteurs, pour calculer un score, à
    partir duquel déduire une dotation
    Conçu en 2002
    CHU Lille
    

    View Slide

45. 45/127
    La valeur du point en 2017 est de 648 euros
    MADIOT, H., BELLE, L. (2016) Points SIGAPS / SIGREC : ce
    que vous faites gagner à votre Hôpital. Congrès CNCH .
    Un score
    calculé à partir
    des
    publications,
    utilisé par le
    Ministère de la
    Santé pour
    financer une
    partie des CHU
    

    View Slide

46. 46/127
    Extrait d’un CV d’un chercheur en recherche médicale
    

    View Slide

47. 47/127
    “
    D’outil de cartographie, de
    gestion et d’analyse des
    publications à l’échelle des
    établissements, [SIGAPS] a
    été transformé en outil de
    gestion administrative de
    l’enveloppe budgétaire
    dédiée à la recherche
    “
    Alors que les budgets de recherche, pour les CHU
    notamment, étaient auparavant alloués sur une
    base forfaitaire et proportionnelle à la taille de
    l’établissement, l’instauration du nouveau système
    SIGAPS a profondément changé la donne, en
    introduisant un financement basé sur la «
    performance », modèle qualifié par certains
    chercheurs de « tarification à l’acte bibliométrique
    » (Mancini et al., 2009).
    Gingras, Y., & Khelfaoui, M. (2021) L’effet SIGAPS: La
    recherche médicale française sous l’emprise de
    l’évaluation comptable, Zilsel, 8(1).
    https://doi.org/10.3917/zil.008.0144
    

    View Slide

48. 48/127
    labcom-risca.com (2021-06)
    “
    plusieurs CHU utilisent désormais les
    données de publication individuelles
    compilées par SIGAPS dans les processus
    d’embauche ou de promotion des
    chercheurs
    Ibid.
    

    View Slide

49. 49/127
    Ex : Hcéres
    classement
    des revues (2020)
    SHS1
    Économie &
    Gestion
    source
    

    View Slide

50. 50/127
    Un usage détourné de la bibliométrie,
    mais tellement répandu
    qu’on ne peut se référer à l’un sans l’autre
    

    View Slide

51. 51/127
    “
    été 2009 l’AERES a invité les représentants de
    chaque section du CNU et du CNRS à former
    des commissions destinées à établir, section
    par section, la liste des revues garantissant la
    valeur des travaux publiés dans une discipline
    donnée.
    Ainsi donc devait s’achever la préhistoire de
    l’évaluation ; que vive désormais l’ère de la
    bibliométrie !
    Abelhauser, A., Sauret, M. J., & Gori, R. (2011).
    La folie évaluation: les nouvelles fabriques de
    la servitude. Fayard/Mille et une nuits
    

    View Slide

52. 52/127
    “
    La bibliométrie est accusée
    de tous les maux.
    « des effets délétères de la
    bibliométrie sur la
    recherche »
    “
    Pour le meilleur et pour le pire, les
    grandes manœuvres sont lancées dans la
    recherche française sur le front de la
    bibliométrie : celle-ci cesse désormais
    d’être un outil réservé aux
    documentalistes et spécialistes de
    l’information. Les princes qui nous
    gouvernent s’en sont emparés à des fins
    d’évaluation des disciplines, des
    laboratoires, des individus
    Le Coadic, Yves-François (2010), Défense
    et illustration de la bibliométrie, Bulletin
    des bibliothèques de France, n° 4.
    Un usage hautement décrié
    Abelhauser, A., Sauret, M. J., & Gori, R. (2011).
    La folie évaluation: les nouvelles fabriques de
    la servitude. op. cit.
    

    View Slide

53. 53/127
    Le h-index
    Métrique sur le chercheur
    conçue en 2005
    Viser l’impact d’un chercheur en croisant :
    - le nombre de publication
    - le nombre de citation reçues
    

    View Slide

54. 54/127
    Le h-index
    Le nombre n de publications qui ont au moins
    été citées n fois.
    

    View Slide

55. 55/127
    Le rang de la dernière publication qui reste inférieur au nombre de citations reçues
    

    View Slide

56. 56/127
    ✐Exercice : h-index
    ●
    Alain Bui, Sylvie Retailleau, Pierre Couprie,
    Alexandre Mebazaa, Damien lamberton, Mélanie
    Clément-fontaine
    Pour chaque chercheur extraire
    nb publis, h-index scopus, h-index GScholar
    

    View Slide

57. 57/127
    It is database
    dependent: there
    are researchers in
    computer science
    who have an h-index
    of around 10 in the
    Web of Science but
    of 20–30 in Google
    Scholar
    Leiden Manifesto for research metrics, 2015
    

    View Slide

58. Bibliométrie
    &
    Science Ouverte
    

    View Slide

59. 59/127
    Bibliométrie
    Évaluation
    Éthique de la
    recherche
    Oligopole
    Science
    ouverte
    Marché édition
    scientifique
    Bibliodiversité
    Indicateurs
    Classement
    Valorisation Impact
    Image : 10.3390/math7010086
    

    View Slide

60. 60/127
    1.
    Pourquoi la bibliométrie
    à l’heure de la science ouverte ?
    

    View Slide

61. 61/127
    Constat (i)
    

    View Slide

62. 62/127
    Tijdink, J. K. et al. (2016). How do scientists perceive the current publication culture? A qualitative focus
    group interview study among Dutch biomedical researchers. BMJ open, 6(2).
    doi.org/10.1136/bmjopen-2015-008681
    Constat (ii) problème d’intégrité scientifique
    

    View Slide

63. 63/127
    La science ouverte a permis d’éclairer
    les dérives de l’évaluation bibliométrique
    de la recherche
    

    View Slide

64. 64/127
    Un système d’évaluation pernicieux
    Préambule : les pratiques des chercheurs sont conditionnées
    par les procédés d’évaluation de la recherche
    “
    Indicators change the system through
    the incentives they establish
    The Leiden Manifesto for research metrics
    

    View Slide

65. 65/127
    Composants du système pernicieux
    ●
    Des revues sur-favorisées
    ●
    Des chercheurs devant publier dans
    ces revues (carrière)
    ●
    Des méga éditeurs qui commercialisent
    ces revues
    

    View Slide

66. 66/127
    Dérives (i) économiques
    ●
    Plus une revue est prestigieuse meilleure est sa
    commercialisation
    (APC et abonnements)
    « on ne négocie pas une porche »
    

    View Slide

67. 67/127
    bjoern.brembs.net/2018/04/why-open-access-
    big-deals-are-worse-than-subscriptions/
    “
    APC costs are
    correlated with
    journal prestige
    Khoo, S. (2019). Article processing charge
    hyperinflation and price insensitivity: An
    open access sequel to the serials crisis.
    Liber Quarterly, 29(1),
    https://doi.org/10.18352/lq.10280
    2018
    

    View Slide

68. 68/127
    Dérives (ii) éthiques
    ●
    Niveau chercheur :
    – citations coercitives
    – primes pour publier dans Nature
    

    View Slide

69. 69/127
    Gingras, Y., & Khelfaoui, M. (2021) L’effet SIGAPS: La
    recherche médicale française sous l’emprise de
    l’évaluation comptable, op cit.
    “
    Censés mettre fin aux pratiques de copinages, ces critères d’évaluation
    quantitatifs, dits « objectifs », ont dans les faits conduit à une croissance
    anormale du taux d’autocitations nationales, c’est-à-dire des
    citations faites par les chercheurs d’un pays aux publications de leur
    pays
    

    View Slide

70. 70/127
    Don’t pay prizes for published science, Nature, 2017
    “
    Zhejiang Agricultural and Forestry University in Lin’An, for example,
    pays a flat rate of 500,000 yuan for a paper published in Cell,
    Science or Nature. And it uses a table with equations to help calculate
    prizes for publications elsewhere. For any paper in a journal with an
    impact factor (IF) higher than 10, for example, the prize is IF × 1.5 ×
    10,000 yuan. And the practice is far from unique to China. Scientists
    in countries such as Qatar and Saudi Arabia can find themselves
    similarly rewarded.
    

    View Slide

71. 71/127
    https://twitter.com/author_for_sale
    

    View Slide

72. 72/127
    Dérives (ii) éthiques
    ●
    Niveau publisher :
    – citations coercitives
    – cartels de publishers
    

    View Slide

73. 73/127
    Farge, Marie (2017), Comment les chercheurs échangent leurs idées. Présentation.
    slideplayer.fr/slide/13210808/ (2021 01)
    

    View Slide

74. 74/127
    https://twitter.com/Markinthelab/status/1564529270927532034
    

    View Slide

75. 75/127
    

    View Slide

76. 76/127
    https://twitter.com/jamesheathers/status/150913667676082
    5859
    CINOs =
    citable,
    numerator only
    

    View Slide

77. 77/127
    Système
    pyramidal ;
    oligopole ;
    concentration
    éditoriale
    doi.org/10.1371/journal.pone.0127502.g001
    Larivière, V., Haustein, S., & Mongeon, P. (2015). The oligopoly
    of academic publishers in the digital era. PloS one, 10(6)
    Dérives (iii) globales
    

    View Slide

78. View Slide

79. github.com/ml4rrieu/fr_expenditure_publishing_syst
    

    View Slide

80. 75 % of European spending on scientific journals
    goes to the "big five"
    Emanuel KULCZYCKI
    #OSEC2022
    

    View Slide

81. 81/127
    Dérives (iii) globales
    ●
    Goodhart's Law « When a mesure become a
    target, it ceases to be a good measure »
    Faire de la recherche pour publier ?
    

    View Slide

82. 82/127
    “
    On peut aussi se questionner sur le caractère éthique
    d’un système qui amène, consciemment ou non, les
    chercheurs et les gestionnaires de la recherche à
    adapter leurs pratiques pour optimiser les points
    SIGAPS plutôt que la recherche de qualité.
    (Gingras et al. 2021)
    

    View Slide

83. 83/127
    “
    dans les douze ans qui ont
    suivi l’instauration de
    [SIGAPS], le nombre de
    publications par les
    centres hospitaliers et
    universitaires français a
    augmenté de 45 %.
    « Excel m’a tué » : comment la
    bureaucratie a asphyxié notre système
    hospitalier, l’OBS, 2022-01. source
    

    View Slide

84. 84/127
    “
    [dans la compétition
    de freeride] tu skies
    plus vraiment pour
    toi, tu prends des
    lignes pour des juges ”
    Jérémie Heitz
    Portrait d’un freerider surdoué, Jérémie Heitz
    youtube.com/watch?v=0HQzzWot9i4, (2021-06)
    

    View Slide

85. 85/127
    “
    La critique du « publish or perish » est bien sûr ancienne, mais elle est exacerbée par
    les nouvelles méthodes d’évaluation.
    (Gingras et al. 2021)
    

    View Slide

86. 86/127
    “
    We should be in a position where we are able to
    influence our academic system, not be stifled by the
    current actors in it
    John Tenant, 2019
    “
    We have a strange system where we are now serving publishing
    industry rather than publishing industry serving us. "
    Leslie Chan, 2021
    

    View Slide

87. 87/127
    2.
    La science ouverte renouvelle la bibliométrie
    2a. meilleure connaissance
    des outils utilisés
    

    View Slide

88. 88/127
    “
    Il faut donc, en plus, prendre en
    considération les limites propres à la
    source ISI : les mauvaises couvertures
    thématiques, géographiques,
    temporelles et la variation des saisies des
    citations dans les références (retranscrites
    telles qu'elles sont mentionnées dans
    l'article d'origine).
    Rostaing, H. (1996). La bibliométrie et ses techniques, op. cit.
    Wos & Scopus :
    couverture problématique
    

    View Slide

89. 89/127
    Hcéres compare l’UBM
    dans Wos, Hal et rapport
    Rapport hceres nov 2018
    Hal =
    8 * Wos
    Biblio Hcéres =
    24,4 * Wos
    

    View Slide

90. 90/127
    Emanuel KULCZYCKI
    #OSEC2022
    doi.org/10.1007/s11192-018-2711-0
    

    View Slide

91. 91/127
    Comment des bases
    qui sélectionnent des
    revues peuvent-elles
    être qualifiées
    d’exhaustives ?
    Paradoxe: qualifier Scopus d’exhaustif et de qualitatif
    fin de l’exhaustivité
    

    View Slide

92. 92/127
    LARRIEU, M. (2022) How research libraries can contribute to reform the
    research evaluation system, LIBER. doi.org/10.5281/zenodo.6812306
    

    View Slide

93. 93/127
    Pour une université pluridisciplinaire, les indicateurs
    de l’OST sont calculés sur moins de 70 %
    Baromètre Science ouverte UVSQ
    

    View Slide

94. 94/127
    WOS et Scopus
    se recouvrent
    à ~75 %
    Baromètre Science ouverte UVSQ
    github.com/ml4rrieu/barometre_science_ouverte_uvsq
    (2021 01)
    

    View Slide

95. 95/127
    Une dimension politique :
    qui sélectionne les revues ?
    “
    Where DOAJ listed 12,582
    journals (as of January 2019),
    Scopus listed 5920 OA journals
    and WoS only listed 4485
    journals
    blog.doaj.org/2019
    

    View Slide

96. 96/127
    Visser, M., van Eck, N. J., & Waltman, L. (2020). Large-scale comparison of
    bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and
    Microsoft Academic. arXiv preprint.
    RIP
    

    View Slide

97. 97/127
    « Web of science »
    Carte à la une : le monde selon... le Web of Science
    

    View Slide

98. 98/127
    Source Redalyc, 2020
    

    View Slide

99. 99/127
    Le territoire des activités
    scientifiques,
    la carte de l’évaluation de ces
    activités
    

    View Slide

100. 100/127
     Source twitter
     

     View Slide

101. 101/127
     2.
     La science ouverte renouvelle la bibliométrie
     2b. des nouveaux
     acteurs/données
     

     View Slide

102. 102/127
     Des données de citations ouvertes
     

     View Slide

103. 103/127
     Vers un
     écosystème
     ouvert
     Ficarra, Victoria et. al. (2020). Scoping the Open
     Science Infrastructure Landscape in Europe.
     https://doi.org/10.5281/zenodo.4159838
     

     View Slide

104. 104/127
     Pour un outil bibliométrique français
     en faveur de la science ouverte ?
     Research.data.gouv.fr
     

     View Slide

105. 105/127
     Open
     data
     Publish or
     perish
     Open
     software
     Course
     à l’IF
     Course à la
     quantité
     Article
     oriented
     Sources
     Multilinguisme
     Reproductibilité
     « Culture du
     WOS »
     Diversité
     des
     productions
     

     View Slide

106. 106/127
     3.
     Sur l’évaluation de la recherche
     évaluation rech. ≠ bibliométrie
     

     View Slide

107. 107/127
     Ne plus prétendre au qualitatif
     avec du quantitatif
     

     View Slide

108. 108/127
     « La bibliométrie pour évaluer les publications
     scientifiques en biologie et santé »
     alambic.hypotheses.org/6068
     Jamais un nombre ne rendra
     compte de la qualité
     scientifique
     

     View Slide

109. 109/127
     Une analyse se
     basant sur des
     nombres est-elle
     objective ?
     “
     La caractérisation par un
     simple chiffre rend d’ailleurs
     possible un classement, illusion
     totale d’objectivité dont les
     êtres humains [du XXIe] sont
     extrêmement friands surtout
     lorsqu’ils sont amenés à faire
     un choix
     Rentier, B. (2018). Science ouverte, le défi de la
     transparence. Académie royale de Belgique
     Pointer l’aveuglement du nombre
     

     View Slide

110. 110/127
     La déclaration de DORA
     But :
     - freiner l’hégémonique FI
     - considérer code & datasets
     - être transparent sur l’évaluation
     - guider les bonnes pratiques
     sfdora.org
     2013
     

     View Slide

111. 111/127
     DORA for publishers
     ●
     Don’t use IF as a promotional tool
     ●
     Use a variety of journal-based metrics
     ●
     Make available a range of article-level metrics
     ●
     Provide information about the specific contributions of each
     author.
     ●
     Make citation list available under CC0
     ●
     Remove constraints on the number of references
     ●
     mandate the citation of primary literature in favor of reviews in
     order to give credit to the group(s) who first reported a finding.
     

     View Slide

112. 112/127
     Ne plus
     recourir aux
     classements
     de revues
     

     View Slide

113. 113/127
     hceres.fr/fr/actualites/le-hceres-signe-dora-
     la-declaration-de-san-francisco-sur-levaluat
     ion-de-la-recherche
     

     View Slide

114. 114/127
     Leiden Manifesto for research metrics
     Science and technology indicators
     are prone to conceptual ambiguity
     and uncertainty and require strong
     assumptions that are not universally
     accepted. (...) best practice uses
     multiple indicators to provide a
     more robust and pluralistic picture
     “ Use these ten principles to guide research evaluation
     leidenmanifesto.org/
     2015
     

     View Slide

115. 115/127
     Appel de Paris sur l’évaluation de la
     recherche
     https://osec2022.eu/fr/appel-de-paris/
     2022
     

     View Slide

116. 116/127
     coara.eu/agreement/the-commitments/
     Coalition on Advancing Research
     Assessment
     

     View Slide

117. 117/127
     Valoriser pratiques
     d’ouverture
     

     View Slide

118. 118/127
     Guider les pratiques
     ecrlife.org/fighting-the-impact-factor-one-cv-at-a-time-2/
     

     View Slide

119. 119/127
     3.
     N’opposons pas
     bibliométrie & science ouverte
     Exemples ▼
     

     View Slide

120. 120/127
     “
     C’est en croisant les bases mais
     surtout en puisant dans des
     archives ouvertes que ces biais [de
     représentativité] peuvent être
     atténués.
     Bordignon, F. (2021). Comment ouvrir et mesurer la
     science vont de pair. Arabesques, (103)
     doi.org/10.35562/arabesques.2714
     

     View Slide

121. 121/127
     bso.dataesr.ovh/publications/general
     Piloter l’accès ouvert en France
     

     View Slide

122. 122/127
     github.com/nicholasmfraser/covid19_preprints (2021 01)
     Mesurer l’évolution des preprints
     sur la COVID-19
     

     View Slide

123. 123/127
     github.com/bmkramer/I4OA (2021 01)
     Mesurer l’évolution
     de I4OA (initiative
     for open abstract)
     

     View Slide

124. Coda
     

     View Slide

125. 125/127
     

     View Slide

126. 126/127
     Kim HUIJPEN
     #OSEC2022
     

     View Slide

127. 127/127
     merci
     @ml4rrieu
     

     View Slide