Formation École doctorale STS 2014 3 ➔ Définition des concepts ➔ Panorama des indicateurs ➔ Les nouvelles formes de bibliométrie et d'évaluation de la recherche sommaire de la formation
Formation École doctorale STS 2014 4 la bibliométrie : définition « méthode d’analyse quantitative de l’activité de recherche, applicable à toutes les entités de recherche (individus, équipes, établissement, pays) pour mesurer le niveau de production scientifique et son impact » Comité national d'évaluation de la recherche (CNER)
Formation École doctorale STS 2014 5 à l'origine Derek John de Solla Price dans Little Science, Big Science (1963) analyse le récent système de communication scientifique et jette les fondations des techniques d’évaluation de la recherche moderne
Formation École doctorale STS 2014 6 à l'origine Le terme « bibliométrique » apparaît la 1ère fois en 1969 dans l’article de A. Pritchard Statistical bibliography or bibliometrics ? publié dans Journal of Documentation
Formation École doctorale STS 2014 7 à l'origine Eugene Garfield, fondateur de l'Institute of Scientific Information (ISI) a placé la citation d'article au fondement de la construction d'indicateurs bibliométriques
Formation École doctorale STS 2014 9 citation d'article Toute la bibliométrie est basée sur l’analyse des citations, i.e. sur les indications bibliographiques des « Références » ou « Bibliographie » des articles Qui recense ? À partir de quelle source ? Avec quelle méthodologie ?
Formation École doctorale STS 2014 10 citation d'article « Citations are signposts left behind after information has been utilized » L. C. Smith « frozen footprints in the landscape of scholarly achievement which bear witness of the passage of ideas » B. Cronin
Formation École doctorale STS 2014 11 citation d'article 1ère étape Collecte travail colossal impossible à mener à bien de manière exhaustive 2ème étape Construction définir la formule mathématique qui permet une évaluation chiffrée à partir des données brutes Pratiques de citation et de publication très variables d’une discipline à l’autre
Formation École doctorale STS 2014 12 critiquer les sources de citations L’analyse bibliométrique se base sur de larges bases de données bibliographiques qui doivent être évaluées au regard de leur couverture, leurs fonctionnalités, leur disponibilité
Formation École doctorale STS 2014 13 la couverture des bases ➔ Type de documents ➔ Antériorité ➔ Domaines de recherche couverts ➔ Variété linguistique
Formation École doctorale STS 2014 15 Web of Science 1ère et principale base de données bibliographiques pour la production d'indicateurs bibliométriques Fondé dans les 60's, 12 000 revues indexées en 2014, antériorité jusqu'à 1900 Sujet de nombreuses critiques en raison de sa position historique sur le marché 3 index de citations : Science Citation Index, Social Science Citation Index et Art & Humanities Citation Index
Formation École doctorale STS 2014 16 Web of Science ➔ couverture très variable en fonction des champs de recherche ➔ limité aux citations des revues, prend mal ou pas en compte les citations d’autres sources (livres, actes de conférence, etc.) ➔ Biais américain : couvre principalement Amérique du nord, Europe occidentale et en langue anglaise (98% des articles) ➔ base payante et coûteuse
Formation École doctorale STS 2014 17 SCOPUS Principal challenger de Web of Science Fondé dans les années 2000, 21 000 revues indexées, antériorité jusqu'à 1995 Géographiquement, plus diversifié Plus varié dans les supports indexés (livres, collections, conférences)
Formation École doctorale STS 2014 18 Google Scholar Lancé en 2004, avec pour objectif un couverture très large Imprécision voire fantaisie des résultats démontrée Ressource gratuite Sources indexées confidentielles Services aux utilisateurs : identification des auteurs et indicateurs bibliométriques personnalisés
Formation École doctorale STS 2014 19 Google Scholar Lancé en 2004, avec pour objectif un couverture très large Imprécision voire fantaisie des résultats démontrée Ressource gratuite Sources indexées confidentielles : bases des revues + archives ouvertes ? Services aux utilisateurs : identification des auteurs et indicateurs bibliométriques personnalisés
Formation École doctorale STS 2014 20 Les limites des bases ➔ Les corpus peuvent favoriser un champs disciplinaire au détriment d'un autre ➔ Identification des auteurs et des revues ➔ Difficulté d'attribution ➔ Comment compter quand plusieurs versions d'un même document sont en ligne ? ➔ Les bases sont plus complémentaires que concurrentes
Formation École doctorale STS 2014 21 Le bon indicateur ➔ Adéquation avec l’objet la mesure est-elle appropriée à l’objet évalué? ➔ Homogénéité dans la mesure le mélange d'indicateurs est-il fiable ? ➔ Respect de l’inertie propre à l’objet prendre le temps de mesurer le changement
Formation École doctorale STS 2014 22 Journal Impact Factor (jif) jif(N) = A / B où A = nombre de citations pendant l'année N des articles parus les années N-1 et N-2 où B = nombre d'articles citables parus pendant les années N-1 et N-2
Formation École doctorale STS 2014 23 Critiquer l'Impact factor ➔ N (années de référence) Rien ne prouve l'intérêt d'une fenêtre de 2 ans Le pic de citation est souvent plus long ➔ A (nombre de citations) Les auto-citations sont comptabilisées Pratiques de citations différentes entre les disciplines ➔ B (nombre d'articles) Variable selon la périodicité, le nombre d'articles par numéro
Formation École doctorale STS 2014 24 Critiquer l'Impact factor ➔ Compte tenu de la marge d'erreur, les décimales du jif ne sont pas significatives ➔ Le jif d'une revue peut être porté par quelques articles ➔ Le jif ne distingue pas les revues populaires des revues prestigieuses ➔ Le jif est-il le bon indicateur pour mesurer l'impact d'une revue ? D'une article ?
Formation École doctorale STS 2014 25 Alternatives au jif ➔ Refuser la tyrannie du jif comme le Research Excellence Framework britannique aucun comité britannique ne prendra en compte l’IF d’un journal scientifique pour déterminer la qualité d’un résultat de recherche soumis à évaluation ➔ Compléter le jif par de nouveaux indicateurs complémentaires
Formation École doctorale STS 2014 26 Alternatives au jif Y-factor Combine le facteur d'impact et le PageRank pour déterminer la qualité d'une citation et pour classer les revues qui présentent un jif et un PageRank élevé
Formation École doctorale STS 2014 27 Alternatives au jif Eigenfactor Ratio de citations reçues par l’ensemble des articles de la revue au cours des 5 dernières années sur le total de citations reçues par l’ensemble des articles des revues enregistrées dans le JCR sur la même période. Intègre dans son calcul le prestige des revues citantes.
Formation École doctorale STS 2014 28 Alternatives au jif Eigenfactor Ratio de citations reçues par l’ensemble des articles de la revue au cours des 5 dernières années sur le total de citations reçues par l’ensemble des articles des revues enregistrées dans le JCR sur la même période. Intègre dans son calcul le prestige des revues citantes.
Formation École doctorale STS 2014 29 Alternatives au jif Eigenfactor Ratio de citations reçues par l’ensemble des articles de la revue au cours des 5 dernières années sur le total de citations reçues par l’ensemble des articles des revues enregistrées dans le JCR sur la même période. Intègre dans son calcul le prestige des revues citantes.
Formation École doctorale STS 2014 30 Alternatives au jif Article Influence Rapport entre l’Eigenfactor de la revue et le nombre d’articles publiés par cette revue au cours des 5 années précédentes pour mesurer l'influence de la revue par article Auto-citations de la revue exclues.
Formation École doctorale STS 2014 32 Indicateur au niveau de l'article Il existe une corrélation entre nombre de téléchargements d'un article et nombre de citations même si elle varie d'une discipline à l'autre Mais : ➔ difficile à établir pour un auteur donné ➔ ne prend pas en compte les nouveaux modes de diffusion (page perso, archive ouverte, réseaux sociaux) ➔ valorisation des articles les plus téléchargés favorise mécaniquement ces articles ➔ fiabilité relative : calculés par les éditeurs eux-mêmes,
Formation École doctorale STS 2014 33 H-Index Le H-Index d'un chercheur est le plus grand nombre H de publications tel que chaque article a reçu au moins H citations ➔ Créé par Jorge E. Hirsch (Université de Californie à San Diego) en 2005 ➔ Tentative de résumer à la fois la productivité et l’impact d’un chercheur ➔ Favorise les chercheurs qui publient un flux continu de papiers influents
Formation École doctorale STS 2014 34 H-Index Calculer le H-Index Classer tous les articles d'un chercheur par ordre décroissant de citation Quand le rang de l'article est supérieur aux nombres de citations, alors le rang précédent équivaut au H-Index Rang Article Citations 1 Art D 46 2 Art B 40 3 Art G 21 4 Art A 15 5 Art C 10 6 Art F 7 7 Art E 3 8 Art H 2 9 Art I 0 Dans l'exemple ci-dessus, le H- Index est de 6. Le rang dépasse le nombre de citations à l'article E (7>3). Le rang précédent est donc le H- Index
Formation École doctorale STS 2014 35 Critiques du H-Index (1) ➔ Désavantage les jeunes chercheurs tant que leur nombre de publications et de citations seront faibles ➔ Ne prend pas en compte le nombre de co‑auteurs de la publi et leur position relative ➔ Indicateur fortement dépendant de la discipline ➔ Désavantage beaucoup les corpus d'articles petits mais très fortement cités ➔ Autorise les chercheurs à ce reposer sur leurs lauriers
Formation École doctorale STS 2014 36 Critiques du H-Index (2) ➔ Ne prend pas en compte les citations négatives ➔ Ignore la contribution de l’auteur dans le papier ➔ Dépend de la base de données bibliographiques utilisée ➔ Ne fonctionne qu’avec les articles, pas avec les brevets, les billets de blog ou les livres ➔ Ne prend pas en compte l’influence sur les politiques publiques
Formation École doctorale STS 2014 37 Corriger le H-Index ➔ Diviser l’index par l’âge académique de l’auteur ➔ Pondérer chaque article cité par l’âge relatif de l’article, donnant moins de poids aux articles les plus vieux ➔ Ajuster l’index par le nombre moyen d’auteurs dans les H publications ➔ G-Index (Egghe) : plus grand nombre d’articles pour lesquels il est vrai de dire que l’ensemble des G articles ont reçu au moins G² citations
Formation École doctorale STS 2014 39 Altérer les indicateurs ➔ Saucissonnage : découper ses travaux en plusieurs articles ne contenant qu’un élément important de la recherche ➔ Auto-citation ou erreur de citation ➔ frein à la prise de risques : orienter les jeunes chercheurs vers les domaines où les résultats s’obtiennent plus rapidement ➔ Effet de halo : citer les références ou chercheurs qu’on estime les plus importants ➔ citations secondaires : omettre les articles de base et ne citer que les résultats les plus récents ➔ Citation négative : les mentionner ou les éviter
Formation École doctorale STS 2014 40 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Elles sont calculées essentiellement au niveau de l'article Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
Formation École doctorale STS 2014 42 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
Formation École doctorale STS 2014 43 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
Formation École doctorale STS 2014 44 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
Formation École doctorale STS 2014 45 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
Formation École doctorale STS 2014 46 Critique des altmetrics Les altmétriques mesurent l'impact des articles en dehors des espaces scientifiques ➔ Risque d’achat d’espace d’exposition pour truquer les indicateurs ➔ Mauvaise interprétation des résultats, innocente ou délibérée ➔ Sujets racoleurs : sexe, drogues, crime, jeu vidéo, chocolat ➔ « Les altmétriques sont produites par et pour des gens qui ne comprennent pas la recherche »
Formation École doctorale STS 2014 47 L'évaluation par les pairs Système apparue dans les années 40 pour Science et JAMA, 1967 pour Nature Double blind évaluateurs et auteurs sont anonymes Single blind les évaluateurs anonymes mais auteur(s) connu(s) 1 ou plus rarement 2 navettes entre évaluateurs, éditeurs et auteurs Rapport de lecture visible uniquement par les auteurs et l'éditeur
Formation École doctorale STS 2014 48 Évaluation alternative ➔ Révéler les noms des évaluateurs et l’historique de la pré-publication (comme le BMJ en 1999-2000) ➔ Transformer la soumission en Discussion Paper archivé avec tous les commentaires et critiques avant acceptation (Atmospheric Chemistry and Physics) ➔ Divulguer les évaluateurs et publier les rapports de lecture (Biology Direct, EMBO journals, BMJ Open entre 2006-2011)
Formation École doctorale STS 2014 49 Faculty of 1000 F1000 Prime : système d'évaluation alternatif lancé en 2002 pour la biologie et en 2006 pour la médecine Diversification vers l'édition scientifique avec F1000 Research et F1000 Posters Des chercheurs reconnus évaluent et notent des articles récemment lus dans leur domaine selon des critères précis (changes clinical practice, confirmation, controversial, good for teaching, interesting hypothesis, new finding, novel drug target, refutations)
Formation École doctorale STS 2014 50 F1000 Research Revue en open access où évaluateurs, commentaires et réponses des auteurs sont publics Avantage pour auteurs et lecteurs ➔ les auteurs savent qui les évalue ➔ les commentaires des évaluateurs mettent l’article en contexte ➔ évaluation plus constructive ➔ rapports publiés servant d’exemple aux jeunes chercheurs Avantages pour évaluateurs ➔ montrer sa connaissance des travaux évalués ➔ montrer son expérience en tant qu'évaluateur
Formation École doctorale STS 2014 52 Slow Science La Slow Science part du constat des dérives de la Fast Science 1990 : Eugene Garfield est l’un des premiers à en parler dans “Fast Science vs Slow Science” 2006 : Article de la biochimiste australienne Lisa Alleva dans Nature 2010 : apparition d'une Slow Science Academy (Berlin) et d'un manifeste
Formation École doctorale STS 2014 53 Slow Science Basé sur le mouvement Slow food, la Slow Science engage à prendre du temps pour ne pas précipiter les résultats et vérifier les travaux de tiers Les défenseurs de la Slow Science préconisent de repenser l’évaluation de la recherche, de mieux informer le public de la réalité de la recherche (temps et financement longs) Ils militent également pour une autre rapport au travail de recherche fondé sur le plaisir
Formation École doctorale STS 2014 54 Des questions ? Plus d'informations ? [email protected] Merci de votre attention Crédits photo : Scientists: Are we producing too many? / MaRS Discovery District / CC by-nc-sa Signpost / Anthony / CC by-sa
signer
arumakan
takenawa
yoshizaki
mickey_kubo
coderdojojapan
akiraasano
caitiem20
csswizardry
bkeepers
nonsquared
moore
davidbonilla
smashingmag
matthewcrist
chriscoyier
tammyeverts
danielanewman
