Μετρικές ερευνητικής παραγωγής και απήχησης: ένας καταλύτης εξελίξεων για την Ανοικτή Πρόσβαση και Ανοικτή Επιστήμη

Tα τελευταία δέκα χρόνια o κόσμος της επιστημονικής επικοινώνησης (scholarly communication) έχει γνωρίσει ραγδαίες εξελίξεις. Οι στατιστικές δείχνουν πως η επιλογή της Ανοικτής Πρόσβασης διαρκώς διευρύνεται και οι εργασίες που δημοσιεύονται υπό αυτό το καθεστώς πληθαίνουν. Πολλές όμως από τις κρίσιμες επιχειρούμενες αλλαγές μένουν στα χαρτιά. Όσο η συζήτηση για την ποιότητα της Ανοικτής Πρόσβασης που επιθυμούμε θερμαίνεται, τόσο εντείνεται και η διαμάχη ανάμεσα σε εκείνους που οραματίζονται μια πραγματικά ανοικτή λειτουργία της επιστήμης και έρευνας και σε εκείνους που αγκιστρώνονται στα κεκτημένα. Σε αυτή τη διαμάχη, ο ρόλος των μετρικών αποτίμησης της ερευνητικής παραγωγής και απήχησης παίζει κομβικό ρόλο, καθώς απαιτεί πολυεπιπέδες αλλαγές, ιδίως στον τομέα της νοοτροπίας και της προσέγγισης. Η παρουσίαση θα εστιάσει στις πρόσφατες εξελίξεις στον τομέα των μετρικών αποτίμησης της έρευνας και θα επιχειρήσει να δείξει πως οι ερευνητές μπορούν να ωφεληθούν από αυτές και να ενδυναμώσουν τόσο την ερευνά τους, όσο και την απήχησή της.

Transcript

1. Μετρικές ερευνητικής παραγωγής και απήχησης ένας καταλύτης για την Ανοικτή Πρόσβαση και την Ανοικτή Επιστήμη Γιάννης Τσάκωνας Βιβλιοθήκη & Κέντρο Πληροφόρησης, Πανεπιστήμιο Πατρών Εκτελεστικό Συμβούλιο LIBER Ανοικτή Επιστήμη: από τη Θεωρία στη Πράξη Εβδομάδα Ανοικτής Πρόσβασης, 24 Οκτωβρίου 2019, Πανεπιστήμιο Κύπρου
2. ανοικτή πρόσβαση • Η Ανοικτή Πρόσβαση είναι ένα εξελισσόμενο πεδίο. • Συγκρούσεις, συγκλίσεις, αποκλίσεις • Δεν υπάρχει μια ασφαλής θεώρηση της ποιότητας της Ανοικτής Πρόσβασης • Πολλές πιέσεις και πολλές στρεβλώσεις
3. Most important factors The reputation of the journal 97% The relevance to my discipline 95% The quality of the peer review 92% The journal’s Impact Factor 90% Least important factors The option to publish OA 35% The journal having a transfer system 25% [Nature Publishing Group Author Survey, https://bit.ly/2bni02J] “It’s where you publish that counts.” [DOAJ Publisher Survey, 2018 https://bit.ly/2ADZQYg] αντιφάσεις
4. Sven Scheuermeier [Unsplash]
5. ανοικτή επιστήμη LIBER OSPP LERU Scholarly Publishing Future of Scholarly Communication The future of scholarly publishing FAIR Data FAIR Data FAIR Data Research Infrastructure & the EOSC The European Open Science Cloud (EOSC) The European Open Science Cloud (EOSC) Metrics & Rewards Research Indicators & Next Generation Metrics Next Generation Metrics Open Science Skills Skills & Education Education & Skills Research Integrity Research Integrity Research Integrity Citizen Science Citizen Science Citizen Science Rewards & Incentives Rewards & Incentives
6. Ecology and Environment Nature and Outdoors Biology Animals Ocean Water Marine & Terrestrial Education Climate and Weather Insects and Pollinators Computers and Technology Birds 0 175 350 525 700 184 205 212 245 327 351 437 563 677 695 Open Science Monitor 1/2 Αριθμός έργων Citizen Science ανά επιστημονικό τομέα στο SciStarter
7. Open Science Monitor 2/2 Switzerland United Kingdom Denmark Netherlands Hungary Croatia Sweden Luxembourg Ireland Norway Cyprus Greece 0% 20% 40% 60% 80% 100% 34% 39% 46% 46% 47% 47% 48% 49% 50% 50% 51% 52% 66% 61% 54% 54% 53% 53% 52% 51% 50% 50% 49% 48% Paywalled OA
8. Markus Spiske [Unsplash]
9. γιατί αξιολογούμε; Τα έξι A's 1. Analysis. Να αντιληφθουμε τι και γιατί είναι αποτελεσματικό. 2. Advocacy. Να αναδειξουμε τα αποτελέσματα της υποστηριζόμενης έρευνας. 3. Allocation. Να αποφασίσουμε τον καταμερισμό των πόρων. 4. Accountability. Να αποδείξουμε την ορθή χρήση των πόρων αυτών. 5. Acclaim. Να αναγνωρίσουμε την αξία φορεών. 6. Adaptation. Να αναπροσαρμοστούμε σε νέα μοντέλα και συστήματα. [The changing research landscape and reflections on national research assessment in the future. Sarah Parks, Daniela Rodriguez-Rincon, Sarah Parkinson & Catriona Manville, https://bit.ly/2BoJhj1]
10. παραδοσιακές μετρικές journal publ h index αναφορές (citations) impact factor, SNIP, SRJ publ publ auth
11. εναλλακτικές μετρικές jrnl publ publ publ altmetrics altmetrics cde pjct news dwnl auth h index συνεργασίες ηγεσία συνεισφορά δημοφιλία αναφορές (citations) προσοχή αναγνωσιμότητα κοινωνική απήχηση
12. στρατηγική στόχευση DORA Declaration On Research Assessment Διακήρυξη αρχών που απευθύνεται στους κύριους φορείς του συστήματος, βλ. ερευνητές, εκδότες, χρηματοδότες, κλπ. ...ανάγκη αξιολόγησης της έρευνας με βάση την αξία της και όχι με βάση το περιοδικό στο οποίο δημοσιεύεται https://sfdora.org/read/gr/ The Leiden Manifesto Δέκα αρχές για την χρήση μετρικών στην απότίμηση της έρευνας προκειμένου να υπάρχουν αναφορά και λογοδοσία Indicators must not substitute for informed judgement.
13. OSPP Open Science Policy Platform Institutions need to have a career and reward structure for all researchers, and particularly for Early Career Researchers (ECRs), that values and promotes a diverse range of outputs, activities and career directions. [Rewards & Incentives] The data, metadata and methods that are relevant to research evaluation, including but not limited to citations, downloads and other potential indicators of academic re-use, should be publicly available for independent scrutiny and analysis by researchers, institutions, funders and other stakeholders. [Next Generation Metrics]
14. Sherman Yang [Unsplash]
15. RESEARCH OUTPUT Research activity Publications Datasets and research results Open source Funding RESEARCH PROCESS Stakeholder engagement/citizen science Collaboration and Interdisciplinarity Research integrity Risk management SERVICE AND LEADERSHIP Leadership Academic standing Peer review Networking RESEARCH IMPACT Communication and Dissemination IP (patents, licenses) Societal impact Knowledge exchange TEACHING AND SUPERVISION Teaching Mentoring Supervision PROFESSIONAL EXPERIENCE Continuing professional development Project management Personal qualities OSCAM Open Science Career Assessment Matrix
16. από τη θεωρία στην πράξη University of Ghent • Επιτεύγματα αντί για αποτελέσματα. • Μεγαλύτερες περίοδοι αποτίμησης. • Συμβουλευτική και καθοδήγηση. University Medical Center Utrecht • Νέο μοντέλο αποτίμησης. • Εκπαίδευση, κλινική εργασια, καινοτομία και απήχηση, ηγεσία, συνεργασία και ανάπτυξη. Read, don't count [Frank Miedema] Universitat Obierta de Catalunya • Υπογραφή της DORA • Πιλοτική εφαρμογή σε μεταδιδακτορικούς ερευνητές. • Απουσία του Impact Factor.
17. Scholarly Metrics Recommendations for Research Libraries https://zenodo.org/record/1303002
18. 3D. Learn about platforms before implementing them in services and homogenize different sources. Know about rankings that might be of major importance for your researchers, such as discipline- specific journal rankings or university rankings. Demonstrate the value of different types of impact indicators in comparison to citations. Look for open data sets in the required disciplines and use them in addition to proprietary databases (eg., Web of Science). RefSeer, Paperscape, PubMed, Arxiv, Repec, Scielo and numerous others provide datasets to specialized communities. Διαφορετικά επίπεδα εξοικείωσης, βλ. βασικό (κύκλος), ενδιάμεσο (τρίγωνο), προχωρημένο (τετράγωνο) #inclusive Προτάσεις, δηλαδή τι να κάνει κάποιος με αναφορά σε συγκεκριμένα εργαλεία και μεθόδους #actionable Ταξινόμηση, σύμφωνα με τη σημασία τους #prioritized ανατομία μιας σύστασης
20. ευχαριστώ για την προσοχή σας