Χρήση εναλλακτικών μετρικών για την αποτίμηση της διάδοσης της έρευνας σε επιστημονικά συνέδρια

Ακριβή Αθανασοπούλου, Ιόνιο Πανεπιστήμιο
Αγγελική Γιαννοπούλου, Βιβλιοθήκη και Κέντρο Πληροφόρησης Πανεπιστημίου Πατρών
Γιάννης Τσάκωνας, Βιβλιοθήκη και Κέντρο Πληροφόρησης Πανεπιστημίου Πατρών

Εργασία στο 23ο Πανελλήνιο Συνέδριο Ακαδημαϊκών Βιβλιοθηκών.

Οι εναλλακτικές μετρικές (altmetrics) προτείνονται ως εναλλακτική λύση για τη μέτρηση της απήχησης των επιστημονικών άρθρων και αναφορών. Ο όρος altmetrics εμφανίστηκε στο επιστημονικό γίγνεσθαι το 2010 και εφαρμόζεται σε φυσικά πρόσωπα (ερευνητές, συγγραφείς), σε εκδοτικές οντότητες (βλ. περιοδικά, βιβλία, κ.ά.) και εκδοτικές μονάδες (εργασίες). Τα altmetrics δεν επικεντρώνονται στις αναφορές (citations) που λαμβάνουν κάποιες εργασίες, αλλά σε μια σειρά μετρήσεων της απήχησης τους, όπως το πλήθος των προβολών του, το πλήθος των λήψεων και το πλήθος αναφορών στα μέσα κοινωνικής δικτύωσης. Στηρίζονται σε διάφορες υπηρεσίες των κοινωνικών δικτύων, κυρίως σε αυτές που απευθύνονται στην ερευνητική και ακαδημαϊκή κοινότητα, όπως τα Mendeley, CiteULike, ResearchGate κλπ., αλλά και σε άλλες δημοφιλέις, όπως το Twitter ή το Facebook, και λειτουργούν συμπληρωματικά με τις παραδοσιακές, βιβλιομετρικές, πρακτικές αποτίμησης. Ενδεικτικά παραδείγματα υπηρεσιών εναλλακτικών μετρικών είναι τα PlumAnalytics, Kudos και ImpactStory. Προκύπτει λοιπόν ότι οι εναλλακτικές μετρικές παρέχουν μια ένδειξη για την επιρροή των επιστημονικών ερευνών και αποτελούν ένα ζήτημα το οποίο παρουσιάζει έντονο ερευνητικό ενδιαφέρον για περαιτέρω μελέτη. Η παρούσα μελέτη πραγματεύεται τη χρήση των εναλλακτικών μετρικών με σκοπό να αποτιμηθεί η διάδοση της έρευνας στα επιστημονικά συνέδρια. Σε αυτή την εργασία συλλέχθησαν και αναλύθηκαν μετρικές της απήχησης των εργασιών τεσσάρων συνεδρίων, τόσο παραδοσιακοί (αναφορές), όσο και εναλλακτικοί (altmetrics). Τα συνέδρια που καλύφθησαν ήταν τα ζεύγη των συνεδρίων των ψηφιακών βιβλιοθηκών ECDL/JCDL και της ανάκτησης της πληροφορίας SIGIR/ECIR. Εξετάστηκαν 3.681 εργασίες από τα τέσσερα αυτά συνέδρια και μέσω των αποτελεσμάτων της παρούσας έρευνας επιβεβαιώνεται το γεγονός ότι σε παγκόσμιο επίπεδο, η ακαδημαϊκή κοινότητα χρησιμοποιεί τα μέσα κοινωνικής δικτύωσης, είτε για επίκαιρη ενημέρωση των εξελίξεων σε ένα χρονικά προσδιορισμένο γεγονός, όπως είναι τα συνέδρια, είτε για περαιτέρω εξέταση και για ανταλλαγή απόψεων και πληροφοριών.

Transcript

1. Χρήση εναλλακτικών μετρικών για την αποτίμηση της διάδοσης της έρευνας σε επιστημονικά συνέδρια Ακριβή Αθανασοπουλου,1 Αγγελική Γιαννοπουλου,2 Γιάννης Τσακωνας2 1 Τμήμα Αρχειονομιας, Βιβλιοθηκονομίας & Μουσειολογιας, Ιόνιο Πανεπιστήμιο 2 Βιβλιοθήκη & Κέντρο Πληροφόρησης, Πανεπιστήμιο Πατρών 23ο Πανελλήνιο Συνέδριο Ακαδημαϊκών Βιβλιοθηκών, Θεσσαλονικη, 2017
2. ΕΙΣΑΓΩΓΙΚΑ ΣΤΟΙΧΕΙΑ • Διερεύνηση χρήσης εναλλακτικών μετρικών με σκοπό την αποτίμηση της έρευνας στα επιστημονικά συνέδρια • Παραδοσιακές μετρικές: σχήμα αποτίμησης βασισμένο στις αναφορές μεταξύ εργασιών • Εναλλακτικές μετρικές: συμπληρωματικό πεδίο παραδοσιακών βιβλιομετρικών που βασίζονται σε σειρά υπηρεσιών κοινωνικής δικτύωσης • Μέσα κοινωνικής δικτύωσης: κοινού τύπου, όπως Facebook, Twitter, κλπ και ακαδημαϊκού τύπου, όπως Mendeley, Connotea, κλπ.
3. ΠΑΡΑΔΟΣΙΑΚΕΣ ΜΕΤΡΙΚΕΣ • Παραπομπές: βιβλιογραφικές εγγραφές προγενέστερων έργων που υποστηρίζουν την επιχειρηματολογία μιας εργασίας • Αναφορές: ποσοτικοποίηση της χρήσης των δημοσιεύσεων, σκιαγράφηση του αντικτύπου τους
4. ΕΝΑΛΛΑΚΤΙΚΕΣ ΜΕΤΡΙΚΕΣ / ALTMETRICS • Αφορούν ερευνητές, περιοδικά, βιβλία, σύνολα δεδομένων, κ.ά. • Αποσκοπούν στη μέτρηση επιρροής εργασιών σε άμεσο χρόνο, με μεγάλη διασπορά και εκτός των παραδοσιακών μέσων καταγραφής • Ενδεικτικές μετρικές: • Προβολές/views: ο αριθμός αναγνώσεων από χρήστες • Συζητήσεις/discussions: ο αριθμός σχολιασμών μιας έρευνας στο διαδίκτυο • Αποθηκεύσεις/saves: το πλήθος σελιδοδεικτών που έχουν τεθεί στις δημοσιεύσεις και το πλήθος λήψεων
5. ΔΗΜΟΣΙΕΥΣΕΙΣ ΣΕ ΣΥΝΕΔΡΙΑ • Τομέας που έχει ερευνηθεί ελάχιστα • Δυσκολία στην ευρετηρίαση και καταγραφή μετρικών • Διαφορετικός τρόπος αλληλεπίδρασης με τα μέσα κοινωνικής δικτύωσης, π.χ. μικρός χρόνος απόκρισης και συμμετοχής
6. Σκοπός: Η διερεύνηση ύπαρξης παραδοσιακών μετρικών (αναφορών) και εναλλακτικών μετρικών σε τέσσερα επιστημονικά συνέδρια. Επιλέχθηκαν βάσει της σημασίας τους και του επιστημονικού τους ενδιαφέροντος και εκπροσωπούν δύο διαφορετικές κοινότητες. Ερευνητικά ερωτήματα • Ποιο είναι το εύρος ύπαρξης εναλλακτικών μετρικών για τις εργασίες αυτές; • Ποια είναι η συσχέτιση των παραδοσιακών μετρικών με τις εναλλακτικές μετρικές; ΣΧΕΤΙΚΑ ΜΕ ΤΗΝ ΕΡΕΥΝΑ
7. • Δείγμα: αφορά εργασίες (paper) και αναρτημένες εργασίες (poster) σε συνέδρια. • Μέγεθος δείγματος: 3.681 εργασίες συνεδρίων ECDL, JCDL, SIGIR και ECIR. • Περίοδος: 2004-2014 • Λήψη δεδομένων: από τη βάση δεδομένων DBLP Paper Poster ΔΕΔΟΜΕΝΑ
8. SIGIR JCDL ECDL ECIR ΣΥΝΕΔΡΙΑ Κοινότητα Ψηφιακών Βιβλιοθηκών ECDL - European Conference on Digital Libraries: το σημαντικότερο ευρωπαϊκό φόρουμ των ψηφιακών βιβλιοθηκών. JCDL - Joint Conference on Digital Libraries: το αμερικάνικο συνέδριο ψηφιακών βιβλιοθηκών που έχουν καθιερώσει οι ACM & IEEE. Κοινότητα Ανάκτησης της Πληροφορίας (IR) SIGIR - Special Interest Group on Information Retrieval: το σημαντικότερο διεθνές φόρουμ για την ανάκτηση πληροφορίας. ECIR - European Conference on Information Retrieval: το ευρωπαϊκό συνέδριο του τομέα της ανάκτησης πληροφορίας.
9. • Αναζήτηση όλων των εργασιών κάθε συνεδρίου κατά την ενδεκαετία 2004 – 2014 μέσω της βάσης βιβλιογραφικών δεδομένων DBLP. • Καταγραφή όλων των στοιχείων των εργασιών (papers) και αναρτημένων εργασιών (posters) που εντοπίστηκαν. • Αναζήτηση των αναφορών των εργασιών αυτών μέσω της βάσης βιβλιογραφικών δεδομένων Scopus και καταγραφή του αριθμού τους. • Αναζήτηση των εναλλακτικών μετρικών στα άρθρα αυτά και καταγραφή τους με το εργαλείο Webometric Analyst 2.0. • Επεξεργασία δεδομένων μέσω χρήσης IBM SPSS Statistics 24 ΜΕΘΟΔΟΛΟΓΙΑ Κοινά μέσα κοινωνικής δικτύωσης Facebook Twitter Ακαδημαϊκά μέσα κοινωνικής δικτύωσης Mendeley Connotea CiteULike Χώροι δημοσίευσης Blogs
10. ύπαρξη αναφορών (%) ύπαρξη εναλλακτικών μετρικών (%) ΠΑΡΑΔΟΣΙΑΚΕΣ & ΕΝΑΛΛΑΚΤΙΚΕΣ ΜΕΤΡΙΚΕΣ
11. ΣΩΜΑ ΕΡΓΑΣΙΩΝ
 ανά τύπο & συνέδριο Συνέδρια Papers n Papers % Posters n Posters % ECDL (599) 228 38,1 371 61,9 JCDL (1133) 464 41,0 669 59,0 SIGIR (1522)* 814 53,5 503 33,0 ECIR (427)** 319 74,7 1 0,2 * Ελλιπή στοιχεία 205 (13,5%) | ** Ελλιπή στοιχεία 107 (25,1%)
12. ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΑΡΑΔΟΣΙΑΚΩΝ ΜΕΤΡΙΚΩΝ 
 ανά συνέδριο Με αναφορές n Με αναφορές % Δίχως αναφορές n Δίχως αναφορές % ECDL (599) 315 52,6 284 47,4 JCDL (1133) 727 64,2 406 35,8 SIGIR (1522) 1519 99,8 3 0,2 ECIR (427) 407 95,3 20 4,7 Σύνολο 2968 80,6 713 19,4
13. ΑΠΟΤΕΛΕΣΜΑΤΑ ΕΝΑΛΛΑΚΤΙΚΩΝ ΜΕΤΡΙΚΩΝ
 ανά συνέδριο Με μετρική n Με μετρική % Δίχως μετρική n Δίχως μετρική % ECDL (599) 103 17,2 496 82,8 JCDL (1133) 79 7,0 1054 93,0 SIGIR (1522) 122 8,0 1400 92,0 ECIR (427) 52 12,2 375 87,8 Σύνολο 356 9,7 3325 90,3
14. ΣΥΣΧΕΤΙΣΕΙΣ
 μετρικών με συνέδρια και τύπο εργασιών Εναλλακτικές μετρικές Συνέδρια Τύπος Pearson Correlation -,050** ,122** Sig. (2-tailed) ,002 ,000 N 3681 3369 **. Correlation is significant at the 0.01 level (2-tailed) Παραδοσιακές μετρικές (αναφορές) Συνέδρια Τύπος Pearson Correlation ,448** ,459** Sig. (2-tailed) ,000 ,000 N 3681 3369 **. Correlation is significant at the 0.01 level (2-tailed)
15. Παραδοσιακές μετρικές (αναφορές) Εναλλακτικές μετρικές Pearson Correlation -0,016 Sig. (2-tailed) ,320 N 3681 ΣΥΣΧΕΤΙΣΕΙΣ
 παραδοσιακών μετρικών με εναλλακτικές μετρικές Ευρημα : Καμία συσχέτιση στη συνύπαρξη εναλλακτικών και παραδοσιακών μετρικών.
16. • Η χρήση μέσων κοινωνικής δικτύωσης ακαδημαϊκού τύπου και εναλλακτικών μετρικών κερδίζει έδαφος για την αποτίμηση της έρευνας και του αντικτύπου της. • Το πεδίο των συνεδρίων δείχνει μεγάλη δραστηριότητα, αλλά στην παρούσα μελέτη έχει ισχνή παρουσία. Έρευνες δείχνουν ότι οι εργασίες με περισσότερες εναλλακτικές μετρικές τείνουν να είναι από άρθρα σε περιοδικά. • Από την παρούσα μελέτη διαπιστώνουμε ότι το πλήθος των αναφορών τροφοδοτεί την εγκυρότητα του συνεδρίου και στηρίζει την υποβολή νέων εργασιών. • Το κριτήριο «τύπος εργασίας» δείχνει παραπλήσια χαρακτηριστικά των συνεδρίων ECDL, JCDL και SIGIR. • Το κριτήριο «αναφορές» υποδεικνύει την υπεροχή του SIGIR τόσο λόγω εγκυρότητας, όσο και λόγω μέσης τιμής στοιχείων. ΣΥΜΠΕΡΑΣΜΑΤΑ
17. • Παρατηρήθηκαν μέτριες τιμές συσχέτισης των παραδοσιακών μετρικών (αναφορών) με τα συνέδρια και τον τύπο εργασιών. Αυτό σημαίνει ότι όλα τα συνέδρια έχουν μια σημαντική απεικόνιση στο πεδίο των αναφορών και αυτό αφορά τόσο τις εργασίες, όσο και τις αναρτημένες εργασίες. • Αντίθετα, δεν παρατηρήθηκαν συσχετίσεις μεταξύ των εναλλακτικών μετρικών και του τύπου εργασιών και των συνεδρίων. Αυτό σημαίνει ότι οι εργασίες των συνεδρίων αυτών, ανεξαρτήτως μορφής, δεν έχουν υψηλές πιθανότητες για τη λήψη εναλλακτικών μετρικών. • Στην παρούσα μελέτη δεν υπάρχει στατιστικά σημαντική συσχέτιση μεταξύ των παραδοσιακών και των εναλλακτικών μετρικών. ΣΥΜΠΕΡΑΣΜΑΤΑ
18. Ευχαριστώ για την προσοχή σας