DiLEO presentation (greek)

Evaluation is a very vital research interest in the digital library domain. This has been exhibited by the growth of the literature in the main conferences and journal papers. However it is very difficult for one to navigate in this extended corpus. For these reasons the DiLEO ontology has been developed in order to assist the exploration of important concepts and the discovery of trends in the evaluation of digital libraries. DiLEO is a domain ontology, which aims to conceptualize the DL evaluation domain by correlating its key entities and provide reasoning paths that support the design of evaluation experiments.

Transcript

1. DiLEO μια οντολογία πεδίου για την αξιολόγηση των ψηφιακών βιβλιοθηκών dbis/dlib/ionio
2. 2 δομή - Εισαγωγή - Περί αξιολόγησης ψηφιακών βιβλιοθηκών - Μοντελοποίηση της αξιολόγησης ψηφιακών βιβλιοθηκών - Μια οντολογική αναπαράσταση της αξιολόγησης των ψηφιακών βιβλιοθηκών - Οντολογίες - Παρουσίαση του DiLEO
3. εν συντομία - Μια οντολογία - Για τη σύγκριση στιγμιοτύπων - Για την υποστήριξη του σχεδιασμού των αξιολογήσεων 3
4. κίνητρο - Η δημιουργία ενός σχήματος καταγραφής και σύγκρισης στιγμιοτύπων αξιολογήσεων. - Απώτερος στόχος είναι η κάλυψη της ασυμφωνίας μοντέλων αξιολόγησης μέσα από ένα δομημένο και τυπικό μετά-μοντέλο. “the lack of globally accepted abstract evaluation models and methodologies can be counterbalanced by collecting, publishing and analyzing current research activities” [Führ et al., 2007] - Ταυτόχρονα ένα εργαλείο σχεδιασμού αξιολογήσεων. “Every evaluation should begin with a well-crafted plan. Writing an evaluation plan is not just common sense. It is an essential roadmap to successful evaluation!” [Reeves et a., 2003]. 4
5. περί αξιολόγησης ψηφιακών βιβλιοθηκών μέρος ά
6. μοντελοποίηση αξιολόγησης - Δεν αναφερόμαστε σε μοντέλα αξιολόγησης ψηφιακών βιβλιοθηκών, αλλά στην προτυποποίηση της ίδιας της διαδικασίας. - Αναφορά σε πέντε κύριες προσπάθειες: - Στην ταξινόμηση του Saracevic [2004] - Στο Evaluation Computer [Kovacs & Micsik, 2004] - Στο πλαίσιο PRET A Rapporter [Blandford et al., 2007] - Στο μοντέλο 5SQual [Goncalves et al., 2007] - Στο πλαίσιο Zachman 6
7. η ταξινόμηση του Saracevic - Μια ταξινόμηση μελετών αξιολόγησης σύμφωνα με: - το ποιά στοιχεία αξιολογήθηκαν (Constructs) - το πλαίσιο της αξιολόγησης (Context) - τα κριτήρια που χρησιμοποιήθηκαν (Criteria) - τη μεθοδολογία που ακολουθήθηκε (Methodology) 7
8. η ταξινόμηση του Saracevic - Διαχώρισε τις μελέτες αξιολόγησης σε αυτές που προτείνουν μοντέλα αξιολόγησης και σε αυτές που αναφέρουν αποτελέσματα μελετών αξιολόγησης. - Ο Saracevic διαμόρφωσε μια έννοια (Context) για να συμπυκνώσει όλες τις υψηλόβαθμες ερωτήσεις, όπως γιατί αξιολογεί κάποιος, ποιός είναι στόχος του κλπ. - Ταυτόχρονα αφιέρωσε μια κατηγορία για να κατατάξει τις μελέτες σύμφωνα με το τί αξιολόγηθηκε (Constructs) και δύο κατηγορίες (Criteria, Methodology) για να κατάταξει τις μελέτες σύμφωνα με το πως αυτές διεξάγονται. 8
9. the evaluation computer - Μια φασετική ταξινόμηση διαφορετικών οπτικών, οι οποίες συνθέτουν μια πραγμάτωση μιας αξιολόγησης ή ένα ‘evaluation atom’. - Μέτρηση της απόστασης μεταξύ δύο ατόμων μέσα σε έναν χώρο. 9
10. the evaluation computer - Πέντε φασέτες: - Σύστημα - Περιεχόμενο - Οργανισμός - Χρήστης - Αξιολόγηση 10
11. PRET A Rapporter - Ένα πλαίσιο αξιολόγησης το οποίο δίνει έμφαση στo περιβάλλον εργασίας στο οποίο συντελείται. - Σύμφωνα με τους συγγραφείς έχει χαρακτηριστικά που βοηθούν την σχεδίαση μιας αξιολόγησης. - Δομεί τις αξιολογήσεις σύμφωνα με: - τον σκοπό της αξιολόγησης - τις πηγές και τους περιορισμοί - τα ηθικά ζητήματα - τη συλλογή δεδομένων - την ανάλυση δεδομένων - την αναφορά δεδομένων 11
12. PRET A Rapporter - To PRET A Rapporter κινείται περιπτωσιολογικά. Πρακτικά αυτό σημαίνει ότι εστιάζει σε συγκεκριμένες διαστάσεις σε κάθε μια από τις τρεις μελέτες που - ενδεικτικά - παρουσιάζει. - μια σχηματική αξιολόγηση ενός συστήματος - μια συγκριτική αξιολόγηση δύο διεπαφών της ίδιας βάσης - μια ποιοτική μελέτη ενός συστήματος σε χρήση 12
13. 5SQual - Στηρίζεται στο πολυ γνωστό πλαίσιο περιγραφής των ψηφιακών βιβλιοθηκών 5S (Streams, Structures, Spaces, Scenarios, & Societies). - Το μοντέλο ορίζει κάποιες διαστάσεις (κριτήρια) που αντιστοιχούνται σε συστατικά στοιχεία των ψηφιακών βιβλιοθηκών. - Οι συγγραφείς παραθέτουν μια σειρά από μελέτες, παραδείγματα χρήσης όπως λένε χαρακτηριστικά, όπου γίνεται εφαρμογή αυτών των κριτηρίων σε ψηφιακές βιβλιοθήκες, όπως ACM DL, CITIDEL και NDLTD. 13
14. 14 Έννοια ΨΒ Διάσταση ποιότητας Έννοιες του 5S Digital object Accessibility Societies (actor), Structures (metadata specification), Streams + Structures (structured streams) Pertinence Societies (actor), Scenarios (task) Preservability Streams, Structures (structural metadata), Scenarios (process (e.g., migration) Relevance Streams + Structures (structured streams), Structures (query), Spaces (Metric, Similarity Same as in relevance, Structures (citation/link patterns) Significance Structures (citation/link patterns) Timeliness Streams (time), Structures (citation/link patterns) Metadata specification Accuracy Structure (properties, values) Completeness Structure (properties, schema) Conformance Structure (properties, schema) Collection Completeness Structure (collection) Catalog Completeness Structure (collection) Consistency Structure (collection) Repository Completeness Structure (collection) Consistency Structure (catalog, collection) Services Composability See Extensibility, reusability Efficiency Streams (time), Spaces (operations, contraints) Effectiveness See Pertinence, Relevance Extensibility Societies + Scenarios (extends, inherits_from, redefines) Reusability Societies + Scenarios (includes, reuses) Reliability Societies + Scenarios (uses, executes, invokes)
15. το πλαίσιο του Zachman - Το Zachman Framework είναι ένα πλαίσιο εταιρικής αρχιτεκτονικής - John Zachman, IBM, αρχές του 1980. - Αποτυπώνει μια τυπική και σε υψηλό επίπεδο δομημένη οπτική ενός οργανισμού. Μια ταξονομία για την οργάνωση δομικών στοιχείων του οργανισμού υπό το πρίσμα συγκεκριμένων οπτικών. - Κατηγοριοποιεί και οργανώνει σε μια δυσδιάστατη περιοχή όλες τις έννοιες που χρειάζονται να είναι ομογενοποιημένες και εκφράζουν τις διάφορες προοπτικές του σχεδιασμού. - Σύμφωνα με τους συμμετέχοντες (εναλλακτικές προοπτικές). - Σύμφωνα με τις λειτουργίες (ερωτήσεις). 15
16. 16 What Data How Process Where Location Who Worker When Timing Why Motivation Scope [Planner] Core Business Concepts Major Business Transformations Business Locations Principal Actors Business Events Mission & Goals Business Model [Owner] Fact Model Tasks Business Connectivity Map Workflow Models Business Milestones Policy Charter System Model [Evaluator] Data Model Behavior Allocation Platform & Communications Map BRScripts State Transition Diagrams Rule Book Technology Model [Evaluator] Relational Database Design Program Specifications Technical Plat- form & Commu- nications Design Procedure & Interface Specifications Work Queue & Scheduling Designs Rule Specifications Detail representation [Evaluator] Database Schema Source Code Network Procedures & Interfaces Work Queues & Schedules Rule Base Functioning Bus [Evaluator] Operational Database Operational Object Cod Operational Network Operational Procedures & Interfaces Operational Work Queues & Schedules Operational Rules ο πίνακας του Zachman
17. μια οντολογική αναπαράσταση της αξιολόγησης των ψηφιακών βιβλιοθηκών μέρος β’
18. γιατί μια οντολογία; - Τυπικα μοντέλα που μας βοηθούν: - να καταλάβουμε ένα πεδίο γνώσης. Στη συγκεκριμένη περίπτωση το πεδίο αξιολόγησης ψηφιακών βιβλιοθηκών. - να οικοδομηθεί μια βάση γνώσης για την αντιπαράθεση διαφορετικών στιγμιοτύπων. Στη συγκεκριμένη περίπτωση στιγμιότυπα αξιολόγησης των ψηφιακών βιβλιοθηκών. - να συμπεράνουμε κάποια λογική εξέλιξη. Στη συγκεκριμένη περίπτωση να υποστηρίξουν τον σχεδιασμό αξιολογήσεων. 18
19. γιατί μια οντολογία; - Τα προηγούμενα σχήματα τοποθετούνται “κάθετα” σε συγκεκριμένους χώρους, π.χ. το PRET A Rapporter έχει μια HCI οπτική ή το 5SQual εξετάζει τη διάσταση της ποιότητας. - Δηλώνουν έννοιες (συστατικά), είτε των ψηφιακών βιβλιοθηκών, είτε της αξιολόγησης, αλλά όχι τις μεταξύ τους συσχετίσεις. - Στόχος είναι μέσω των συσχετίσεων να αναδειχθούν οι σύνδεσμοι μεταξύ των εννοιών και να ενισχυθούν αυτές σημασιολογικά. - Επίσης είναι δυνατό να εκφραστούν μονοπάτια, τα οποία αναδεικνύουν εναλλακτικές ή συμπληρωματικές έννοιες και διαδρομές. 19
20. οντολογίες - Χρησιμοποιούμε “συστατικά” όπως: - Κλάσεις (αντιπροσωπεύουν έννοιες, οντότητες, κλπ.) - Συσχετίσεις (σύνδεσμοι μεταξύ των εννοιών) - Συναρτήσεις (περιορισμοί συσχετίσεων) - Αξιώματα (αναπαράσταση αληθινών προτάσεων) - Στιγμιότυπα (πραγματικά στοιχεία - αντιπρόσωποι κλάσεων) 20
21. διαδικασία σύνταξης - Η DiLEO είναι αποτέλεσμα κάποιων διαδικασιών: - Βιβλιογραφική μελέτη και επισκόπηση - με επιλογή των κατάλληλων εννοιών - με συνεχή εξερεύνηση των κατάλληλων συσχετίσεων - Καταγραφή της σε γλώσσα OWL - Πιστοποίηση - μέσα από τη συζήτηση και την άσκηση στα πλαίσια του tutorial στο ECDL 2010 - μέσα από μια συζήτηση εστίασης (focus group) με ερευνητές του πεδίου μας 21
22. μια τυπική απεικόνιση της αξιολόγησης - Ανάπτυξη σε OWL με το Protégé Ontology Editor - http://protege.stanford.edu/ 22
23. το ανώτερο επίπεδο Dimensions effectiveness, performance measurement, service quality, technical excellence, outcomes assessment Subjects Objects Characteristics Levels content level, processing level, engineering level, interface level, individual level, institutional level, social level Goals describe, document, design Research uestions Dimensions Type formative, summative, iterative hasDiminsionsType isAffecting / isAffectedBy isCharacterizing/ isCharacterizedBy isFocusingOn isAimingAt isOperatedBy isOperating isDecomposedTo 23 isCharacterizing/ isCharacterizedBy
24. το κατώτερο επίπεδο Activity record, measure, analyze, compare, interpret, report, recommend Means Comparison studies, expert studies, laboratory studies, field studies, logging studies, surveys Factors cost, inastructure, personnel, time Means Types qualitative, quantitative Instruments devices, scales, soware, statistics, narrative items, research artifacts Findings Criteria specific aims, standards, toolkits Metrics content initiated, system initiated, user initiated Criteria Categories isSupporting/isSupportedBy hasPerformed/isPerformedIn hasSelected/isSelectedIn hasMeansType isMeasuredBy/isMeasuring isUsedIn/isUsing isGrouped/isGrouping isSubjectTo isDependingOn isReportedIn/isReporting 24
25. σύνδεση μεταξύ των επιπέδων Dimensions effectiveness, performance measurement, service quality, technical excellence, outcomes assessment Subjects Levels content level, processing level, engineering level, interface level, individual level, institutional level, social level Research uestions Activity record, measure, analyze, compare, interpret, report, recommend Means Comparison studies, expert studies, laboratory studies, field studies, logging studies, surveys Findings Objects Metrics content initiated, system initiated, user initiated isAddressing isAppliedTo hasConstituent /isConstituting hasInitiatedFrom 25
26. Συσχέτιση Πεδίο ορισμού Πεδίο τιμών isCitedIn / inverse: isCiting Appellations/study identifier (AP/stid) Appellations/study reference (AP/strf) Constraints: max cardinality=1 Constraints: max cardinality=1 Constraints: max cardinality=1 hasDimensionsType Dimensions (D) Dimensions Type (DT) Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative) Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative) Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative) isAffecting inverse: isAffectedBy Dimensions (D) Level (L) min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level) min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level) min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level) hasConstituent / inverse: isConstituting Dimensions (D) Activities (A) Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend) Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend) Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend) isSupporting / inverse: isSupportedBy Instruments (I) Activities (A) Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend) Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend) Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend) συσχετίσεις - Μερικές από τις σαράντα (40) συσχετίσεις 26
27. χρήση της οντολογίας - χρησιμοποιούμε “μονοπάτια” της οντολογία για να εκφράσουμε ρητώς μια ροή ή μια απαίτηση. Για παράδειγμα: - Activities/analyze - isPerformedIn - Means/logging studies- hasMeansType - Means Type/quantitative 27 Activity record, measure, analyze, compare, interpret, report, recommend Means Comparison studies, expert studies, laboratory studies, eld studies, logging studies, surveys Means Types qualitative, quantitative isPerformedIn hasMeansType
28. χρήση της οντολογίας - Level/individual level - isAffectedBy - Dimensions/performance measurement - isFocusingOn - Objects/usage of content/usage of data - isOperatedBy - Subjects/human agents - isCharacterizedby - Characteristics/experience - ... isCharacterizedby - Characteristics/discipline - ... isCharacterizedby - Characteristics/age 28 Dimensions effectiveness, performance measurement, service quality, technical excellence, outcomes assessment Subjects system agents, human agents Objects usage of content: usage of data, usage of metadata Characteristics age, count, discipline, experience, profession, Levels content level, processing level, engineering level, interface level, individual level, institutional level, social level isAffectedBy isFocusingOn isOperatedBy isCharacterizedby
29. στιγμιότυπα - Εισαγωγή στιγμιοτύπων στο Protégé. 29
30. παραδείγματα ερωτήσεων - Ρωτάμε τη βάση γνώσης με SPARQL ερωτήματα - Ας υποθέσουμε ότι θέλουμε να σχεδιάσουμε μια αξιολόγηση με μελέτη αρχείων καταγραφής (logs). - Κατά τον σχεδιασμό της αξιολόγησης μας ενδιαφερόμαστε να μάθουμε τα ερευνητικά ερωτήματα των αντίστοιχών μελετών. - Για να αντλήσουμε αυτή την πληροφορία από τη βάση γνώσης θα χρειαστεί να συντάξουμε ένα SPARQL ερώτημα. 30
31. SPARQL ερώτημα SELECT DISTINCT ?Research_QuestionsInst ?Means WHERE { ?Research_QuestionsInst a<Research_Questions>. ?Dimensions a<Technical_Excellence>. ?Activity a <Record>. ?Means a <Logs>. ?Research_QuestionsInst<isBelongingTo> ?Dimensions. ?Dimensions<hasConstituent> ?Activity. ?Activity<isPerformedIn> ?Means } παραδείγματα ερωτήσεων - Το ερώτημα και οι απαντήσεις θα έχουν αυτή τη μορφή: 31 απαντήσεις τα ερευνητικά ερωτήματα (στην πρώτη στήλη) από δύο μελέτες (wm2008c και nzdl2000) που έκαναν χρήση αρχείων καταγραφής (στη δεύτερη στήλη),
32. πηγές - Η βιβλιογραφία βρίσκεται διαθέσιμη στο: http://www.mendeley.com/groups/731821/dileo/ 32