Itemsampling und Geschlechtsunterschiede in gc

DGPs 2016: Der Einfluss von Itemsampling auf Geschlechtsunterschiede im deklarativen Wissen

Transcript

1. Der Einfluss von Itemsampling auf Geschlechtsunterschiede im deklarativen Wissen Ulrich Schroeders1, Oliver Wilhelm2 und Gabriel Olaru2 50. Kongress der Deutschen Gesellschaft für Psychologie Leipzig, 18.‐22. September 2016 1 Institut für Erziehungswissenschaften, Universität Bamberg 2 Institut für Psychologie und Pädagogik, Universität Ulm
2. Geschlechtsunterschiede im deklarativen Wissen 2
3. Deklaratives Wissen – Beispiele 3 Welche der folgenden Angaben spiegelt die Verteilung von Meer und Festland auf der Erde am besten wider? a) 94% Meer, 6% Festland b) 71% Meer, 29% Festland c) 55% Meer, 45% Festland d) 27% Meer, 73% Festland GEOGRAPHIE Was ist der „Louvre“ in Paris? a) ein Restaurant b) eine Oper c) ein Kunstmuseum d) eine Kirche KUNST
4. Deklaratives Wissen – Beispiele 4 Welche der folgenden Angaben spiegelt die Verteilung von Meer und Festland auf der Erde am besten wider? a) 94% Meer, 6% Festland b) 71% Meer, 29% Festland M 70% W 60% c) 55% Meer, 45% Festland d) 27% Meer, 73% Festland GEOGRAPHIE Was ist der „Louvre“ in Paris? a) ein Restaurant b) eine Oper c) ein Kunstmuseum M 56% W 59% d) eine Kirche KUNST
5. Empirische Belege für Geschlechtsunterschiede 5 Study n Participants Nation Knowledge Measure Cohen’s d Ackerman, Bowen, Beier, & Kanfer (2001) 320 Freshmen 17‐20 years USA 19 knowledge tests (e.g., Physics, Art, U.S. Literature) 0.39 Beier & Ackerman (2003) 345 19‐70 years USA 10 health‐related knowledge tests (e.g. aging, bones, nutrition) ‒0.56 Camarata & Woodcock (2006) 10,465 5‐79 years, USA Academic Knowledge Gc (science, social studies, and humanities), WJ‐77, WJ‐R, WJ III 0.21 Engelberg (2015) 247 Grade 11 and 12, Gymnasium Germany 11 knowledge tests with an intended oversampling of domains with a female advantage (e.g., biology, nutrition, pedagogics) 0.08 Furnham 430 17‐43 years, univ. studendts UK General Knowledge Test, six broad domains (e.g., literature, general science, fashion) 0.24 Hossiep & Schulte (2007) 2,415 14‐78 years, mainly graduates Germany BOWIT, 11 knowledge tests (e.g., arts/architecture, biology/chemistry) 1.03 Keith, Reynolds, Patel, & Ridley (2007) 6,156 6‐59 years USA Academic knowledge (General information, science/ geography/ cultural information), WJ III Cog 0.18 Liepmann, Beauducel, Brocke, & Amthauer (2007) 661 15‐60 years, mostly graduates Germany Knowledge test with six different domains (i.e., geography/ history, economics, science, mathematics, arts, and daily life), IST 2000‐R 0.36 Lynn, Irwing, & Cammock (2001) 635 undergraduates 11‐48 years UK General Knowledge Test (GKT) (e.g., Politics, Geography, Medicine, Arts, History of Science) 0.32 Lynn, Wilberg, & Margraf‐ Stiksrud (2004) 302 Grade 12 Germany General Knowledge Test (GKT) (e.g., Sport, Politics, Medicine, Film) 0.30 Steinmayr, Bergold, Margraf‐Stiksrud, & Freund (2015) 977 Grade 11 and 12 16‐18 years "Gymnasium" Germany knowledge test (e.g., geography/ history, business, science, mathematics, arts, and daily life); IST 2000‐R 0.50 Wilhelm, Schroeders & Schipolowski (2014) 4,213 Grade 8‐10 13‐18 years Germany 16 knowledge tests (science, humanities, social studies), BEFKI 8‐10 0.04
6. Geschlechtsunterschiede – domänspezifisch 6 • Frauenvorteil bei gesundheitsbezogenen Wissensfragen (Beier & Ackerman, 2003)
7. Gründe für Geschlechtsunterschieden 1. Test bias Test scores hängen nicht ausschließlich von der Fähigkeit ab, sondern auch von der Gruppenzugehörigkeit 2. Wahrer Unterschied Inhaltlicher Unterschied zwischen den Gruppen. U.U. werden die wahren Ursachen von den Geschlechtsgruppen "überlagert" 7 A – Unterschiedliche slopes/Faktorladungen B – Unterschiedliche intercepts A θ Υ λfemale λmale θ τfemale τmale Υ B
8. Generalisierbarkeit Meta‐Analyse Aggregiert Befunde über verschiedene Personen und Messinstrumente Generalizability theory Generalisiert Befunde über Personen, Messinstrumente und Zeitpunkte, also Generalisierung eines Messinstruments möglich, und zwar bei unterschiedlichen Personen und/oder Messzeitpunkten Item sampling approach Generalisiert Befunde über verschiedene Itemsamples ein‐ und desselben Messinstruments, Annahme des Itemuniversums 8 Zeit Items Personen
9. Schwarmintelligenz • Kollektive Intelligenz oder Schwarmintelligenz als emergentes Phänomen • Kommunikation und Handlungen einzelner Individuen können intelligente Verhaltensweisen des betreffenden "Superorganismus" bedingen. • "Klassisches Beispiel ist der Ameisenstaat. Eine einzelne Ameise hat ein sehr begrenztes, aber auch sehr funktionelles Verhaltens‐ und Reaktionsrepertoire. Im selbstorganisierenden Zusammenspiel ergeben sich jedoch Verhaltensmuster, Abläufe und Resultate, die aus menschlicher Sicht „intelligent“ genannt werden können. Bestimmte Aspekte der „Intelligenz“ (besser „Funktionalität“) einer solchen Ameisenkolonie – zum Beispiel Abläufe der Nahrungssuche – können in Regeln erfasst und mit Computerprogrammen simuliert werden." wikipedia 9
10. Ant Colony Optimization (ACO) • Geht auf Beobachtungen und math. Beschreibung der Argentinischen Ameise zurück (Deneubourgh et al., Goss et al.) 10
11. Ant Colony Optimization (ACO) Optimierungsaufgabe Suche das Model mit 5 aus 8 Items, das den besten CFI aufweist. X1 X2 X3 X4 X5 X6 X7 X8 Pheromone 1 1 1 1 1 1 1 1 1. Virtuelle Ameisen (= 5‐Item‐Modelle) werden losgeschickt. 2. Ergebnisse werden verglichen und Pheromone für „beste“ Items erhöht. X1 X2 X3 X4 X5 X6 X7 X8 Pheromone 2 2 1 1 2 2 1 2 11 X1 X2 X3 X4 X5 X6 X7 X8 CFI Ant 1 X X 0 0 X X 0 X .956 Ant 2 0 X X X 0 0 X X .934 Ant 3 X 0 X X X 0 0 X .948
13. Vorteile von ACO 1. Optimierung kann hinsichtlich verschiedener Kriterien simultan erfolgen (bspw. model fit und Reliabilität) 2. Methode ist flexibel und frei von Vorannahmen, kann bspw. sowohl im IRT als auch CFA Kontext verwendet werden 3. Anzahl der Items pro Faktor kann a priori festgesetzt werden, um die inhaltliche Aufteilung der Faktoren beizubehalten 4. Es kann die zu interessierende Größe direkt zur Evaluation verwendet werden 5. Iterativer Prozess, effektiver als die vollständige Lösung 13
14. Wieso Optimierung? 4 aus 8: 70 10 aus 20: 184.756 20 aus 40: 137.846.528.820 32 aus 64: 1.832.624.140.942.592.256
15. Methodisches Vorgehen • Ziehen vieler Itemsamples aus der Itemgesamtheit • CFA‐Modelle zur Bestimmung latenter Mittelwertsunterschiede • Das Itemsampling, das Zielvorgabe erreicht (bspw. Minimieren von Mittelswertsunterschieden), wird in der nächsten Iteration bevorzugt • Iterativer Prozess bis stabile Lösung erreicht wurde 15
16. Forschungsfragen 1. Inwieweit lassen sich etwaige Geschlechtsunterschiede zu Gunsten von Frauen einerseits oder zu Gunsten von Männern andererseits maximieren? Wie stark sind die Effekte abhängig von der Itemanzahl, also der Stärke der Selektion? 2. Unterscheiden sich die Ergebnisse in Abhängigkeit der Itemselektionsstrategie: a) ACO b) Stepwise COnfirmatory Analysis (SCOFA) 3. Welche Auswirkung hat die Testverkürzung auf a) Model fit b) Reliabilität/Faktorsaturation? 16
17. Methode • Design und Stichprobe – Datenerhebung im Rahmen der Normierungsstudien des BEFKI (2012/13) – Berlin Test of Fluid and Crystallized Intelligence (BEFKI) – 4213 Schülerinnen und Schüler, die gc Teil bearbeitet haben • Messinstrument – 64 MC‐Items 17 Naturwissenschaften Geisteswissenschaften Sozialwissenschaften Physik Literatur Geschichte Chemie Kunst Recht Biologie Musik Politik Medizin Religion Wirtschaft Geografie Philosophie Finanzen Technologie
18. Ergebnisse: Geschlechtsunterschiede 18
19. Ergebnisse: Model fit 19
20. Ergebnisse: Reliabilität 20
21. Zusammenfassung (1) • Große Unterschiede in wahren Geschlechtsunterschieden (kein methodisches Artefakt), was auch die Literaturbefunde relativiert • In welchem Ausmaß und nach welcher Logik fand eine Itemselektion für die finale Testform statt? Insbesondere in Hinblick auf die Zusammensetzung der einzelnen Domänen (Geistes‐ vs. Naturwissenschaften) • Schon Jane Loevinger (1965, p. 147) weist darauf hin, dass die Annahme zufälliger Itemauswahl unrealistisch ist: 21 "Test development is “almost invariably expert selection rather than random sampling. […] The term population implies that in principle one can catalog or display, or index all possible members even though the population is infinite and the catalogue cannot be completed.”
22. Zusammenfassung (2) • Item sampling Ansatz gibt die Möglichkeit innerhalb eines Messinstruments die Schwankungsbreite der Effekte zu demonstrieren • ACO kann eingesetzt werden, um psychologische Messinstrumente zu optimieren oder zu "verzerren" • Lässt sich auch auf andere Gruppenunterschiede erweitern (Ethnizität) 22
23. Ulrich Schroeders telefon +49 [0]951 863‐2467 email ulrich.schroeders@uni‐bamberg.de Internet http://www.uni‐bamberg.de/ebf‐jp/ Adresse Juniorprof. für Emp. Bildungsforschung 96045 Bamberg Vielen Dank für Ihre Aufmerksamkeit Reference. Schroeders, U., Wilhelm, O., & Olaru, G. (2016). The influence of item sampling on sex differences in knowledge tests. Intelligence, 58(3), 22–32. http://doi.org/10.1016/j.intell.2016.06.003