Automatické generování položek pro počítačové adaptivní testování

Transcript

1. Automatické generování položek pro počítačové adaptivní testování JAKUB MAZANEC
2. Psychologické testy Skládají se z jednotlivých položek, kterých je potřeba velké množství. Klasický způsob tvorby položek – ručně.
3. Nevýhody klasické tvorby ◊ ◊ Zabírá velké množství času ◊ ◊ Část položek musí být v průběhu kalibrace vyřazena kvůli nedostatečným psychometrickým parametrům ◊ ◊ Tvůrci se ne vždy drží daných pokynů a směrnic ◊ ◊ Tvůrci nejsou schopni vymýšlet položky přesahující jejich vlastní schopnosti
4. Co s tím? S pomocí kognitivních teorií, počítačové techniky a psychometriky se lze s těmito problémy vyrovnat. Automatické generování položek (AIG) Proces, kdy je z jediné šablony generováno více kalibrovaných položek.
5. Princip AIG ◊ ◊ Položka je popsána z hlediska manipulovatelných elementů ◊ ◊ Elementy jsou algoritmicky variovány a vygenerují se nové položky ◊ ◊ Parametry položek jsou založeny na kombinaci použitých elementů (díky využití statistických modelů)
6. Výhody AIG ◊ ◊ Šetří čas a zdroje ◊ ◊ Snižuje prozrazování položek ◊ ◊ Zvyšuje validitu testu ◊ ◊ V kombinaci s počítačovým adaptivním testováním (CAT) dovoluje diagnostiku zautomatizovat
7. Automatizovaná diagnostika Funguje pouze s minimálním zapojením administrátora testu. 2 části: ◊ ◊ Přípravná část ≈ AIG ◊ ◊ Operační část ≈ CAT
8. AIG ◊ ◊ Vývoj modelů parametrů položek ◊ ◊ Generování vzorku položek ◊ ◊ Kalibrace rodin položek ◊ ◊ Porovnání modelů a zhodnocení vhodnosti
9. POROVNÁNÍ MODELŮ ZHODNOCENÍ VHODNOSTI KALIBRACE RODIN POLOŽEK GENEROVÁNÍ VZORKU POLOŽEK VÝVOJ MODELŮ PARAMETRŮ POLOŽEK SCHÉMA AIG
10. Vývoj modelů parametrů položek ◊ ◊ Definice měřeného latentního rysu a souvisejícího kognitivního modelu ◊ ◊ Upřesnění formátu položky a popis jejích elementů ◊ ◊ Určit, které elementy položek je třeba z procesu tvorby vyřadit, aby se snížila interference těch kognitivních procesů, které nesouvisejí s měřeným konstruktem
11. Elementy položek 2 skupiny: ◊ ◊ Radikály maximalizují rozptyl obtížnosti položky ◊ ◊ Vedlejší elementy vytvářejí variace položek bez systematického účinku na jejich obtížnost Položky, které se neliší v radikálech, ale pouze ve vedlejších elementech, patří do jedné rodiny položek.
12. Elementy položek, příklad Jirka dostal od maminky k svátku OSM jablek. DVĚ dal mladšímu bratříčkovi a o JEDNO se rozdělil s kamarádem. Kolik celých jablek Jirkovi zbylo?
13. Elementy položek, příklad Jirka dostal od maminky k svátku ŠEDESÁT jablek. DEVATENÁCT dal mladšímu bratříčkovi a o DVAKRÁT TOLIK se rozdělil s kamarádem. Kolik celých jablek Jirkovi zbylo?
14. Elementy položek, příklad PETR dostal OD TATÍNKA k NAROZENINÁM osm HRUŠEK. Dvě dal MLADŠÍ SESTŘIČCE a o jednu se rozdělil se SPOLUŽÁKEM. Kolik celých HRUŠEK PETROVI zbylo?
15. Kalibrace rodin položek ◊ ◊ Vygenerujeme reprezentativní sadu položek ◊ ◊ Získáme odpovědi od respondentů ◊ ◊ Data využijeme ke kalibraci parametrů psychometrických modelů Základ modelů tvoří teorie odpovědi na položku (IRT).
16. IRT 3 předpoklady: ◊ ◊ Jednodimenzionální latentní rys ◊ ◊ Lokální nezávislost položek ◊ ◊ Odpověď na položku lze modelovat pomocí charakteristické funkce položky
17. IRT Charakteristická funkce položky má 3 parametry: ◊ ◊ Obtížnost ◊ ◊ Diskriminační parametr ◊ ◊ Pseudouhádnutelnost
18. PRAVDĚPODOBNOST , ÚROVEŇ LATENTNÍHO RYSU − − − a = a = a = , b = − c = , b = c = b = c = , 3PN IRT MODEL
19. Random item IRT Při použití IRT modelů pro kalibraci položek je parametr osob obvykle pokládán za náhodný, zatímco parametry položek za fixované. Pokud však předpokládáme, že položky jsou generovány jako instance šablony z určité rodiny položek, můžeme jejich parametry rovněž považovat za náhodné proměnné.
20. Linear item cloning model (LICM) Snaží se popsat vliv vytváření instancí z jedné rodiny položek a vysvětlit předpokládaný vliv radikálů na obtížnost položek. ◊ ◊ Radikály determinují průměr obtížnosti rodiny položek ◊ ◊ Vedlejší elementy určují kovarianční matici parametrů rodiny položek
21. RADIKÁLY RODINY POLOŽEK POLOŽKY VEDLEJŠÍ EL. SCHÉMA LICM
22. PRAVDĚPODOBNOST , ÚROVEŇ LATENTNÍHO RYSU − − − b i ~ N( ; , ) c i ~ N( , ; , ) a i ~ N( ; , ) LICM
23. Využití položek 3 možnosti, jak sestavovat konkrétní test: ◊ ◊ Používat předem vygenerované a kalibrované položky ◊ ◊ Generovat položky z předem kalibrovaných rodin ◊ ◊ Generovat položky pouze za využití radikálů Design kalibrace nutno navrhnout optimálně, aby byly potřebné co nejmenší zdroje, a zároveň byly odhady parametrů co nejpřesnější.
24. Plán projektu ◊ ◊ Simulační studie LICM ◊ ◊ Možné rozšíření LICM (např. pro detekci DIF) ◊ ◊ Implementace testovacího softwaru ◊ ◊ Návrh a ověření AIG v praktickém použití
25. Simulační studie ◊ ◊ Jak ovlivňuje přesnost kalibrace počet respondentů, rodin a velikost vzorku položek z každé rodiny? Je lepší generovat jako vzorek více položek z jedné rodiny a snížit počet respondentů na položku, nebo naopak? ◊ ◊ Jak ovlivňuje odhad radikálů jejich zastoupení v jednotlivých rodinách položek? ◊ ◊ Jaký je vliv variability parametrů rodin položek a přesnosti jejich odhadu na odhad úrovně latentního rysu?
26. Bibliografie Haladyna, T. M. (2013). Automatic Item Generation: Theory and Practice. New York: Taylor & Francis. Geerlings, H., Glas, C. A., & van der Linden, W. J. (2011). Modeling rule- based item generation. Psychometrika, 76(2), 337–359. De Boeck, P. (2008). Random item IRT models. Psychometrika, 73(4), 533–559.