Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Admire IRT Model's Fomula
Search
tetsuroito
April 19, 2019
Research
1
800
Admire IRT Model's Fomula
Classiのチームの勉強会で発表した資料です
tetsuroito
April 19, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.7k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
780
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
580
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.5k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
4.6k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
110
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.4k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
tetsuroito
0
1.8k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.2k
Other Decks in Research
See All in Research
129 2 th
0325
0
240
第79回 産総研人工知能セミナー 発表資料
agiats
2
170
The Fellowship of Trust in AI
tomzimmermann
0
150
ダイナミックプライシング とその実例
skmr2348
3
440
MetricSifter:クラウドアプリケーションにおける故障箇所特定の効率化のための多変量時系列データの特徴量削減 / FIT 2024
yuukit
2
130
20240918 交通くまもとーく 未来の鉄道網編(こねくま)
trafficbrain
0
310
機械学習による言語パフォーマンスの評価
langstat
6
760
[依頼講演] 適応的実験計画法に基づく効率的無線システム設計
k_sato
0
150
渋谷Well-beingアンケート調査結果
shibuyasmartcityassociation
0
290
言語と数理の交差点:テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
yukiar
3
850
クラウドソーシングによる学習データ作成と品質管理(セキュリティキャンプ2024全国大会D2講義資料)
takumi1001
0
310
非ガウス性と非線形性に基づく統計的因果探索
sshimizu2006
0
400
Featured
See All Featured
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
1
230
How to Ace a Technical Interview
jacobian
276
23k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
Faster Mobile Websites
deanohume
305
30k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
400
Thoughts on Productivity
jonyablonski
67
4.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
770
Adopting Sorbet at Scale
ufuk
73
9.1k
Scaling GitHub
holman
458
140k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Transcript
IRTの数式を愛でる会 2019/04/19 データAI部 てつろう
はじめに みなさんは「テスト」がなぜあるのか考えたことありますか?
テストが果たす意味 そうです。テストは学習成果を測定したいために実施されます 素点の点数により、習 熟度を評価
• 点数 素点 : あるテストにおける達成度合い • 平均点: あるテストにおける平均水準 • 順位
ランキング : あるテストにおける順位 • 偏差値 :あるテストにおける分布の相対尺度 テストで測定できる指標 偏差値の求め方 素点を に従うように標準化処理をしているだけ!
ちょっとまって テストで測りたいのは学習成果なのに、テストの制約条件が存在
古典的テスト理論(Classical Test Theory)が登場! 古典的テスト理論とは - テストやテストの得点を科学的対象として扱う学問分野 - テストの性質やテストを受けた受験者の状態がわかる テストの標準化
テストの標準化とは - テストの尺度化:テスト品質を評価し能力測定の物差しをつくる - テストの等化:テストの品質を複数のテスト間で統一する
古典的テスト理論(CTT)で抑えておきたいポイント • 各項目の統計学的特徴 • 解答率 • 正答率 • 項目テスト相関
• 項目リメインダ相関 • テスト全体の信頼性係数
項目反応ってなに 項目反応は各テストの回答の有無と正答の有無のこと 人が 項目からなるテストを受けたとき、受験者 が項目 に回答したかを 回答 観測 欠測 :
= また 、受験者 の項目 に対する項目反応を 正答 誤答 : = とする
解答率と正答率 解答率は受験者が提示された項目に解答を起こした割合 項目 の解答率 ≦ ≦ 正答率は項目を提示されたもののうち、正答した率 通過率ともいう 項目 の正答率
≦ ≦
項目テスト相関と項目リメインダ相関 項目テスト相関→項目得点と和得点 のピアソンの積率相関係数 ≦ ≦ 相関係数が に近い → 当該項目で正答した人ほど和得点が高い
相関係数が に近い → 当該項目で正答した人ほど和得点が低い 後者の場合、項目としては不適切であると判断する 項目リメインダ相関は和得点から当該項目を除外した時の相関
信頼性係数 古典的テスト理論における最大の貢献 - テストは再現性が低い - 信頼性係数はテストの再現性を評価する指標 基本的な考え - 観測された得点は真値と誤差に分解できる -
:測定値、 :真値、 :誤差とすると、 - この式の分散は 信頼性係数の定義 全体の得点の分散に占める真値の分散割合
もっともポピュラーな信頼性係数 クロンバックのα係数 基本的な考え - 弱平行測定 項目測定力が等しい仮定 に従っている場合 - 各項目は能力に対して等しく
の測定力を持つとする 定義式
古典的テスト理論での受験者能力の考え方 基本的な考え - 和得点で評価する 弱平行性の仮定があるため - つまり作問が完璧に機能する前提 近年では計算力向上やeテスティング普及等で利用されなくなった この後に継承していくもの
- テストの信頼性の考え方 - テストの品質管理
古典テスト理論を計算してみるの巻 サンプルのテストデータを準備します 人 問題 項目反応データ
古典テスト理論を計算してみるの巻 テストデータだけあってまあまあやん
台頭してくるIRT 項目反応(応答)理論:IRT Item Response Theory
古典的テスト理論の限界と項目反応理論のメリット 古典的テスト理論の限界 - 項目分析、標準化からの知見が被験者の特性の分布に依存してしまう - 項目分析、標準化からの知見がテストそのものに依存してしまう 項目反応理論のメリット - 複数のテスト間の結果の比較が容易
- 測定精度をきめ細かく確認できる - 平均点をテスト実施前に制御できる - テスト得点の対応表が作成できる - 受験者ごとに最適な問題を瞬時に選び、出題できること 受験者集団に依存しない特性θを導入! この能力値パラメータθににより全てが動き出す
古典的テスト理論の限界と項目反応理論のメリット θ:それは奥ゆかしきパラメータ 人の能力を観測することはできないので、潜在因子推定 具体的な関数系を一意にできないため標準正規分布の密度関数の累積分布関数を 利用 * f(θ)はθに関する単調増加関数 これで項目特性曲線 が描ける!
ここから 母数正規累積モデルへ!
母数警察が出動します! ちょっとすみません〜 あなたの使っているその母数正しいものでしょうか? 最近、母集団や分母に対する誤用だ!誤用だ! が多いので、確認ですよ〜 θ:それは奥ゆかしきパラメータ こいつは母数で間違いありません!!
でもね、奥ゆかしさ故に2母数正規累積モデルは計算できないのです θ:それは奥ゆかしきパラメータ 途中計算に積分計算が存在するので、近似解としてロジスティックモデルを利用 ナイスなロジスティック回帰だね〜
では、たくさんのIRTモデルの数式を愛でましょう 母数ロジスティックモデル 母数ロジスティックモデル 母数〃 母数〃 項目 の識別度 項目 の困難度
項目 の当て推量 下方漸近線 上方漸近線
IRTの3PLを計算してみる
IRTのテスト精度の測り方 その前に最尤推定の性質から - 標本分布はnが大きくなるにしたがって正規分布に近づく(漸近正規性) - ヒストグラムの平均がnの増大に伴って限りなく真値(θ_i)に近づく - ヒストグラムの分散はnが大きくなるにしたがって、1/I(θ_i)に近く こいつはフィッシャー情報量 テスト情報量
インバースをとると、誤差分散 IRTの信頼性係数
項目プール(項目バンク) を用いると享受できるメリット - 尺度θが求まり、異なる項目のテスト結果の比較が可能になる - 測定精度が求まるので、受験者のレベルや目的に合わせて設計できる - 任意の集団に対して信頼性係数を推定できる - テスト実施前に予測結果を推定できる
必要な要素 項目プール(項目バンク) 項目母数が推定された項目の集まり - 単一グループ計画:同一の被験者集団で複数の異なるテストを実施 - 等質グループ計画:被験者の特性値の母数分布が近似できる集団で実施 →後者を等化の等質グループ計画という
等化係数法 項目母数の推定値が等しくない複数の被験者集団の特性値の分布が等しくない そんな時、等化係数を推定し、それを利用して項目母数を変換しちゃう方法 添字 のついた母数:等化される尺度 既尺度 添字 のついた母数:等化する尺度 新尺度
等化によるテスト計画のイメージ X Y 項目 受 験 者 共 通
受 験 者 X Y 項目 受 験 者 共通項目 X Y Z Z 項目 受 験 者 共 通 受 験 者 共 通 受 験 者 (係留テスト) 共通項目 共通受験者 共通項目 係留
等化を実際に計算してみる 項目パラメータと能力パラメータデータがそれぞれ下記にあるとした場合 paramF paramT paramtheta
等化を実際に計算してみる の パッケージで計算できます
等化を実際に計算してみる 等化前後のパラメータ比較
さあ、これでキミも新たなニューヒーローだ! 明日からグレイトなテスト計画を立てちゃおうぜ!
Appendix 参考文献 - 項目反応理論[入門編] 豊田秀樹[著] 朝倉書店 - 項目反応理論[事例編] 豊田秀樹[編著] 朝倉書店 - 項目反応理論[中級編] 豊田秀樹[著] 朝倉書店 - 項目反応理論[理論編] 豊田秀樹[編著] 朝倉書店
- 学習評価の新潮流 植野真臣 荘島宏二郎 [著] 朝倉書店 - Rによる項目反応理論 加藤健太郎 山田剛史 川端一光 [共著] オーム社