非認知能力研究の再考

ReproducibiliTea Tokyo
2020.6.2.
科学教育Slackオンライン研究会
2020.9.27

Transcript

1. Rethinking Non-Cognitive Skills and Grit: What are the true active ingredients? Daiki Nakamura @ReproducibiliTea Tokyo ☕ July 2nd, 2020
2. 前回までのお話 ⚫ Crud factor の例って何かないだろうか ⚫ そういえば、非認知能力やGritの効果や 構成概念って怪しいよね👻 ⚫ そもそも、非認知能力って何だろう？それ を非認知と呼んでいいのか？というものも 見られる ⚫ 非認知能力やGritのレビュー論文を読もう ⚫ 再現性の話も絡める 2
3. “非認知”能力への注目 3 就職率 将来の年収 長期的な影響 Heckman & Rubinstein, (2001) Heckman, Humphries, & Kautz (2014) 非認知能力の影響を主張する人達の登場 非認知能力 Non-cognitive skills 学校の成績 学力 短期的な影響 Poropat(2014) 生涯に渡っての持続的な影響力がある？ cf. Perry Preschool Program
4. 教育政策への世界的な影響 4 OECD (2015) Skills for Social Progress: The Power of Social and Emotional Skills https://dx.doi.org/10.1787/9789264226159-en Today’s children will need a balanced set of cognitive, social and emotional skills in order to succeed in modern life. Their capacity to achieve goals, work effectively with others and manage emotions will be essential to meet the challenges of the 21st century. While everyone acknowledges the importance of socio-emotional skills such as perseverance, sociability and self-esteem, there is often insufficient awareness of “what works” to enhance these skills.
5. 日本の教育政策 5 ⚫ 幼稚園教育要領（文部科学省，2017） 幼稚園においては，生きる力の基礎を育むため，この章の第１に示す幼 稚園教育の基本を踏まえ，次に掲げる資質・能力を一体的に育むよう努 めるものとする。 1. 豊かな体験を通じて，感じたり，気付いたり，分かったり，できるよ うになったりする「知識及び技能の基礎」 2. 気付いたことや，できるようになったことなどを使い，考えたり，試 したり，工夫したり，表現したりする「思考力，判断力，表現力等の 基礎」 3. 心情，意欲，態度が育つ中で，よりよい生活を営もうとする「学びに 向かう力，人間性等」 ⚫ 学力の３要素（学教法３０②：小学校、４９：中学校、６２：高等学校、*H19改正） 生涯にわたり学習する基盤が培われるよう、基礎的な知識及び技能を習 得させるとともに、これらを活用して課題を解決するために必要な思考 力、判断力、表現力その他の能力をはぐくみ、主体的に学習に取り組む 態度を養うことに、特に意を用いなければならない。
6. 非認知能力に関するメタ分析 6 ⚫ 幼少期（12歳まで）の非認知的スキルとその後の成果との関連のメタ分析 Smithers, et al. (2018). A systematic review and meta-analysis of effects of early life non-cognitive skills on academic, psychosocial, cognitive and health outcomes. Nature human behaviour, 2(11), 867–880. https://doi.org/10.1038/s41562-018-0461-x 1. Attention（注意） 2. Cognitive flexibility（認知的柔軟性） 3. Conscientiousness（誠実性） 4. Delay of gratification（衝動制御） 5. Effortful control 6. Emotional reactivity（情動的反応性） 7. Emotional regulation（感情調節） 8. Executive function（実行機能） 9. Impulsivity（衝動性） 10. Inhibitory control（抑制） 11. Persistence（持続性） 12. Self-control（自己制御） 13. Self-regulation（自己調整） 14. Temperament（気質） 15. Working memory（ワーキングメモリ） Academic achievement Literacy Numeracy Psychosocial Internalizing Externalizing General behaviour problems Social skills Cognitive and language Performance IQ Expressive vocabulary Receptive vocabulary General language skills General cognitive development Physical health
7. 文献の検索とスクリーニング 7 Publications included (n = 554) Intervention studies (n = 50) Observational studies (n = 504) ※途中で収集範囲を広げたため、 2つに分かれている。
8. 研究の質の評価 8 Better : 交絡因子が適切に統制されている（40.0%）→分析対象 Weak : 交絡因子の統制が不十分（21.5%） Poor : 交絡因子が統制されていない（38.5%） 6割が調査デザインに 問題を抱えている そもそも、介入研究の追跡調査期間の中央値が約1年 ⇒長期的な効果に関するエビデンスがほとんど無い
9. 結果｜実験・準実験研究における効果 9 Experimental and quasi-experimental intervention studies (EQIs) 不均一性が高く、 効果が一貫していない
10. 結果｜観察研究における効果 10 Observational studies
11. 補足｜効果量の解釈 11 d = 0.3 の解釈 Lipsey et al. (2012)によると 米国の幼稚園から1年生までの 読解力の成長はd=1.5。 d=0.3は自然な成長の20%に 相当する改善。
12. Discussion 12 • レビューの対象となる研究は長期的なアウトカムに関する結果が無い ため、非認知能力が将来的に効果を及ぼすか検討できない。現在のエ ビデンスは非常に限定的。 • 長期追跡調査に関する文献が少ない。早期の介入や特定の介入で大き な長期的効果があるという主張は、ほとんど経験的証拠に支えられて いない。 • 6割近くの研究で交絡因子の統制が不適切であり、そのうち38.5%の 研究はそもそも交絡因子を統制しようとしていない。 • RCTの92％は無作為化手順を適切に報告しておらず、81％は割り付け プロセスを報告しておらず、ほとんどのRCTは欠損データへの対応を 怠っていた。（ CONSORT（http://www.consort-statement.org/）のようなツールを 使用し、RCT の事前登録を行うことを強く推奨）
13. 再現性の観点から 13 ⚫ この論文のここがすごい • 入念な事前登録 （https://www.crd.york.ac.uk/PROSPERO/display_record.php?RecordID=6566） • 研究計画の変更に伴う事前登録の変更（当初は８歳までを 対象にしていたが、査読者の提案を受けて12歳まで延長） • 446ページ分のSupplementary（本文の28倍の量） • 査読者からの提案箇所が本文中に明記されている ⚫ 改善すべきだと思った点 • 1つの研究に複数の測定が含まれていた場合、それらを統合した上 でメタ分析に含めている ➢ Robust Variance Estimation（Hedges, Tipton, & Johnson, 2010） を使うべきでは？ • リンゴとオレンジ問題
14. 再現性問題への示唆 14 ⚫ Jingle-Jangle Fallacy (Kelley, 1927, p.64) https://en.wikipedia.org/wiki/Jingle-jangle_fallacies • 2つの異なるものが、同じ名前を持つために同じであると 判断する誤り（ジングル誤謬） • 2つの同一またはほぼ同一のものが、異なるラベルを付け られているために異なると判断する誤り（ジャングル誤謬） →非認知能力の中に類似成分が混在していないか 例）Grit ⇔ Conscientiousnes? ⚫ Construct Identity Fallacy (Larsen & Bong, 2016) • 構成要素のペアが同じまたは異なる現象を参照し、それ ぞれ異なる名前または同一の名前が与えられる構成要素 同一性の誤謬 • 自然言語処理（NLP）アルゴリズムによって検出する試み
15. Credé, M., Tynan, M. C., & Harms, P. D. (2017). Much ado about grit: A meta-analytic synthesis of the grit literature. Journal of Personality and Social Psychology, 113(3), 492–511. https://doi.org/10.1037/pspp0000102 15 Grit
16. Gritとは何か 16 ⚫ Duckworthによる定義 「長期的な目標に対する忍耐と熱意」 「失敗に直面したときの回復力だけでなく、 何年にもわたって粘り強く取り組み続けること」 Grit 忍耐 Perseverance of effort 一貫性 Consistency of interest P1 P5 … C1 C5 … 挫折に直面しても 努力する傾向 目標や興味を頻繁 に変えない傾向 1. 新しいアイデアや企画があると、ついそ ちらに気を取られてしまう。 2. 妨げがあっても挫けないし、簡単には あきらめない。 3. 目標を設定しても、途中で変えてしま うことがよくある。 4. 私は努力家だ。 5. 達成まで何ヶ月もかかるようなことだと、 集中を維持することが難しい。 6. 始めたことは必ずやり遂げる。 7. 興味が毎年のように変わる。 8. 私は勤勉で、絶対にあきらめない。 9. アイデアや計画に夢中になっても、直 ぐに飽きてしまう。 10. 大切なことを成し遂げるために、挫 折を克服してきた。 ★ Gritの質問項目 Guts Resilience Initiative Tenacity
17. アメリカにおけるGrit研究の影響 17 ⚫ 生徒のGritを育てるために教師を訓練する取り組み （Shechtman, DeBarger, Dornsife, Rosier, & Yarnall, 2013） ⚫ 米国内では多くの学区でGritの育成をカリキュラムに組み込む ことが検討されている（Cohen, 2015） ⚫ 米国教育省の報告書では、Gritが学校介入の有望な要素である と強調されている（Shechtman et al., 2013）
18. 頭が痛くなる記事の数々 18
19. 因子構造に関する疑問 19 ⚫ Duckworth & Quinn (2009) のCFA 高次因子 • 多くの研究で、全体的な Grit score のみ が報告されている。 • モデルのどこかに制約をかけないと推定 できないはずだが… • いずれにせよ、高次因子を設定しなくて も2因子モデルで適合したはず • しかし、この2因子間の相関は研究に よってばらつきがある • メタ分析によって2つの要素の相関を推 定することで、因子構造の妥当性を検証 することができる RMSEA = .076 CFI = .96
20. その他の疑問 20 Gritの高い個人は、専門的な課題を達成するため に必要な量の練習を重ねる可能性が高い →パファーマンスの個人差につながる？ Grit パフォーマンス ⚫ Gritのメカニズム ⚫ 調整変数の可能性 課題の性質 〇課題が難しいが明確に定義されている ✖ 課題が簡単で定義が不明確 ⚫ 非線形関係の可能性 メタ認知 基礎能力 Grit Performance ⚫ 歴史的偉人の成功とGritに関する疑問 アインシュタインの成功は、 粘り強さではなく、数学者へ相 談したことが大きいのでは？
21. Gritとパフォーマンスの関連の非一貫性 21 Strayhorn (2013): r = .38 ⚫ 強い関連が見られた研究 Chang (2014): rs = -.08—.21, College GPA Cross (2013): r = .09, Graduate GPA Davidson (2014): rs = -.031—.047, High school and college GPA Hogan (2013): rs = -.01—.24, Several types of GPA Sheehan (2014): rs = .02—.39, High school GPA ⚫ 弱い関連が見られた研究 参考：誠実性ー学業成績のメタ分析 平均効果量 r = .21-23
22. ConscientiousnessとGritの違いは？ 22 ⚫ 多くの類似概念があり、ジャングル誤謬の可能性がある proactivity（積極性） persistence（持続性） industriousness（勤勉性） need for achievement（達成動機） conscientiousness（誠実性） self-control（自己制御） Grit ? 弁別的妥当性 (discriminant validity)を示す 必要がある。 ⚫ 質問項目の類似 ファセット 定義 項目例 Grit: perseverance perseverance and passion for long-term goals I finish whatever I begin. I am a hard worker. Conscientiousness: self-discipline capacity to begin tasks and follow through to completion despite boredom or distractions I carry out my plans. Conscientiousnes: achievement striving need for personal achievement and sense of direction I work hard.
23. Gritとの相関 23 ⚫ ConscientiousnessとGritの相関 • Reed, Pritschet & Cutton (2012): ρ = .92 (N=1165) • Engel (2014): ρ = .95 (N=88) • Meriac, Slifka, & LaBat (2015): ρ = .98 (N=322) • Duckworth et al. (2007) • Duckworth & Quinn (2009) ρ s = .80—.97 ➢ ConscientiousnessとGritが識別可能か疑問がある ⚫ 入学試験の得点とGritの相関 • 非常に弱い相関 （e.g., Chang, 2014; Duckworth et al., 2007; Eskreis-Winkler, Duckworth, Shulman, & Beal, 2014; Kelly, Matthews, & Bartone, 2014）
24. 補足｜相関が弱いから無価値とは限らない 24 大学での 学業成績 SATスコア （認知能力） 高校のGPA 学習スキル 学習習慣 学業 自己効力感 Grit すでに分かっている 予測因子 0.5 0.5 0.4 0.4 0.4 ? 他の変数では説明で きない関連が残るか ……
25. Gritに関するメタ分析｜方法 25 • 検索キーワードは“grit”でGoogle検索 • 何らかの学業成績指標との相関（Pearson）を算出している or 算出可能なものを抽出 • 中学生未満は除外 • 最終的に、88の指標値を含む73の研究（N＝66807）を対象 ⚫ 文献検索 ⚫ コーディング項目 (a) 相関係数 (b) サンプルサイズ (c) Gritスコアの信頼性 (d) 相関係数の信頼性 (e) 相関の種類 (f) Gritの自己評価or他者評価 (g) 学業成績の情報源(自己評価、他の評価、記録) (h) Gritスコアが2因子モデルか1因子モデルか (i) 査読あり or 査読なし (j) 出版年 4つの最も重要なコーディ ング項目で98.8％の一致
26. 結果１｜ファセット間の比較 26 ⚫ 出版バイアスは見られなかった（Table 2） ⚫ 2つのファセット、忍耐と一貫性の相関は強い ⚫ 学業成績との相関は全体的に弱い ⚫ 忍耐の側面は、一貫性の側面よりも学業成績と相関が強い
27. 結果２｜Gritとの相関 27 ◼ 個人特性 ⚫ Gritとcognitive abilityの相関はほぼない！（ρ = .05） ⚫ Gritとconscientiousnessの相関は強い（ ρ = .84） ⚫ Gritとself-controlの相関は強い（ ρ = .72） ⚫ Gritとemotional stabilityの相関は中程度（ ρ = .41） ⚫ Gritとself-efficacyの相関は中程度（ ρ = .43） ⚫ Gritとmental toughnessの相関は中程度（ ρ = .46） ⚫ Gritとdepressionの相関は中程度（ ρ = -.48） ◼ デモグラフィック変数 ⚫ Gritとgenderの相関はほぼない（ ρ = .05 ） ⚫ Gritとyear in schoolの相関はほぼない（ ρ = .05 ） ⚫ Gritとethnic minority statusの相関はほぼない（ ρ = .01 ） ⚫ Gritと年齢の相関は弱い（ ρ = .22 ）※誠実性と同様の傾向
28. 結果３｜階層的重回帰 28 Table 6 Model1: 誠実性を統制すると、Gritの効果は残らない Model2: 誠実性を統制しても、忍耐の効果は残る ΔR=.040 Model5: 誠実性と一貫性を統制しても、忍耐の効果は残る ΔR=.047 ➢ 一貫性の側面は、学業成績を説明・予測することにはほとんど寄与し ていないが、忍耐の側面は説明・予測に寄与している。
29. Discussion 29 ⚫ Gritの因子構造について、高次因子を仮定する ことには無理があるだろう ⚫ 忍耐の因子は、一貫性や高次因子に比べて学業 成績の予測力が高い。よって、一貫性とは大き く異なる要素として扱うべき。 ⚫ 学業成績とGritの関連は弱く、認知能力や学習 習慣以下の予測因子 ※ただしコスパも考慮すべきだと思う ⚫ Gritと誠実性の相関は極めて高く、外部の変数 との相関も同様であることから、両者は同じも のを測定しているかもしれない（cf. ジャングル誤謬）
30. Future Research 30 1. Gritは安定的なのか介入によって変化するのか調べるべき 2. 課題の性質などの調整効果を調べるべき 3. 項目反応理論を適用して調査協力者の特性に応じた尺度の 難易度を検討するべき