Upgrade to Pro — share decks privately, control downloads, hide ads and more …

尺度開発における質的研究アプローチ(自主企画シンポジウム7:認知行動療法における尺度開発のこれから)

 尺度開発における質的研究アプローチ(自主企画シンポジウム7:認知行動療法における尺度開発のこれから)

尺度開発における質的研究アプローチ(自主企画シンポジウム7:認知行動療法における尺度開発のこれから)
The Qualitative Research Approach in Scale Development

本資料は、日本認知・行動療法学会第50回記念大会( https://cs-oto3.com/jabct2024/ )において発表した『尺度開発における質的研究アプローチ(自主企画シンポジウム7:認知行動療法における尺度開発のこれから)』の発表資料です。

当事者の声を尺度に反映して改善・開発する方法について、認知的インタビューを題材にお話しします。

資料最後部に掲載している認知的インタビューに関するツールキットは下記のリンクからご覧になれます。
https://ontest.notion.site/7aa40e2ddeac465b954ddae093d907b4?pvs=74

問い合わせ先:LITALICO研究所( [email protected]

LITALICO研究所

September 23, 2024
Tweet

Other Decks in Research

Transcript

  1. 1 株式会社LITALICO 
 
 長崎大学大学院 医歯薬学総合研究科 
 
 野田遥
 2024/09/23

    日本認知・行動療法学会 第50回記念大会 
 自主企画シンポジウム7 
 「認知行動療法における尺度開発のこれから」 
 尺度開発における
 質的研究アプローチ

  2. 4 野田 遥 / Haruka Noda
 • 野田 遥 /

    Haruka Noda
 
 • 作業療法士
 
 • 所属
 ◦ 株式会社LITALICO プロダクトマネージャー / LITALICO研究所 リサーチャー 
 ◦ 長崎大学大学院 医歯薬学総合研究科 博士課程 
 
 • 主な研究テーマ
 ◦ 会社:心理尺度開発 
 ◦ 大学:自閉スペクトラム症者の感覚の問題 
 ◦ 詳しくはこちら:https://researchmap.jp/harukanoda 
 
 自己紹介

  3. 6 心理尺度における内容的妥当性とは?
 定義:測定する内容が測定されるべき概念を十分に反映している程度
 
 • 関連性:項目は特定の集団や使用文脈で関心のある構成要素に関連しているか
 • 包括性:構成要素の重要な側面が欠けていないか
 • わかりやすさ:項目は意図通りに特定の集団に理解されるか


    の3点で評価される
 内容的妥当性
 • Mokkink, Lidwine B., Caroline B. Terwee., ... Henrica C. W. de Vet. 2010. “The COSMIN Study Reached International Consensus on Taxonomy, Terminology, and Definitions of Measurement Properties for Health-Related Patient-Reported Outcomes.” Journal of Clinical Epidemiology 63 (7): 737–45. • Terwee, C. B., C. A. C. Prinsen, … L. B. Mokkink. 2018. “COSMIN Methodology for Evaluating the Content Validity of Patient-Reported Outcome Measures: A Delphi Study.” Quality of Life Research: An International Journal of Quality of Life Aspects of Treatment, Care and Rehabilitation 27 (5): 1159–70.
  4. 7 内容的妥当性の基準
 Terwee, C. B., C. A. C. Prinsen, …

    L. B. Mokkink. 2018. “COSMIN Methodology for Evaluating the Content Validity of Patient-Reported Outcome Measures: A Delphi Study.” Quality of Life Research: An International Journal of Quality of Life Aspects of Treatment, Care and Rehabilitation 27 (5): 1159–70. 内容的妥当性
 関連性 (relevance) 
 
 1. 指標に含まれた項目は、関心の概念に関連しているか
 
 2. 指標に含まれた項目は、関心のターゲット母集団に関連しているか
 
 3. 指標に含まれた項目は、関心の利用文脈に関連しているか
 
 4. 反応選択肢は適切か
 
 5. 想起期間は適切か
 包括性 (comprehensiveness) 
 
 6. 重要な概念の漏れがないか
 分かりやすさ (comprehensibility) 
 
 7. 関心の母集団が、意図した通りに項目と教示を理解できるか
 
 8. 関心の母集団が、意図した通りに項目と反応選択肢を理解できるか
 
 9. 項目の言語表現は適切か
 
 10. 反応選択肢は質問とマッチしているか

  5. 8 なぜ内容的妥当性が重要なのか?
 尺度開発を取り巻く課題
 内容的妥当性の重要性が 
 理解されていない 
 患者/当事者にとって 
 重要な概念や項目の

    
 見落とし・過小評価 測定特性が十分に検討されて いない
 測定項目の異質性が高い 
 利害関係者間で扱いたい症状 は異なる
 考えるべきポイント
 実際のユーザーである当事者/患者の視点が抜け落ちた
 偏りのある尺度になるリスクあり
 内容的妥当性

  6. 10 尺度開発における立ち位置
 COSMINバイアスのチェックリスト 
 
 1. PROMの開発 (box1) 
 2.

    内容的妥当性 (box2) 
 
 3. 構造的妥当性 (box3)
 4. 内的一貫性 (box4)
 5. 異文化間妥当性/測定普遍性 (box5) 
 6. 信頼性 (box6)
 7. 測定誤差 (box7)
 8. 基準関連妥当性 (box8)
 9. 構成概念妥当性の仮説検証 (box9) 
 10. 応答性 (box10)
 内容的妥当性
 性能評価の土台 のため重要
 • https://h-navi.jp/column/article/35030150/2 
 • 佐藤, 土屋. ‘Revised Japanese version of the COSMIN Risk of Bias checklist for PROM” 2018. 

  7. 13 認知的インタビュー(Cognitive Interview: CI)とは?
 「質問が理解可能で、意図されたとおりに解釈されているかどうか」を評価するために、 参加者に尺度について自分の考えや解釈を求めるインタビュー方法。
 回答者がどのように質問を理解し、回答しているか判断し、回答しやすくするために必 要な修正を評価する。
 認知的インタビュー(CI) 


    
 「当事者と協働して尺度を作っていく」
 アプローチの一つ
 • Buers, Corine, Mattanja Triemstra, … Diana M. J. Delnoij. 2014. “The Value of Cognitive Interviewing for Optimizing a Patient Experience Survey.” International Journal of Social Research Methodology 17 (4): 325–40. • Boeije, Hennie, and Gordon Willis. 2013. “The Cognitive Interviewing Reporting Framework (CIRF).” Methodology: European Journal of Research Methods for the Behavioral & Social Sciences 9 (3): 87–95.ΩΩ
  8. 14 2種類のインタビュー方法がある
 認知的インタビュー(CI) 
 Think-aloud法(TA) 
 調査項目を精神的に処理して回答する際に,頭に浮かん だことをすべて報告する方法 
 


    利点:
 • 対象者の回答へのバイアスが小さい 
 • 面接者のトレーニングや特別な専門知識が少なく ても良い
 • 面接者が予期しない情報を得やすい 
 
 欠点:
 • 被験者への負担が大きい 
 • 大部分を被験者がコントロールするため、回答の脱 線があるとかなり時間がかかる 
 • 音読の負荷により、質問に答える際の認知プロセ スに負担やバイアスが生じうる 
 Verbal probing法(VP) 
 プローブ質問(例:「あなたにとって、この質問で使われている 『〇〇』とは何ですか?」)を用いる方法 
 
 利点:構造化されたプロトコルが経験の浅い面接者にとって有 益
 
 欠点:面接者の想定から外れた情報を得にくい 
 
 ・Concurrent prove 
 a)面接者が質問項目を読み、b)被験者が質問項目に回答し、 c)面接者がプローブの質問をし、d)被験者がプローブ質問に答 え、e)c-dを繰り返す。
 
 ・Retrospective prove 
 被験者が一通り質問回答を終えた後に、プローブ質問を行う。 実施しやすいがバイアスのリスクあり。 

  9. 15 CIの進め方
 認知的インタビュー(CI) 
 認知的インタビュー(CI) 
 インタビュー
 リクルーティング 
 分析


    修正
 Round1
 インタビュー
 分析
 修正
 Round2
 インタビュー
 分析
 飽和
 Round3
 同じプロセスを飽和(=新たなデータを収集しても新たな洞察やテーマが 生まれなくなる時点)まで繰り返す
 事前に募集をかける 
 (弊社はwebサイトのメーリ ス利用)
 スクリーニング質問で研究 対象に該当するか判別 
 判別されたリストから、対 象者をピックアップ

  10. 17 質的研究アプローチの実例 
 開発経緯
 • オンライン実施の発達特性や困りの検査 
 • 受診待ちや子どもにとっての最適な情報へのアクセ ス課題を解決するために開発

    
 概要
 • 3-18歳が対象(未就学版/学齢版) 
 • 神経発達症やその関連症状・困りを包括的に拾える よう尺度を構成した
 • 行動の頻度を尋ねる5件法 
 (当てはまらない~いつもある) 
 ※診断ではなく、保護者の理解に向けた個別最適な情報提 供にフォーカス
 実例:LITALICO発達特性検査
 オンライン完結の検査
 特性や困りとそれらの背景・サポートが提供される

  11. 20 研究デザイン
 対象:以下の条件に該当する子どもの保護者 
 ◦ 神経発達症の診断がある
 ◦ 未就学向けは3-6歳(学齢6-18歳向けは別途開発) 
 インタビュー実施方法:


    • リクルート
 ◦ 弊社ポータルサイト会員のメーリングリストにてリクルーティング 
 ◦ スクリーニング質問をもとに研究対象に該当するか判別 
 ◦ 判別後のリストから、該当する対象者に対して連絡・日程調整(Googleカレンダー・メール利用) 
 ※謝礼あり
 
 • 個別の認知的インタビューを実施 
 ◦ ビデオチャットによるオンライン面接
 ◦ 対象者は事前に質問紙に回答した
 ◦ インタビューでは質問紙を画面共有し、録音した 
 
 • Verbal probing法 / Concurrent proveを採用 
 ◦ 項目数が多いため、参加者の負担を下げるために本方式を採用 
 ◦ 1回のインタビュー時間が長くなりすぎることを回避するために、一人当たり2-3回に分割して実施とした 
 質的研究アプローチの実例 

  12. 21 CI質問項目
 認知的インタビュー(CI) 
 項目番号
 項目の種類
 質問項目
 1
 設計評価
 「全体的な見た目などに関する項目」

    
 
 
 1. 質問項目の全体的な見た目について、何か思ったことはありましたか?(レイアウト、フォントサイズ、長さなど)
 2
 行動評価
 「時間がかかったり答えられなかった等の項目」 
 
 
 2.答えられなかった質問項目はありましたか?/それはなぜですか?
 
 
 3.回答を変更した質問項目はありましたか?/それはなぜですか?
 
 
 4.回答に時間がかかった質問項目はありましたか?/それはなぜですか?
 3
 解釈評価
 「解釈にかかわる,意味や文脈などの項目」 
 
 
 5.この質問は、どのような意味だと思いましたか?
 
 
 6.(複数の意味を持つ熟語がある場合)この文脈においては、どういう意味だと思いましたか?
 
 
 7.この質問の意図を自分の言葉で説明してもらえますか?
 4
 概念評価
 「測定している概念との関連性や包括性に関する項目」 
 
 
 10.質問項目は、学齢期の子どもの情緒や行動の困難さの測定に関係していると思いますか?
 
 
 11.学齢期の子どもの情緒や行動の困難さに関して、測定できていないと思う側面はありますか?
 5
 気分評価
 「回答していて違和感がある・不快など感情に関する項目」 
 
 
 9.回答していて、不快に感じた質問項目はありましたか?
 Egger-Rainer, Andrea. 2019. “Enhancing Validity through Cognitive Interviewing. A Methodological Example Using the Epilepsy Monitoring Unit Comfort Questionnaire.” Journal of Advanced Nursing 75 (1): 224–33. を 参考に作成
  13. 22 CI実施に向けたトレーニング
 認知的インタビュー(CI) 
 インタビューガイド(一部)
 CIのトレーニング
 
 質的研究に熟練したメンバーのみで のCI実施が難しかったことからトレー ニングを実施


    
 インタビューガイドを作成
 
 インタビュアー同士で事前に練習し、 適宜ガイドを修正
 
 記録方法なども詳細に決定
 COSMINバイアスのリスクチェックリスト*
 佐藤, 土屋. ‘Revised Japanese version of the COSMIN Risk of Bias checklist for PROM” 2018. 

  14. 23 CIの分析方法
 文字起こし(業務委託)
 一次分析
 • テキスト抽出
 • コーディング
 • 分析者2名の一致を確認


    二次分析
 • エラー項目検討
 • 修正、削除、項目追加、カ テゴリ変更を決定
 認知的インタビュー(CI) 
 エラー番号
 エラー項目
 1
 矛盾している・間違っている(矛盾するまたは不正確な指示) 
 2
 意図が分からない(複雑な指示) 
 3
 意味が分からない(質問の文言) 
 4
 専門用語が分からない(使用される専門用語) 
 5
 解釈が分かれる(曖昧-複数の解釈方法) 
 6
 仮定している状況が不適切である 
 7
 質問が複数ある(ダブルバーレル項目) 
 8
 目撃していない・知らない(求められる知識が存在しない) 
 9
 思い出せない(リコールの失敗) 
 10
 センシティブな内容
 11
 言葉遣いの問題
 12
 その他
 以下を参考に作成: • Egger-Rainer, Andrea. 2019. “Enhancing Validity through Cognitive Interviewing. A Methodological Example Using the Epilepsy Monitoring Unit Comfort Questionnaire.” Journal of Advanced Nursing 75 (1): 224–33. • Eland, Nicolaas D., Liv Inger Strand, … Liv Heide Magnussen. 2022. “How Do Physiotherapists Understand and Interpret the ‘Pain Attitudes and Beliefs Scale’? A Cognitive Interview Study.” Physiotherapy Theory and Practice 38 (4): 513–27.
  15. 24 CI参加者と修正項目数
 認知的インタビュー(CI) 
 ラウンド
 参加者数
 分析結果
 1
 10
 13項目の修正、3項目の追加


    2
 9
 10項目の修正、1項目の追加
 3
 5
 飽和
 3ラウンド実施で新規の項目修正/追加がなくなり
 飽和・CI終了となった
 ※合計で約70時間程度

  16. 25 修正項目について
 認知的インタビュー(CI) 
 no.
 エラー
 元の項目
 修正後の項目
 修正ラウンド
 2


    5
 ささいなことで気が散る(例:通常の生活では気にならない程度のエアコンの 音、人の動きなど)
 周りの子どもは気にしないような生活音に気がとられて行動を中断しやすい(例 :エアコンの音、子どもの動きなど)
 R2
 3
 3
 作業や活動を段取りよくできない(例:必要なものを揃える前に作業を始めてし まうなど)
 作業や活動の支度が手際よくできない(例:必要なものを揃える前に作業を始 めてしまうなど)
 R2
 25
 5
 本人が興味のある特定の話題について、話が止まらない(例:ゲーム、特定の キャラクター、アニメなど)
 相手の反応を気にせず、一方的に話し続ける
 R1
 34
 7
 見立て遊びやごっこ遊びをする(例:ブロックを電車と駅に見立てる、ままごとを するなど)
 同年代の子どもとごっこ遊びができない
 R1
 35
 5
 他の人が少し離れたところにあるものを指さしても見ない
 保護者が指さしたものを見ようとしない
 R1
 37
 5
 子ども同士で遊ぶ
 同年代の子ども同士で、おもちゃや場所を共有して遊ばない
 R1
 59
 6
 かんしゃくを起こす
 自分の思い通りにならないと、かんしゃくを起こす
 R1
 60
 5
 繰り返し自分の身体を叩いたり何かにぶつけたりする
 自傷行動がある(例:繰り返し自分の身体を叩いたり何かにぶつけたりするな ど)
 R1
 64
 8
 園や家庭で不安な表情がみられる
 体調不良を訴える(例:頭痛、腹痛、気分悪いなど)
 R1
 66
 5
 必要以上に緊張しているときがある
 保護者や先生にしがみ付いて離れないほど、必要以上に緊張する
 R1
 78
 5
 寝坊を理由に園に遅刻する
 起きるべき時間よりも遅く起きる
 R1
 93
 8
 素材の違いによく気づく(例:服やマフラーの素材、など)
 服の素材や締め付けを嫌がる(例:ウール素材、下着の締付け、タグなど)
 R1
 100
 5
 歯磨きを嫌がる
 歯磨きするときの感触を嫌がる(例:歯ブラシが口の中にある感覚、歯磨き粉の 味やにおい、など)
 R1
 103
 5
 特定の衣類やタオル、ひもなどの感触が好きで、触り続ける
 特定の触感が好きで、触り続ける(例:衣類や人の肌、ぬいぐるみなど)
 R2
 104
 11
 粘土、水、泥、砂などの感覚遊びに没頭する
 好んで水や砂、泥遊びをする
 R1, R2
 108
 5
 力いっぱい動いたりぶつかったりすることを好む
 飛び降りたりぶつかったりすることを好む
 R1
 118
 8
 跳び箱や縄跳びなどでタイミングが合わない(例:腕の動き、ジャンプなど)
 ジャンプのタイミングが合わない(例:跳び箱、縄跳びなど)
 R2
 120
 11
 倒れる時にバランスを保てない(例:ふらつく、そのまま転ぶなど)
 倒れそうなときに、うまくバランスを保てない(例:ふらつく、そのまま転ぶなど)
 R2
 121
 5
 片足立ちでバランスを保つことが難しい
 片足立ちで3秒程度バランスを保てない
 R2
 125
 3
 両手を別々に使う動作が難しい(例:片手でお茶碗を持ったまま箸を使えない、 はさみで切る時に紙を送らないなど)
 左手と右手を連動させて使う動作が難しい(例:片手でお茶碗を持ったまま箸を 使えない、はさみで切る時に紙を動かせないなど)
 R2
 127
 5
 ハサミで丸い形を切ることが難しい
 はさみで線にそって丸の形を切ることが難しい
 R2
 133
 3
 身体の力が入っておらず、だらんとしている
 椅子に座るときに、机に肘をついたり、背もたれに寄りかかったりする
 R2
 表には
 ・エラーの種類
 ・元の項目
 ・修正項目
 ・どのラウンドで修正したか
 を記述する
 
 エラー5「解釈が分かれる」の
 該当が12件と最多
 ↓
 インタビューにより誤解のない表現 に修正できた
 
 投稿前のため非公開 

  17. 26 追加項目
 質的研究実施の所感 
 インタビューでの発見と追加理由 追加項目 追加ラウンド 衝動性を示す児に頻繁に見られる行動が不足している。 思いついたら危険を顧みずにすぐ動いてしまう(例:道路への飛び出し など)。

    R1 情緒の問題に関して、自己否定に関する項目が不足していた。 自分を否定する言葉を口にする(例:できない、自分はダメだなど)。 R1 手先の不器用さについてよく観察される食事場面に関する項目がな かった。 スプーンやフォークで食事するとき、食べこぼしがある。 R1 援助要請に関する項目が不足していた。 困ったときに周囲に助けを求めることができない(例:大人に「手伝っ て」「教えて」と声をかけるなど) R2 インタビューでの発見をもとに
 発見された項目を追加する場合もある
 投稿前のため非公開 

  18. 28 考察・所感
 • CIの実施によって、保護者ならではの理解・想起方法を確認できた
 
 • エラー5「解釈が分かれる」が最多12件
 ◦ 曖昧な表現によって解釈が複数通り考えられるパターンが多かった 


    ◦ 子ども本人ではなく保護者が回答する形式のため、保護者間の観察範囲の分散が大きかった 
 
 • エラー3「意味が分からない」、5「目撃していない・知らない」が次いで3件
 ◦ 保護者にとってわかりやすい言葉や観察しやすい状況の精査が不十分であった 
 ◦ 研究者視点だけで尺度項目を作ると、ブレが大きい項目になるリスクがある 
 
 • 4項目の追加:保護者視点で重要な項目追加により包括性を高められた
 質的研究実施の所感 

  19. 29 CI実施におけるポイント
 • インタビュー方法の選定
 ◦ 今回は項目数が多いことを鑑みて、ユーザーの負担を下げるためにVerbal probing法(VP)を採用 した
 ◦ Think-aloud法(TA)の方が実際のユーザーの思考をリアルタイムで観察できるため、より深い示唆

    が得られる可能性がある 
 ◦ 一つの研究内でもVP/TAを目的に応じて選択・併用するなどもありうる? 
 
 • 質的研究について詳しい人を頼る
 ◦ インタビュー設計や飽和の基準など、初学者にとってハードルが高い 
 ◦ 質的研究のエキスパートと協働することが重要 
 質的研究実施の所感 
 Timo Lenzner, Cornelia Neuert &. Wanda Otto. n.d. “Kognitives pretesting. GESIS Survey Guidelines.” GESIS-Leibniz-Institut für Sozialwissenschaften. 2015.
  20. 30 必要なリソース・コストについて
 • 人・時間・お金のリソースが必要
 ◦ トレーニング、リクルート、実施、文字起こし、分析・・・ 
 ◦ 想定以上に大変、コストもかかる 


    
 • インタビュー実施の投資対効果について
 ◦ COSMINではインタビュー人数7名以上だとvery good相当 
 ◦ CIの各ラウンドでは、5-15人の参加者と3-4回の反復面接を行うことを推奨されている 
 ◦ 投資対効果の面では30回以上のインタビューは現実的ではなく、20回程度が妥当 
 質的研究実施の所感 
 • 佐藤, 土屋. 2018. https://www.cosmin.nl/wp-content/uploads/Revised-Japanese-version-of-the-COSMIN-Risk-of-Bias-checklist-for-PROMs.pdf • Prüfer, P., & Rexroth, M., & Zentrum für Umfragen, Methoden und Analysen-ZUMA. 2005. Kognitive Interviews. GESIS-How-to 15. 2005. • Timo Lenzner, Cornelia Neuert &. Wanda Otto. n.d. “Kognitives pretesting. GESIS Survey Guidelines” GESIS-Leibniz-Institut für Sozialwissenschaften. 2015. 妥当な検証に必要な最低ラインを知った上で計画・遂行しましょう

  21. 31 まとめ
 • 尺度開発において内容的妥当性を担保するには、質的研究が重要になる 
 
 • 認知的インタビューという内容的妥当性を高める方法論がある 
 インタビューガイド・参考文献はこちら→

    
 
 
 • 共同創造に向けては臨床家・尺度開発者だけでなく、患者/当事者や質的研究のエキスパート など様々なメンバーでの協働が不可欠 
 
 • リソース / コストをふまえた研究計画・遂行が必要 
 質的研究実施の所感 
 一緒に当事者/患者との協働を進めていきましょう
 問い合わせ先: [email protected]