UWS2020 チュートリアル2「質的調査」

UWS2020で開催された企画セッション「チュートリアル2 レベルアップ！ ユーザスタディ」で発表した資料です

Transcript

1. UWS2020チュートリアル2 レベルアップ！ユーザスタディ 質的調査 金岡 晃（東邦大学）
2. 質的調査 「質的研究は「そこにある」世界（実験室のような特別に作られた研究状況ではな く）にアプローチし、「内側から」社会現象を理解し、記述し、時には説明することを 意図する」 いくつかのポイント ウヴェ・フリック、鈴木聡志（訳）「質的研究のデザイン」p.ii • 多くの学問領域で採用：社会学、文化人類学、心理学、健康科学… • 多くのアプローチ：主観的観点、社会状況の形成、隠れた構造の分析 ユーザブルセキュリティの文脈で利用されるのは一部分
3. 質的調査のアプローチ 主観的観点へのアプローチ 実験参加者の観点を強調する アプローチ データ収集方法 • 半構造化インタビュー • ナラティブインタビュー データ分析方法 • コード化 • 内容分析（Content Analysis） • ナラティブ分析 社会状況の形成の記述 日常生活における慣行や社会的現実 の作られ方へのアプローチ データ収集方法 • フォーカスグループ • エスノグラフィー • 関与観察 データ分析方法 • 会話分析 • ディスコース分析 よく使われる 最近ちょこちょこ 見る
4. 質的と量的、どう選択する？ 量的調査の選択 ユーザの認識や行動に対して、知りたいことが明確 • Likert尺度で表現できる（表現して大丈夫だろうと言える） • カテゴリ化した質問が提供できる 質的調査の選択 そもそもどういったことがユーザに認識されているかが不明確 ほんとにそうなのか （自分で言っておいてなんですが） ？？？「実験参加者数が量的調査として十分な量は取れなそうだ…。よし質的調査に切り替えよう」 パイロットスタディとして質的調査アプローチをし、 得られた成果をもとに量的調査アプローチ、という手段も
5. サンプリング 量的調査のサンプリング • 母集団の特徴と分布を代表するサンプリング（無作為抽出） サンプルからの知見を母集団に帰す 質的調査のサンプリング • より意図的で柔軟：多様性の担保などの視点 女性参加者と男性参加者の数を決める 各年齢層で一定の数ずつ参加者を集める • 必ずしもランダムではない • 研究している現象のバリエーションとバラエティをできるだけ実証的な 資料の中にとらえることができるように 金岡の体感的には サンプル数（実験参加 者数）は数十という オーダー
6. サンプリング手法 同質サンプル 典型的な事例 逸脱・極端な事例 スノーボールサンプリング 便宜抽出法 理論的サンプリング 実験参加者の知り合いを紹介してもらう 実験実施者にとって手近な人々から抽出 母集団特性が分からない場合、段階的 に基準を定義して複数回にわたってサン プリング。理論的飽和に至った時にサン プリング終了。 最近ちょこちょこ見る
7. 便宜抽出法の例 Naiakshina, Alena, et al. "Why do developers get password storage wrong? A qualitative usability study." Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017. Naiakshina, Alena, et al. "Deception task design in developer password studies: Exploring a student sample." Fourteenth Symposium on Usable Privacy and Security ({SOUPS} 2018). 2018. Naiakshina, Alena, et al. "" If you want, I can store the encrypted password" A Password-Storage Field Study with Freelance Developers." Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 2019. Naiakshina, Alena, et al. "On Conducting Security Developer Studies with CS Students: Examining a Password- Storage Study with CS Students, Freelancers, and Company Developers." Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. 2020. ユーザ実験においてパスワードの保管をするアプリを作成してもらう → どのくらいのユーザがパスワードを平文で保存してしまうか調査 • 明確な指示がないと誤った保管方法をする • Base64エンコーディングによる保存、ハッシュ化と暗号化（Encrypted）の混同 • ユーザグループが異なってもおおよそ似た傾向（学生、フリーランス、企業エンジニア）
8. データ収集方法 半構造化インタビュー • 目的に合わせた大まかな質問を用意 • 実験参加者の回答に応じて掘り下げていく フォーカスグループ • 実験参加者が複数いる中であるテーマについて話合う エスノグラフィー • コミュニティの内側に入る（参与観察） • 長期間の観察 • 実験実施者は一員として活動しコミュニティメンバーとインタラクションを取る
9. データ分析手法 コード化（Coding） • 良くわからない…（ごめんなさい） ザックリとした金岡の理解 for USP研究 インタビューの回答などを、文脈から切り離して断片化 断片化したものをグループ化して、名前を付ける 名前を付けたものをさらにグループ化したり、名称を再検討したり 複数人で突き合わせて再整理・再実施して、一定のところまで来たら確定 カテゴリ（テーマ）をベースにインタビュー内容を整理し、その共通部分や対比部分 を議論することで、実験参加者の認識や背景にある社会構造を説明する
10. データ分析手法 コード化（Coding） Inductive Coding • コーディングしていく中でカテゴリが醸成されていく • USP研究はだいたいこっち？ Deductive Coding • カテゴリはあらかじめ確定してあって、コードを割り当てていく Open Coding Axial Coding Categorize Grounded Theory Thematic Analysis：この流れと大まかに似ている？？
11. Coding事例 Florian M. Farke, et al. "“You still use the password after all” – Exploring FIDO2 Security Keys in a Small Company." SOUPS2020
12. Coding→Grounded Theory例 Artemij Voskobojnikov, et al., “Surviving the Cryptojungle: Perception and Management of Risk Among North American Cryptocurrency (Non)Users”, FC’20 この研究はきちんと書いているように見えるが、 USP研究ではGrounded Theoryと言いつつ、実際はCodingして類型化とその言及にと どまって、概念（カテゴリ）間の関係性整理と理論化まで行ってない研究が多いイメージ
13. まとめ 質的調査とは サンプリング データ収集方法 データ分析方法 今後どうなる？ • 量的＋質的な評価をする論文が多くなっているイメージ • 一方で、どうも質的研究の文献（和文含む）を見ると、「安易な併用は避けるべき」とあり、質 的評価を単なる類型化に使っている例は「良くない例」として挙げられている…