UWS2020企画セッション「ユーザスタディの進め方: セキュリティ篇」/uws2020_hasegawa_1

UWS2020企画セッションでの発表資料

Transcript

1. ユーザスタディの進め方: セキュリティ篇 NTTセキュアプラットフォーム研究所 長谷川 彩子 2020年10月27日 コンピュータセキュリティシンポジウム（CSS）2020 UWS企画セッション①
2. 1. ユーザブルセキュリティ分野におけるユーザスタディ 2. ユーザスタディの実施例 内容
3. 1. ユーザブルセキュリティ分野に おけるユーザスタディ 3
4. 4 多様な研究テーマ ユーザスタディを実施している難関国際会議採択論（2017-2020） の研究テーマ ※厳密なデータではないので参考程度に…
5. 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% オンラインサーベイ インタビュー ラボ実験 オンライン実験 オープンデータ分析 フィールドワーク 5 主要なユーザスタディ手法 ユーザブルセキュリティ分野の難関国際会議採択論文（2016-2019） • オンラインサーベイ • インタビュー • ラボ実験 • オンライン実験 • オープンデータの分析 • フィールドワーク 詳細：ユーザブルセキュリティ・プライバシー分野におけるユーザスタディの動向2019 https://speakerdeck.com/ayakohasegawa/design-of-user-study
6. 2. ユーザスタディの実施例 6 Ayako Akiyama Hasegawa, Takuya Watanabe, Eitaro Shioji, Mitsuaki Akiyama, I know what you did last login: inconsistent messages tell existence of a target's account to insiders, ACSAC’19.
7. • ログイン関連メッセージの問題をプライバシー脅威として再定義 – 先行研究：攻撃者（悪意のある第三者）は有効IDの列挙が可能 – 本研究：攻撃者（身近な人）は標的のアカウント所有を暴いてプライバシーを侵害 • ユーザスタディと実態調査を通してプライバシー脅威の深刻度を調査 – ユーザスタディ：どのような種類のサービスで脅威？どれ程の人が被害に遭う？ – 実態調査：実サービスは攻撃に対してどの程度脆弱？ 研究概要 7 転職どっとこむ 新規登録 taro@mail.com エラー！既に登録 されています アカウントの存在はそのユーザの属性・嗜好・指向・信仰・社会的状況等を間接的に示す taro@ mail.com を登録 転職 どっとこむ
8. • ユーザスタディ手法 • 募集方法 – クラウドソーシングサービス（Amazon Mechanical Turk, MTurk） • 登録ワーカー数の多さ • 学術研究での利用実績が多く，登録ワーカーの特徴が既知 ※ 調査当時はMTurkの利用が主流であったが，現在はProlificを利用する研究が 増加中 8 調査デザインの検討 本研究に適合 サーベイ 大人数の参加者の状況 や認識を広く調査査 インタビュー 少人数の参加者の状況 や認識を深く調査査 他の手法 （ラボ実験等）
9. 9 質問紙作成～サーベイ実施までのフロー 1. 質問項目 作成/修正 3. 同僚レビュー 2. 共著者レビュー 4. 英文校正 7. 参加者募集 6. パイロットテスト 5. 倫理審査 改善点 あり 改善点あり
10. • 質問紙の構成 – 約10問（一般的なオンラインサーベイより少ない問題数） – 選択式質問に加え，自由記述式質問を複数含む • 量的アプローチ＋質的アプローチ 10 質問紙の作成 1. 教示・参加同意取得 – 調査目的・想定所要時間・報酬額 etc. 2. 参加者属性を問う質問項目 – 年齢・性別 etc. 3. 脅威となるサービスを明らかにする質問項目 – アカウント所有を知人に知られたくないサービスとその理由 4. 潜在的加害者数を明らかにする質問項目 – 知人のアカウント所有を知りたい願望の有無とその理由 5. 潜在的被害者数を明らかにする質問項目 – センシティブサービスに登録するメールアドレスの内容
11. • 本研究で実施した倫理的配慮の例 – 個人情報の保護 • 匿名回答形式でのオンラインサーベイを実施 • 回答データ（個人情報）を厳重管理 – 調査参加に伴うリスクの最小化 ※前提として, 本研究は意識調査のため基本的には参加に伴うリスクは低い • 参加者に攻撃手法を伝えない（=参加者が加害者になるリスクの低減） – 本攻撃は技術力が不要で仕組みを知れば誰でも実行可能なため – 攻撃手法は伝えず，願望の有無のみで潜在的加害者数を算出 – 調査参加に対するインフォームドコンセントの実施 • 調査内容を説明した上で，自由意思による参加同意を取得 11 倫理審査（1/2） 倫理的配慮 • 人を対象とする研究においては参加者に対する倫理的配慮が重要 • 参加者に負担や不利益が生じないように参加者を保護 • 多くの論文が倫理的配慮の内容を記載
12. • 本研究の倫理審査 – 所属組織の倫理審査委員会に付議し，承認を得てから参加者募集開始 12 倫理審査（2/2） 倫理審査委員会（Institutional Review Board, IRB） • 人を対象とした研究を行う大学・研究機関に設置される委員会 • 人を対象とする研究において研究計画の倫理的妥当性を審査 • 多くの研究が所属組織の倫理審査委員会の承認を得て実施
13. • MTurk内にあるサーベイ用の雛形を活用して画面作成 • HTMLで編集 • 慎重に動作確認（レイアウト，エラー表示 etc.） 13 オンラインサーベイ画面の実装 編集画面 サーベイ画面 必須回答 ラジオボタン
14. • 本研究のパイロットテスト – 本番と同様にMTurkで参加者募集 – 段階的に募集人数を増やして複数回実施 • 例）3人募集 → 回答データの精査 → 10人募集 → 回答データの精査 → … – 質問紙の末尾に「このサーベイに対する質問やコメントがあれば教え てください」 のようなお願いを追加 • 質問紙のブラッシュアップに活かす目的 14 パイロットテスト パイロットテスト • 少人数を募集し，作成した質問紙に問題がないかをテスト • 質問文・選択肢の表現は適切か？，分量は適切か？，質問順序は 適切か？，レイアウトは適切か？ etc.
15. • 参加資格設定 – アメリカ在住者 – 18歳以上 – 過去のタスク承認率97%以上 • 報酬額設定 – パイロット調査における参加者の平均回答完了時間とアメリカの最低 賃金をもとに報酬額を算出（最低賃金を優に超えるように） • 参加者への倫理的配慮の一つ – 平均8.8分のサーベイで3ドル • 募集人数 – 471名を募集し，有効回答447名 • 回答が矛盾している参加者をデータセットから除外 15 参加者募集
16. • 性別 – 男性：53.7% – 女性：45.2% – その他 または 答えたくない：1.1% • 年代 – 18～24歳：9.6% – 25～34歳：44.5% – 35～44歳：22.6% – 45～54歳：12.8% – 55～64歳：6.9% – 65歳以上：3.5% MTurkを利用した他の先行研究と同様に，20代・30代の割合が高い 16 （参考）参加者の属性
17. • 脅威となるサービス（=知人にアカウント所有を知られたく ないサービス） – 約82%の参加者にそのようなセンシティブサービスが存在 – 具体的なサービス名（任意回答） ⇒ 多くの参加者から挙がったサービスは実態調査の調査対象に 実態調査の結果，ほぼ全てのサービスが安全でなかった（攻撃可能） 17 結果（1/4） マッチング 54.4% アダルトコンテンツ 50.5% ソーシャルネットワーク 19.9% 転職 17.6% 掲示板 14.3% 金融 12.5% ショッピング 8.8% ヘルスケア 4.6% その他 3.9%
18. • 脅威となる理由（=アカウント所有を知られたくない理由） – 自由記述回答を主題分析法（thematic analysis）でコーディング • 帰納的コーディングを実施 – コーダー：2名 – コーディングの信頼性（inter-rater reliability）が一定以上になるまで コードブック修正とコーディングの作業を繰り返し • Cohen’s kappa k>=0.8 18 結果（2/4） テーマ % コメント例 恥ずかしさ 85.4% • マッチングサービスの利用は日常生活でデート相手を見 つけられないことを示すようで恥ずかしい • 女性のアダルトサイトの利用は未だタブーであるから恥 ずかしい 仕事への影響 11.6% • 上司にアダルトサイトや転職サイトの利用を知られて人 事評価に響くのは嫌だ 不道徳な行動 3.0% • 既婚者なのにマッチングサービスを利用すべきではない ※ 原文は英語
19. 19 結果（3/4） ※ 原文は英語 • 潜在的加害者数（=知人のアカウント所有を知りたい願望の 有無）とその理由 – 約25%の参加者が願望有 – 理由（自由記述回答）を主題分析法でコーディング • 身近な人物に対してプライバシー侵害を行う動機を調査した先行研究の 知見に基づき，演繹的コーディングを実施 テーマ % コメント例 嫉妬 63.2% • パートナーがマッチングサービスを利用しているか知りたい 好奇心 34.2% • 同僚が転職を検討しているのか知りたい • 友人の趣味を知ってより親しくなりたい 心配 2.6% • 子供が危険なサービスを使っていないか心配
20. 20 結果（4/4） • 潜在的被害者数 – 潜在的被害者：アカウント所有を知られたくないサービス（センシ ティブサービス）に，知人に知られているメールアドレスを登録して いるユーザ 登録メールアドレス % 知人に知られている センシティブでない サービスにも登録 30.5% センシティブサービス のみに登録 14.7% 知人に知られていない センシティブでない サービスにも登録 15.0% センシティブサービス のみに登録 39.5% 潜在的被害者 （45.2%）
21. 21 研究のまとめ • 脅威の深刻度 – 81％の参加者が脅威と感じる – 25%の参加者が潜在的加害者 – 45%の参加者が潜在的被害者 • 参加者が脅威と感じるサービス – マッチング, アダルトコンテンツ, ソーシャルネットワーク, 転職 etc. – 実態調査の結果，ほぼ全てのサービスが安全でない – 参加者が挙げたカテゴリのサービスに関しては，プライバシー強化の ためにログイン関連メッセージを修正することを提唱※ ユーザスタディと実態調査を通して，プライバシー脅威の深刻度を 調査 プライバシー脅威：攻撃者（身近な人）はログイン関連メッセージを悪用して，知 人のアカウント所有を暴いてプライバシーを侵害 ※ Responsible disclosureを実施（ガイドライン改訂・サービスへの通知）
22. • ホモグラフ攻撃に対するユーザの騙されやすさの測定 – 内容：様々なホモグラフIDNを参加者に提示し，参加者の視覚的識別力を調査 – 結果：大多数のユーザがホモグラフ攻撃を見破ることができない • ユーザが生成するパスワードの異文化間調査 – 内容：日・英・中で参加者を募集し，生成パスワードの特徴を比較分析 – 結果：文化の影響は大きく，国により生成パスワードに違い有 ⇒ 攻撃者は標的ユーザの国を知ることで効率的にパスワード推測可 22 （参考）これまでに実施したユーザスタディの例 Daiki Chiba, Ayako Akiyama Hasegawa, Takashi Koide, Yuta Sawabe, Shigeki Goto, Mitsuaki Akiyama, DomainScouter: Understanding the Risks of Deceptive IDNs, RAID'19. Keika Mori, Takuya Watanabe, Yunao Zhou, Ayako Akiyama Hasegawa, Mitsuaki Akiyama, Tatsuya Mori, Comparative Analysis of Three Language Spheres: Are Linguistic and Cultural Differences Reflected in Password Selection Habits?, EuroUSEC'19.