チュートリアル： ユーザビリティはどう測る？ ～評価手法とその利用～ / How do we measure usability? -Evaluation Methods and Their Use

UWS2022の企画セッションでお話した内容です

Transcript

1. チュートリアル： ユーザビリティはどう測る？ ～評価手法とその利用～ / How do we measure usability? -Evaluation Methods and Their Use 金岡 晃（東邦大学）
2. 自己紹介 金岡 晃 東邦大学 理学部 情報科学科 准教授 • IPSJ SPT（セキュリティ心理学とトラスト）研究会 主査 • KDDI総合研究所/理化学研究所 かなおか あきら • セキュリティとプライバシの ユーザビリティ 専門分野 2022/10/24 UWS2022 1 • 暗号実装・応用：IDベース暗号、検索可能暗号、秘密計 算のシステム実装と運用 • モバイルセキュリティ：Androidのセキュリティ
3. 本発表の目的 2022/10/24 UWS2022 2 セキュリティやプライバシ技術のユーザビリティ調査を行いたいという 研究者の方へ向けて、ユーザビリティの評価手法の解説や最近の 研究における採用状況をお伝え
4. ユーザブルセキュリティ研究の動向 国際会議SOUPS（Symposium on Usable Privacy and Security) の投稿数と採録数 2022/10/24 UWS2022 3
5. ユーザビリティとは 特定のユーザが特定の利用状況において、システム、製品又はサービスを利用する際に、効果、 効率及び満足を伴って特定の目標を達成する度合い （JIS Z 8521:2020） 特定のユーザ 特定の利用状況 特定の目標 効果（Effectiveness） 効率（Efficiency） 満足（Satisfaction） 2022/10/24 UWS2022 4
6. ユーザビリティ：Jakob Nielsenによる定義 2022/10/24 UWS2022 5 Usability is a quality attribute that assesses how easy user interfaces are to use. The word "usability" also refers to methods for improving ease-of-use during the design process. “ユーザビリティとは、質的な属性である。その質的な属性はユーザーインタフェースがどれほど簡単に利用でき るかを測る。「ユーザビリティ」という言葉は、デザイン工程における利用しやすさ（ease-of-use）改善のための 方法としても使われる。” https://www.nngroup.com/articles/usability-101-introduction-to-usability/
7. ユーザビリティを定義する5つのコンポーネント 2022/10/24 UWS2022 6 Learnability（学習しやすさ） Efficiency（効率） Memorability（記憶しやすさ） Errors（エラー） Satisfaction（満足） そのデザインに最初に出会ったときに基本的なタスクをユーザーが達成するのにどれくらい簡単であるか そのデザインを1度覚えたら、ユーザーはどれほど素早くタスクを実施できるか 利用しない期間がある程度過ぎたあとにそのデザインに戻ってきたとき、どれくらい簡単に習熟性を再確立できるか ユーザーはどれくらいの数のエラーをし、それらのエラーがどれくらい重大で、それらのエラーからの回復がどれほど簡単か そのデザインを利用するのにどれほど快適（pleasant）か
8. トレードオフを考える 2022/10/24 UWS2022 7 セキュリティ・プライバシー の対策によりそれぞれ下がる 特定のユーザ 特定の利用状況 特定の目標 効果（Effectiveness） 効率（Efficiency） 満足（Satisfaction） 目的≠ セキュリティ担保・プライバシ保護
9. ユーザブルセキュリティとは 2022/10/24 UWS2022 8 目的 利用者 環境 機能要件 非機能要件 運用・保守性 可用性 拡張性 セキュリティ ユーザビリティ • … • … • ユーザビリティ （ユーザブルセキュリティ） • … 特定のユーザ 特定の利用状況 特定の目標 効果（Effectiveness） 効率（Efficiency） 満足（Satisfaction） それ自身が高いユーザビリティを持っているセキュリティ技術やプロセス 金岡による定義
10. Usable Security & Privacy研究の流れ 2022/10/24 UWS2022 9 人間の行動原理 • セキュリティ＋ユーザビリティの文脈では、未知の部分が多い • 新しい世界と文化 • 例：「スマホをみんなが持ちました。スマホ持ったユーザって移動中に何をする？」 解決のフロー ユーザの行動原理の認識、把握 行動原理を応用した 高いユーザビリティの実現 パスワードのケース では「こういう情報」を効果的に配置しましょう • ユーザってこういうパスワードを付けてしまいがち • ユーザってこういう情報が付与されていると強いパス ワードをつけがち ここで 評価を実施
11. セキュリティ・プライバシ研究における ユーザビリティの評価 “ユーザビリティ”として評価する ユーザビリティの要素を評価する • 専門家による評価 • サーベイ（アンケートとして）の評価 • (おそらく）System Usability Scale（SUS）を利用した評価が最も多い • 効率（スピード）、有効性（成功率、精度）は客観的に測定可能 • Time Performance, Task Performance • 満足、心理的負担、不満の測定がポイントに どういうものがあるか？ • HCI（Human Computer Interaction）研究におけるユーザビリティ評価手法 • SOUPS等の研究での評価傾向 2022/10/24 UWS2022 10
12. SUS（System Usability Scale） 10項目の質問によりシステムのユーザビリティをスコア化（0-100） 1. I think that I would like to use this system frequently. 2. I found the system unnecessarily complex. 3. I thought the system was easy to use. 4. I think that I would need the support of a technical person to be able to use this system. 5. I found the various functions in this system were well integrated. 6. I thought there was too much inconsistency in this system. 7. I would imagine that most people would learn to use this system very quickly. 8. I found the system very cumbersome to use. 9. I felt very confident using the system. 10.I needed to learn a lot of things before I could get going with this system. https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html • 5項目を1－5点とする • 奇数番目の問題については、回答番号から1を引く • 偶数番目の問題については、5から回答番号を引く • 10問の合計を出し、それを2.5倍する スコア化 質問項目 2022/10/24 UWS2022 11
13. SUSの採用例@SOUPS 2022 2022/10/24 UWS2022 12 Volkamer, Melanie, et al. "Increasing security without decreasing usability: A comparison of various verifiable voting systems“, SOUPS 2022 Yoshikawa, Ryo, Hideya Ochiai, and Koji Yatani. "DualCheck: Exploiting Human Verification Tasks for Opportunistic Online Safety Microlearning“, SOUPS 2022 Huaman, Nicolas, et al. "If You Can’t Get Them to the Lab: Evaluating a Virtual Study Environment with Security Information Workers“, SOUPS 2022 Markert, Philipp, et al. "" As soon as it's a risk, I want to require MFA": How Administrators Configure Risk-based Authentication“, SOUPS 2022 Korir, Maina, Simon Parkin, and Paul Dunphy. "An Empirical Study of a Decentralized Identity Wallet: Usability, Security, and Perspectives on User Control“, SOUPS 2022 Whalen, Tara, et al. "Let The Right One In: Attestation as a Usable CAPTCHA Alternative“, SOUPS 2022 Gautam, Anuj, Shan Lalani, and Scott Ruoti. "Improving Password Generation Through the Design of a Password Composition Policy Description Language“, SOUPS 2022 7/37
14. HCI（Human Computer Interaction）研究 におけるユーザビリティ評価手法 • CHAPTER 10 Usability testing 2022/10/24 UWS2022 13
15. ユーザビリティ評価のタイプ Expert-based Testing（専門家によるテスト） Automated Testing（自動化テスト） User-based Testing（ユーザによるテスト） • 専門家によるレビュー • Expert Inspection、Usability Inspectionとも • 代表的手法：Heuristic Review、Consistency Inspection、 Cognitive Walkthrough、ガイドラインレビュー 2022/10/24 UWS2022 14 • ソフトウェア（アプリ）により一連のインタフェースを検査 • 実験参加者にタスクを実施させて評価 ユーザブルセキュリティ・プライバシ 分野では「専門家によるテスト」と 「ユーザによるテスト」が行われて いる
16. ユーザビリティ評価のタイプ Expert-based Testing（専門家によるテスト） Automated Testing（自動化テスト） User-based Testing（ユーザによるテスト） • 専門家によるレビュー • Expert Inspection、Usability Inspectionとも • 代表的手法：Heuristic Review、Consistency Inspection、 Cognitive Walkthrough、ガイドラインレビュー 2022/10/24 UWS2022 15 • ソフトウェア（アプリ）により一連のインタフェースを検査 • 実験参加者にタスクを実施させて評価
17. Expert-based Testing（専門家によるテスト） 2022/10/24 UWS2022 16 Heuristic Review Consistency Inspection Cognitive Walkthrough （認知的ウォークスルー） ガイドラインレビュー • 専門家が経験則によりインターフェースを評価 • 通常10個以下の短いルールのセット • 1人以上の専門家が画面やページ群の一貫性を評価 • レイアウト、色、用語、言語 • インターフェースの専門家がユーザをシミュレートし、 一連のタスクを実際に行いながらレビューする方法 • 頻繁に発生するタスクとめったに発生しないが重要な タスクを含めるべき • ガイドラインに基づきインターフェースを評価 • 例：Web Content Accessibility Guidelines、W3C • https://www.w3.org/TR/WCAG21/ ユーザブルセ キュリティ・プライ バシ分野では 「Heuristic Review」と「認 知的ウォークス ルー」が比較的 行われている印 象
18. ユーザビリティ評価のタイプ Expert-based Testing（専門家によるテスト） Automated Testing（自動化テスト） User-based Testing（ユーザによるテスト） • 専門家によるレビュー • Expert Inspection、Usability Inspectionとも • 代表的手法：Heuristic Review、Consistency Inspection、 Cognitive Walkthrough、ガイドラインレビュー 2022/10/24 UWS2022 17 • ソフトウェア（アプリ）により一連のインタフェースを検査 • 実験参加者にタスクを実施させて評価
19. 自動化ユーザビリティテスト 2022/10/24 UWS2022 18 概要 • ソフトウェア（アプリ）により一連のインタフェースを検査 • ガイドラインを利用して、ガイドラインとインタフェースを比較 • 要約レポートを出力 ポイント • 大量なインタフェース検査を短時間できる • 利用してるフォント数、フォントサイズの平均、クリック可能なボタンの数（の平均）、メニューの 最深レベル数、グラフィックの平均ロード時間 • ユーザビリティの多くの視点は自動的には発見することができない • 適切な用語やラベル、レイアウト • ウェブに特化 • imgタグにaltがあるか、とか • ある/ないは判定できるが、記載内容の適切さは判定できない
20. ユーザビリティ評価のタイプ Expert-based Testing（専門家によるテスト） Automated Testing（自動化テスト） User-based Testing（ユーザによるテスト） • 専門家によるレビュー • Expert Inspection、Usability Inspectionとも • 代表的手法：Heuristic Review、Consistency Inspection、 Cognitive Walkthrough、ガイドラインレビュー 2022/10/24 UWS2022 19 • ソフトウェア（アプリ）により一連のインタフェースを検査 • 実験参加者にタスクを実施させて評価
21. User-based Testing（ユーザによるテスト） 2022/10/24 UWS2022 20 概要 • 実験参加者を募り、タスクを実施してもらう • タスクの実施とその結果から評価を行う テストのタイプ • Formative：開発初期 • 設計コンセプトをテスト • タスク完了させたかよりも、ユーザがインタフェースのコン ポーネントをどのように知覚するかに焦点 • コメント（フィードバック）しやすい。未完成だから気軽。 • Summative • より正式（フォーマル）なプロトタイプ（high-fidelity prototypes）が出来上がっているときに実施 • 特定のデザインの選択が、効果的であるかを評価 • Validation • リリース後の実施 ユーザブルセキュリティ・ プライバシ分野では 「Summative」タイプの ユーザテストが行われて いる 測定 • パフォーマンス測定：時間、タスク • 満足度評価 • その他：エラー数、エラーからの回復平均時間、ヘルプを使っていた時間、検索機能・インデクス へのアクセス数
22. 満足度関連の調査 2022/10/24 UWS2022 21 QUIS (Questionnaire for User Interface Satisfaction) • UIに焦点を当てたアンケート CSUQ (Computer System Usability Questionnaire) PUTQ (Purdue Usability Testing Questionnaire) UMUX (User Metric for User Experience) UMUX-Lite
23. その他いくつかの評価基準 2022/10/24 UWS2022 22 SeBIS (Security Behavior Intentions Scale) • ユーザブルセキュリティ研究に特化 • ユーザビリティではなく、エンドユーザのセキュリティ行動（Behavior）を測るためのもの SA-6 • ユーザビリティではなく、ユーザのセキュリティ意識（Attitude）を測るためのもの UPSP (Users’ Perceived Systems’ Privacy) • ユーザのプライバシーに関する知覚（Ｐｅｒｃｅｉｖｅ）を測るためのもの
24. SOUPS等の研究での満足度評価傾向 2022/10/24 UWS2022 23 調査対象論文 調査方法 • SOUPS 2019, 2020 • 計 53 件の論文 • 論文における評価・実験の部分を見る • ユーザ実験の有無を確認 • 調査内容に満足度に対する項目や言及が行われているかを確認 調査結果 • SUSは「満足度調査」にはカウントしていない • 満足度調査「有り」の6個のうち、1つは簡単な質問と言 及、2つは調査項目にはあるが言及なし ユーザ実験・評価の有無 満足度調査の有無 47/53 6/53
25. まとめ 2022/10/24 UWS2022 24 ユーザビリティ評価の概観 ユーザブルセキュリティにおけるユーザビリティ評価 ユーザ主観部分（満足度）の評価 • ユーザビリティとは • ユーザビリティ評価のタイプ • SUS（System Usability Scale）が良く用いられている • 評価のタイプでは「専門家によるテスト」「ユーザによるテスト」の両方が実施されている • 専門家によるテストでは「Heuristic Review」「認知的ウォークスルー」が散見される • ユーザによるテストの方法はざまざま • 「満足」は評価視点ではない？？ • 負担やわずらわしさなどの心理的負担や不満の評価がされている傾向