Upgrade to Pro — share decks privately, control downloads, hide ads and more …

チュートリアル: ユーザビリティはどう測る? ~評価手法とその利用~ / How do we measure usability? -Evaluation Methods and Their Use

Akira Kanaoka
October 25, 2022

チュートリアル: ユーザビリティはどう測る? ~評価手法とその利用~ / How do we measure usability? -Evaluation Methods and Their Use

UWS2022の企画セッションでお話した内容です

Akira Kanaoka

October 25, 2022
Tweet

More Decks by Akira Kanaoka

Other Decks in Research

Transcript

  1. チュートリアル:
    ユーザビリティはどう測る?
    ~評価手法とその利用~
    / How do we measure usability? -Evaluation Methods and Their Use
    金岡 晃(東邦大学)

    View full-size slide

  2. 自己紹介
    金岡 晃
    東邦大学 理学部 情報科学科 准教授
    • IPSJ SPT(セキュリティ心理学とトラスト)研究会 主査
    • KDDI総合研究所/理化学研究所
    かなおか あきら
    • セキュリティとプライバシの
    ユーザビリティ
    専門分野
    2022/10/24 UWS2022
    1
    • 暗号実装・応用:IDベース暗号、検索可能暗号、秘密計
    算のシステム実装と運用
    • モバイルセキュリティ:Androidのセキュリティ

    View full-size slide

  3. 本発表の目的
    2022/10/24 UWS2022
    2
    セキュリティやプライバシ技術のユーザビリティ調査を行いたいという
    研究者の方へ向けて、ユーザビリティの評価手法の解説や最近の
    研究における採用状況をお伝え

    View full-size slide

  4. ユーザブルセキュリティ研究の動向
    国際会議SOUPS(Symposium on Usable Privacy and Security)
    の投稿数と採録数
    2022/10/24 UWS2022
    3

    View full-size slide

  5. ユーザビリティとは
    特定のユーザが特定の利用状況において、システム、製品又はサービスを利用する際に、効果、
    効率及び満足を伴って特定の目標を達成する度合い
    (JIS Z 8521:2020)
    特定のユーザ
    特定の利用状況
    特定の目標
    効果(Effectiveness)
    効率(Efficiency)
    満足(Satisfaction)
    2022/10/24 UWS2022
    4

    View full-size slide

  6. ユーザビリティ:Jakob Nielsenによる定義
    2022/10/24 UWS2022
    5
    Usability is a quality attribute that assesses how easy user interfaces
    are to use. The word "usability" also refers to methods for improving
    ease-of-use during the design process.
    “ユーザビリティとは、質的な属性である。その質的な属性はユーザーインタフェースがどれほど簡単に利用でき
    るかを測る。「ユーザビリティ」という言葉は、デザイン工程における利用しやすさ(ease-of-use)改善のための
    方法としても使われる。”
    https://www.nngroup.com/articles/usability-101-introduction-to-usability/

    View full-size slide

  7. ユーザビリティを定義する5つのコンポーネント
    2022/10/24 UWS2022
    6
    Learnability(学習しやすさ)
    Efficiency(効率)
    Memorability(記憶しやすさ)
    Errors(エラー)
    Satisfaction(満足)
    そのデザインに最初に出会ったときに基本的なタスクをユーザーが達成するのにどれくらい簡単であるか
    そのデザインを1度覚えたら、ユーザーはどれほど素早くタスクを実施できるか
    利用しない期間がある程度過ぎたあとにそのデザインに戻ってきたとき、どれくらい簡単に習熟性を再確立できるか
    ユーザーはどれくらいの数のエラーをし、それらのエラーがどれくらい重大で、それらのエラーからの回復がどれほど簡単か
    そのデザインを利用するのにどれほど快適(pleasant)か

    View full-size slide

  8. トレードオフを考える
    2022/10/24 UWS2022
    7
    セキュリティ・プライバシー
    の対策によりそれぞれ下がる
    特定のユーザ
    特定の利用状況
    特定の目標
    効果(Effectiveness)
    効率(Efficiency)
    満足(Satisfaction)
    目的≠
    セキュリティ担保・プライバシ保護

    View full-size slide

  9. ユーザブルセキュリティとは
    2022/10/24 UWS2022
    8
    目的
    利用者
    環境
    機能要件
    非機能要件
    運用・保守性
    可用性
    拡張性
    セキュリティ
    ユーザビリティ
    • …
    • …
    • ユーザビリティ
    (ユーザブルセキュリティ)
    • …
    特定のユーザ
    特定の利用状況
    特定の目標
    効果(Effectiveness)
    効率(Efficiency)
    満足(Satisfaction)
    それ自身が高いユーザビリティを持っているセキュリティ技術やプロセス
    金岡による定義

    View full-size slide

  10. Usable Security & Privacy研究の流れ
    2022/10/24 UWS2022
    9
    人間の行動原理
    • セキュリティ+ユーザビリティの文脈では、未知の部分が多い
    • 新しい世界と文化
    • 例:「スマホをみんなが持ちました。スマホ持ったユーザって移動中に何をする?」
    解決のフロー
    ユーザの行動原理の認識、把握
    行動原理を応用した
    高いユーザビリティの実現
    パスワードのケース
    では「こういう情報」を効果的に配置しましょう
    • ユーザってこういうパスワードを付けてしまいがち
    • ユーザってこういう情報が付与されていると強いパス
    ワードをつけがち
    ここで
    評価を実施

    View full-size slide

  11. セキュリティ・プライバシ研究における
    ユーザビリティの評価
    “ユーザビリティ”として評価する
    ユーザビリティの要素を評価する
    • 専門家による評価
    • サーベイ(アンケートとして)の評価
    • (おそらく)System Usability Scale(SUS)を利用した評価が最も多い
    • 効率(スピード)、有効性(成功率、精度)は客観的に測定可能
    • Time Performance, Task Performance
    • 満足、心理的負担、不満の測定がポイントに
    どういうものがあるか? • HCI(Human Computer Interaction)研究におけるユーザビリティ評価手法
    • SOUPS等の研究での評価傾向
    2022/10/24 UWS2022
    10

    View full-size slide

  12. SUS(System Usability Scale)
    10項目の質問によりシステムのユーザビリティをスコア化(0-100)
    1. I think that I would like to use this system frequently.
    2. I found the system unnecessarily complex.
    3. I thought the system was easy to use.
    4. I think that I would need the support of a technical person to be able to use this system.
    5. I found the various functions in this system were well integrated.
    6. I thought there was too much inconsistency in this system.
    7. I would imagine that most people would learn to use this system very quickly.
    8. I found the system very cumbersome to use.
    9. I felt very confident using the system.
    10.I needed to learn a lot of things before I could get going with this system.
    https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html
    • 5項目を1-5点とする
    • 奇数番目の問題については、回答番号から1を引く
    • 偶数番目の問題については、5から回答番号を引く
    • 10問の合計を出し、それを2.5倍する
    スコア化
    質問項目
    2022/10/24 UWS2022
    11

    View full-size slide

  13. SUSの採用例@SOUPS 2022
    2022/10/24 UWS2022
    12
    Volkamer, Melanie, et al.
    "Increasing security without decreasing usability: A comparison of various verifiable voting systems“, SOUPS
    2022
    Yoshikawa, Ryo, Hideya Ochiai, and Koji Yatani.
    "DualCheck: Exploiting Human Verification Tasks for Opportunistic Online Safety Microlearning“, SOUPS 2022
    Huaman, Nicolas, et al.
    "If You Can’t Get Them to the Lab: Evaluating a Virtual Study Environment with Security Information
    Workers“, SOUPS 2022
    Markert, Philipp, et al.
    "" As soon as it's a risk, I want to require MFA": How Administrators Configure Risk-based Authentication“,
    SOUPS 2022
    Korir, Maina, Simon Parkin, and Paul Dunphy.
    "An Empirical Study of a Decentralized Identity Wallet: Usability, Security, and Perspectives on User
    Control“, SOUPS 2022
    Whalen, Tara, et al.
    "Let The Right One In: Attestation as a Usable CAPTCHA Alternative“, SOUPS 2022
    Gautam, Anuj, Shan Lalani, and Scott Ruoti.
    "Improving Password Generation Through the Design of a Password Composition Policy Description
    Language“, SOUPS 2022
    7/37

    View full-size slide

  14. HCI(Human Computer Interaction)研究
    におけるユーザビリティ評価手法
    • CHAPTER 10 Usability testing
    2022/10/24 UWS2022
    13

    View full-size slide

  15. ユーザビリティ評価のタイプ
    Expert-based Testing(専門家によるテスト)
    Automated Testing(自動化テスト)
    User-based Testing(ユーザによるテスト)
    • 専門家によるレビュー
    • Expert Inspection、Usability Inspectionとも
    • 代表的手法:Heuristic Review、Consistency Inspection、
    Cognitive Walkthrough、ガイドラインレビュー
    2022/10/24 UWS2022
    14
    • ソフトウェア(アプリ)により一連のインタフェースを検査
    • 実験参加者にタスクを実施させて評価
    ユーザブルセキュリティ・プライバシ
    分野では「専門家によるテスト」と
    「ユーザによるテスト」が行われて
    いる

    View full-size slide

  16. ユーザビリティ評価のタイプ
    Expert-based Testing(専門家によるテスト)
    Automated Testing(自動化テスト)
    User-based Testing(ユーザによるテスト)
    • 専門家によるレビュー
    • Expert Inspection、Usability Inspectionとも
    • 代表的手法:Heuristic Review、Consistency Inspection、
    Cognitive Walkthrough、ガイドラインレビュー
    2022/10/24 UWS2022
    15
    • ソフトウェア(アプリ)により一連のインタフェースを検査
    • 実験参加者にタスクを実施させて評価

    View full-size slide

  17. Expert-based Testing(専門家によるテスト)
    2022/10/24 UWS2022
    16
    Heuristic Review
    Consistency Inspection
    Cognitive Walkthrough
    (認知的ウォークスルー)
    ガイドラインレビュー
    • 専門家が経験則によりインターフェースを評価
    • 通常10個以下の短いルールのセット
    • 1人以上の専門家が画面やページ群の一貫性を評価
    • レイアウト、色、用語、言語
    • インターフェースの専門家がユーザをシミュレートし、
    一連のタスクを実際に行いながらレビューする方法
    • 頻繁に発生するタスクとめったに発生しないが重要な
    タスクを含めるべき
    • ガイドラインに基づきインターフェースを評価
    • 例:Web Content Accessibility Guidelines、W3C
    • https://www.w3.org/TR/WCAG21/
    ユーザブルセ
    キュリティ・プライ
    バシ分野では
    「Heuristic
    Review」と「認
    知的ウォークス
    ルー」が比較的
    行われている印

    View full-size slide

  18. ユーザビリティ評価のタイプ
    Expert-based Testing(専門家によるテスト)
    Automated Testing(自動化テスト)
    User-based Testing(ユーザによるテスト)
    • 専門家によるレビュー
    • Expert Inspection、Usability Inspectionとも
    • 代表的手法:Heuristic Review、Consistency Inspection、
    Cognitive Walkthrough、ガイドラインレビュー
    2022/10/24 UWS2022
    17
    • ソフトウェア(アプリ)により一連のインタフェースを検査
    • 実験参加者にタスクを実施させて評価

    View full-size slide

  19. 自動化ユーザビリティテスト
    2022/10/24 UWS2022
    18
    概要 • ソフトウェア(アプリ)により一連のインタフェースを検査
    • ガイドラインを利用して、ガイドラインとインタフェースを比較
    • 要約レポートを出力
    ポイント • 大量なインタフェース検査を短時間できる
    • 利用してるフォント数、フォントサイズの平均、クリック可能なボタンの数(の平均)、メニューの
    最深レベル数、グラフィックの平均ロード時間
    • ユーザビリティの多くの視点は自動的には発見することができない
    • 適切な用語やラベル、レイアウト
    • ウェブに特化
    • imgタグにaltがあるか、とか
    • ある/ないは判定できるが、記載内容の適切さは判定できない

    View full-size slide

  20. ユーザビリティ評価のタイプ
    Expert-based Testing(専門家によるテスト)
    Automated Testing(自動化テスト)
    User-based Testing(ユーザによるテスト)
    • 専門家によるレビュー
    • Expert Inspection、Usability Inspectionとも
    • 代表的手法:Heuristic Review、Consistency Inspection、
    Cognitive Walkthrough、ガイドラインレビュー
    2022/10/24 UWS2022
    19
    • ソフトウェア(アプリ)により一連のインタフェースを検査
    • 実験参加者にタスクを実施させて評価

    View full-size slide

  21. User-based Testing(ユーザによるテスト)
    2022/10/24 UWS2022
    20
    概要 • 実験参加者を募り、タスクを実施してもらう
    • タスクの実施とその結果から評価を行う
    テストのタイプ • Formative:開発初期
    • 設計コンセプトをテスト
    • タスク完了させたかよりも、ユーザがインタフェースのコン
    ポーネントをどのように知覚するかに焦点
    • コメント(フィードバック)しやすい。未完成だから気軽。
    • Summative
    • より正式(フォーマル)なプロトタイプ(high-fidelity
    prototypes)が出来上がっているときに実施
    • 特定のデザインの選択が、効果的であるかを評価
    • Validation
    • リリース後の実施
    ユーザブルセキュリティ・
    プライバシ分野では
    「Summative」タイプの
    ユーザテストが行われて
    いる
    測定 • パフォーマンス測定:時間、タスク
    • 満足度評価
    • その他:エラー数、エラーからの回復平均時間、ヘルプを使っていた時間、検索機能・インデクス
    へのアクセス数

    View full-size slide

  22. 満足度関連の調査
    2022/10/24 UWS2022
    21
    QUIS (Questionnaire for User Interface Satisfaction)
    • UIに焦点を当てたアンケート
    CSUQ (Computer System Usability Questionnaire)
    PUTQ (Purdue Usability Testing Questionnaire)
    UMUX (User Metric for User Experience)
    UMUX-Lite

    View full-size slide

  23. その他いくつかの評価基準
    2022/10/24 UWS2022
    22
    SeBIS (Security Behavior Intentions Scale)
    • ユーザブルセキュリティ研究に特化
    • ユーザビリティではなく、エンドユーザのセキュリティ行動(Behavior)を測るためのもの
    SA-6
    • ユーザビリティではなく、ユーザのセキュリティ意識(Attitude)を測るためのもの
    UPSP (Users’ Perceived Systems’ Privacy)
    • ユーザのプライバシーに関する知覚(Perceive)を測るためのもの

    View full-size slide

  24. SOUPS等の研究での満足度評価傾向
    2022/10/24 UWS2022
    23
    調査対象論文
    調査方法
    • SOUPS 2019, 2020
    • 計 53 件の論文
    • 論文における評価・実験の部分を見る
    • ユーザ実験の有無を確認
    • 調査内容に満足度に対する項目や言及が行われているかを確認
    調査結果
    • SUSは「満足度調査」にはカウントしていない
    • 満足度調査「有り」の6個のうち、1つは簡単な質問と言
    及、2つは調査項目にはあるが言及なし
    ユーザ実験・評価の有無 満足度調査の有無
    47/53
    6/53

    View full-size slide

  25. まとめ
    2022/10/24 UWS2022
    24
    ユーザビリティ評価の概観
    ユーザブルセキュリティにおけるユーザビリティ評価
    ユーザ主観部分(満足度)の評価
    • ユーザビリティとは
    • ユーザビリティ評価のタイプ
    • SUS(System Usability Scale)が良く用いられている
    • 評価のタイプでは「専門家によるテスト」「ユーザによるテスト」の両方が実施されている
    • 専門家によるテストでは「Heuristic Review」「認知的ウォークスルー」が散見される
    • ユーザによるテストの方法はざまざま
    • 「満足」は評価視点ではない??
    • 負担やわずらわしさなどの心理的負担や不満の評価がされている傾向

    View full-size slide