視覚障碍者ための音声認証インタフェースデザイン

SecHack365 '2019
研究駆動コース　中井崚日

SecHack365 '2019作品一覧
https://sechack365.nict.go.jp/achievement/2019/index.html

Transcript

1. 視覚障碍者のための ⾳声認証インタフェースデザイン 研究駆動コース 情報デザイン専攻 中井崚⽇ 1
3. 背景 reCAPTCHAとは 認証システム コンピューターと⼈間を区別する認証法 3
4. 背景 視覚障害者はどう認証している？ ⾳声版reCAPTCHAを利⽤ 4
5. 背景 視覚障害者の認証⽅法 ⾳声認証 ユーザが「⾳声を聞く」ボタン をクリック → コンピューターが「１ ５ ８ ９」と数字を読み上げる → ユーザが読み上げた⽂字を⼊⼒ → アカウントが取得可能 脆弱性 Stiltwalker という⾳声認識スクリプトで突破可能 5
6. 背景 視覚障害者向けの認証は未開拓 ⾳声を活⽤した認証に関する研究は乏しい • 認証の脆弱性の研究カテゴリは画像または⽂字を⽤いたものばかり • 既存システムに攻撃をするシステムを作るという内容 [Elie Bursztein 2014] [Suphannee Sivakorn 2016] 6
7. 背景 視覚障害者向けの認証は未開拓 ⾳声を活⽤した認証に関する研究は乏しい • 認証の脆弱性の研究カテゴリは画像または⽂字を⽤いたものばかり • 既存システムに攻撃をするシステムを作るという内容 [Elie Bursztein 2014] [Suphannee Sivakorn 2016] • 数少ない視覚障害者の認証カテゴリの研究は 「視覚的な認証システムをどうサポートさせればよいのか？」 という観点の研究ばかり [J. Holman 2008] [Bryan Dosono 2015] [太⽥ 2016] 7
8. 背景 視覚障害者向けUI確⽴は国際課題 研究意義 • 異なる⼈種、異なる⾔語、異なる読み上げツールにおいても 同様の結論が得られる[B. Dosono 2015] • 視覚障害者向けセキュリティインタフェースの研究事例は殆ど存在しない • ⾳声認証に着眼した研究は無い 8
9. 研究の⽬的 視覚障害者向け認証システムの確⽴ • ⾳声ベースの認証インタフェースのガイドライン設計 • 設計の注意点、システムの実現可能性を⽰す • セキュリティインタフェースのユニバーサル化 • 視覚障害者でも認証できるように • 晴眼者と同等の操作時間実現を⽬指す 9
10. ⽬的 ⾳声認証インタフェースガイドライン提案 研究フロー 1. 解決策の仮説⽴案 2. 仮説に基づきシステム開発 3. 実験による実⽤性検証 4. 得た知⾒の⼀般化 5. インタフェース設計ガイドライン提案 10
11. 研究仮説 ⾁声を利⽤した認証法が有効 • ⾳声認識は視覚障害者が利⽤できる[太⽥ 2016] • 視覚障害者にとって録⾳データの聞き取りは⽇常的 • 読書や勉強に利⽤されている[フィールド調査] • 晴眼者よりも聴覚が発達している • 2倍速の合成⾳声も聞き取れる[フィールド調査] 11
12. 提案 ⾁声を利⽤した認証法 ⾳声認識システムが認知できなかった⾳声を⼈間に解かせる • 脆弱性の克服 • 副次的に⾳声認識システムの精度向上に役⽴つ 聞き取りにくい⾳声の採取⽅法 ⾳声検索の際に意図しない結果が出た⾳声を利⽤ 12
13. プロトタイプ 13 ⽂字⼊⼒
15. プロトタイプの晴眼ユーザフィードバック • 読み上げ機能を使いこなすのが⼤変 • ⽂字⼊⼒は時間がかかる（⾳声⼊⼒が望ましい） • ⼊⼒回答に漢字やカタカナが混ざるとまずい • 提⽰⾳声は5⽂字程度に抑えるべき • フィードバックに振動や⾳声シグナルが必要 • ボタンが横並びの場合、ユーザが認知しづらい など 15
16. 提案のモデルイメージ チューリングテスト 不明瞭⾳声蓄積 ⾳声認識 機械学習 教師データ ⽣成 認識失敗
17. 提案のモデルイメージ チューリングテスト 不明瞭⾳声蓄積 ⾳声認識 機械学習 教師データ ⽣成 認識失敗 副次的な効果
18. 本モデル：研究が研究を呼ぶ チューリングテスト データセット 教師データ ⽣成 新たな研究 新たな研究 公開 公開 提⽰ 不明瞭⾳声 蓄積
19. 実験 ２つの研究対象 19 提⽰⾳声 VoiceOver利⽤時の UIコンポーネント
20. 実験 ２つの研究対象 20 提⽰⾳声 VoiceOver利⽤時の UIコンポーネント
21. 提案⼿法の脆弱性 他の⾳声認識エンジンに突破される可能性 念の為に機械が更に認識しづらくなる⼯夫が必要 話者識別の研究事例 • 複数話者による同時発話の識別は複数の研究事例がある [宮原 2005] [⼭本 2007] [三菱電機 2017] [Honda 2011] • 同⼀話者による同時発話⾳声の識別の事例は確認できず ↓ 対策：同⼀話者による発話⾳声の利⽤
22. 脆弱性克服のための提⽰⼿法の検討 22 単⼀提⽰ 残響提⽰ 同⾳を時間差で提⽰ 複合提⽰ 異⾳の同時提⽰ 0.1秒
23. 脆弱性克服のための提⽰⼿法の検討 23 単⼀提⽰ 残響提⽰ 同⾳を時間差で提⽰ 複合提⽰ 異⾳の同時提⽰ 0.1秒
24. 脆弱性克服のための提⽰⼿法の検討 24 単⼀提⽰ 残響提⽰ 同⾳を時間差で提⽰ 複合提⽰ 異⾳の同時提⽰ 0.1秒
25. 脆弱性克服のための提⽰⼿法の検討 25 単⼀提⽰ 残響提⽰ 同⾳を時間差で提⽰ 複合提⽰ 異⾳の同時提⽰ 0.1秒
26. 実験 提⽰⼿法のユーザビリティ検証 26 単⼀提⽰ 残響提⽰ 同⾳を時間差で提⽰ 複合提⽰ 異⾳の同時提⽰ 0.1秒
27. 脆弱性克服のための提⽰⼿法の検討 27 提⽰単語 ３〜９⽂字の国名 被験者 アイマスクを着⽤した晴眼者 評価指標 回答時間 / 聞き返し回数 / 正答率
28. 実験結果 28 回答時間 正答率 聞き返し回数
29. 実験結果 29 回答時間 正答率 聞き返し回数 低いほどよい ⾼いほどよい
30. 実験結果 30 回答時間 聞き返し回数 悪い順 複合＞残響＞単⼀ 低いほどよい
31. 実験結果 31 正答率 「残響」が「単⼀」と同等の正答率 ⾼いほどよい
32. 実験結果 既知単語のみ提⽰した場合 32 回答時間 正答率 聞き返し回数
33. 実験結果 既知単語で回答時間短縮 33 総合 既知 -4秒 -7秒 -35秒
34. 実験結果 既知単語で聞き返し回数減少 34 総合 既知 -1回 -2回 -5回
35. 実験結果 既知単語で正答率向上 35 総合 既知 +25% +10% +20%
36. 実験のまとめ 回答時間の短さ、聞き取り回数の少なさ 単⼀ > 残響 > 複合 正答率 単⼀ = 残響 （約65〜70%） 既知単語の場合、全体のユーザビリティ向上 単⼀は正答率90%達成
37. 既存の⾳声認証法との⽐較 既知単語での回答時間（⼝頭） 単⼀：5秒 残響：20秒 既存⼿法の認証時間 視覚障碍者：90秒 ※本実験では実際の認証ではなく⾳声⼊⼒を前提とした ⼝頭回答の時間を計測しているため、単純⽐較は危険 既存のWEBサイトの認証時間[太⽥ 2016]
38. 実験 ２つの研究対象 38 提⽰⾳声 VoiceOver利⽤時の UIコンポーネント
39. 実験 VoiceOver利⽤時の iOSのUIコンポーネントの評価 39 ユーザビリティ テスト 感性評価 インタビュー ３種の評価
40. 実験 VoiceOver利⽤時の iOSのUIコンポーネントの評価 40 ユーザビリティ テスト 感性評価 インタビュー ３種の評価
41. テスト項⽬ 提⽰⾳声の再⽣速度を2.0倍に変更 ⼊⼒ タッチ 仮定 ユーザがiPhoneを利⽤可能 ステップ 1.バーの位置を探り出す 2.バーが速度変更のためのものであることを認識 3.速度の変更⽅法を理解 4.現状の速度を理解 5.速度をアップ 6.現状の速度を確認 成功基準 30秒以内に速度を変更する 備考 ユーザはアイマスクを着⽤ 評価実験 ユーザビリティテストの例 ユーザビリティテストとは？ ユーザによるタスク処理を通じ て使いやすさを評価するテスト [Jakob Nielsen 1993]
42. 評価実験 ユーザビリティテストの例 ユーザビリティテストの有⽤性 “5⼈でユーザテストすれば ユーザビリティ上の問題の うち 85%が⾒つかる” [Jakob Nielsen 1993]
43. ユーザビリティテストの評価指標 43 タスクの完了時間：被験者がタスクを完了するまでの時間 タスクの完 遂：被験者が正しく完了したタスクの割合 タスクレベルの満⾜度：難しいタスクにフラグを⽴てる 重⼤なエラー：ユーザがタスクを完了できなくなるエラー 軽微なエラ ー：タスクの完了に影響を及ぼさないエラー エラーフリー率 ：エラーなしにタスクを完了した被験者 テストレベルの満⾜度：被験者の全体を通した体験の評価 ※満⾜度はリッカート尺度による主観評価によって定める
44. ユーザビリティテスト タスク完了時間 （秒） 短いほど良い
45. ユーザビリティテスト タスク完了時間 （秒） テキストフィールド の操作に180秒かかる
46. ユーザビリティテスト タスクの完遂率 完遂率50%
47. ユーザビリティテスト タスクの完遂率 ⾼いほど良い
48. ユーザビリティテスト タスクの完遂率 完遂率100%
49. ユーザビリティテスト タスク難易度 低いほど良い
50. ユーザビリティテスト タスク難易度 操作難易度低 低いほど良い
51. ユーザビリティテスト タスク難易度 操作難易度⾼
52. ユーザビリティテスト 重⼤なエラー （回） 少ないほど良い
53. ユーザビリティテスト 重⼤なエラー （回） 少ないほど良い 平均0.3回の修正困難なヒューマンエラー
54. ユーザビリティテスト 軽微なエラー （回） 少ないほど良い
55. ユーザビリティテスト 軽微なエラー （回） 平均2回の軽微な ヒューマンエラー
56. 実験 VoiceOver利⽤時の iOSのUIコンポーネントの評価 56 ユーザビリティ テスト 感性評価 インタビュー ３種の評価
57. 感性評価 イメージプロフィール 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
58. 実験 VoiceOver利⽤時の iOSのUIコンポーネントの評価 58 ユーザビリティ テスト 感性評価 インタビュー ３種の評価
59. インタビュー結果（⼈気順） スイッチ：切り替えるものであることが直感的に分かる セグメントコントロール：切り替えるものであることが理解可能 ボタン：ラベル名が適当でない場合、押下後の現象が想像困難 ラベル：押したらなにか起きるのか？と思ってしまう ピッカー：操作が複雑、選択肢が多い、上限下限が分からない、 テキストフィールド：盲⽬の場合メンタルモデル構築 59
60. 考察 認証UIへの応⽤ セグメントコントロール：提⽰⾳声の切り替え ボタン：認証成功、失敗時になど利⽤。 押した後には⾳声フィードバックを付与。 ピッカー：提⽰⾳声再⽣速度など動的な機能と対応付け テキストフィールド：極⼒使わない。成功率も認証時間も増える 60
61. 本研究まとめ 研究の意義は絶⼤ • ユーザブルセキュリティインタフェースの確⽴は国際課題 • アクセシブルな⾳声認証システムの研究事例は殆ど無い 視覚障害者向けセキュリティインタフェース改善 • まずは認証システムからユニバーサル化 • ⾳声認証インタフェースの設計ガイドラインを確⽴した 61
62. 展望 設計 GUIコンポーネントの配置再設計 実験 • サンプルサイズの増加（n>8） • 全体の検定と多重⽐較 • 既存⼿法との実験条件を揃えた上でユーザビリティ⽐較 • 実際の障碍者で認証実験 62
63. ターゲットと解決策 WHO：視覚障碍者（特に後天性全盲） WHERE：室内 WHEN：認証時 WHY：既存⼿法は脆弱かつ使いづらい WHAT：チューリングテスト HOW：⾁声を利⽤した⾳声認証
64. あとがき デザインとは？ ⼈類の殆どが「デザイン」という⾔葉を勘違いしている デザインとは ・物体やサービスを対象ユーザに最適化する⾏為 ・実社会の問題を解決する⾏為
65. 設計ガイドは論⽂として公開 学会候補 65 ガイドイメージ [太⽥ 2016]
66. 66 fin
67. 67 番外編 実施した基礎調査と 他の実験
68. 後天性全盲者へのインタビュー基礎調査 VoiceOverおよびiOSデバイスについて • 秘匿性の問題から⾳声認証を普段利⽤していない • ソフトウェアキーボードが扱えないユーザは多い • iPhone使⽤者でもキーボードの扱いに慣れるには訓練が必要 • UIに効果⾳や振動は必須ではない • 結局、⾳声ガイドを頼りにするから • VoiceOver利⽤時はフリック操作を多⽤ 68
69. 後天性全盲者へのインタビュー基礎調査 既存のチューリングテストについて • 視覚障碍者向けに対応しておらず実際に認証できないケースがある • 管理者に電話すると突破できる場合がある • Twitterの認証など • 合成⾳声を聞いて認証するテストは提⽰⾳声が聞き取りにくい 69
70. 後天性全盲者へのインタビュー基礎調査 ⾳声認証について • 秘匿性が重要 • パスワードの発⾔に抵抗 • キーワード検索なども可能な限り知られたくない • 声紋認証は需要がありそう • パスワードを登録して認証時に発⾔ • 話者識別＋パスワードならば周囲に知られても問題ない 70
71. 他の実験 iOSのUIコンポーネント評価 読み上げ機能利⽤時の印象・使いやすさを感性⼯学の視点で評価 SD法 → イメージプロフィール + 因⼦分析 /ユーザビリティテスト/ エスノグラフィー/半構造化インタビュー 71
72. 感性評価 ラベル 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
73. 感性評価 ラベル 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
74. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 ボタン
75. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 セクションコントロール
76. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 テキストフィールド
77. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 スライダー
78. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 スイッチ
79. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 アクティビティ
80. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 プログレス
81. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 ピッカー
82. 82 番外編 既存WEBサイトの認証時間 [太⽥ 2016]
83. その他 ・背景 ・reCAPTUREのチェックボックス ・提案 ・課題点 ・正当性の検証 ・関連研究 83
84. 背景 視覚障害者の現状 84
86. 背景 視覚障害者は認証が遅い WEBページのセキュリティのアクセシビリティを評価した研究 視覚障害者と晴眼者とタスク処理時間の⽐較 outlookのログイン認証（太⽥2016） • 視覚障害者は晴眼者の約5倍の操作時間 • 実験の際には視覚障害者向けのテキスト読み上げツールを使⽤ 太⽥裕也，⾦岡晃，森達哉，視覚障害者に対するウェブ認証インタフェースのアクセシビリティ評価，研究報告セキュリティ⼼理学とトラスト，pp.1-6， 2016. 86
87. 背景 視覚障害者はログイン認証が遅い （太⽥2016）より DeNAショッピングのログイン認証 晴眼者の4倍の操作時間 アカウント管理画⾯画像認証やラジオボタンの操作時間の⽐較 晴眼者 ：2秒⾜らず 視覚障害者：80秒〜90秒 87
88. 背景 reCAPTCHAとは 認証システム • Completely Automated Public Turing test to tell Computers and Humans Apart • コンピューターと⼈間を区別するための 完全に⾃動化された公開チューリングテスト 88
89. 背景 視覚障害者はどう認証している？ ⾳声版reCAPTCHAが存在 これを利⽤ 89
90. 背景 reCAPTCHAの認証法の種類 バージョンによって異なる 1. ⼿書き画像による認証 2. ⼈間によるセルフチェック 3. 9枚の画像から同類のものを探る認証 4. ユーザ⾏動から⾃動分析 90
91. 背景 reCAPTCHA V1 91
92. 背景 reCAPTCHA V1 特徴 • OCRで読み取れなかった書籍の⽂字が表⽰ • 表⽰された⽂字を読んでフォームに打ち込む • reCAPTCHA V1のおかげで年間250万冊もの本が電⼦化 92
93. 背景 reCAPTCHA V1 脆弱性 ⼀⽂字ごとに分割することで突破 参考 Multi-digit number recognition from street view imagery using deep convolutional neural networks 93
94. 背景 reCAPTCHA V2 94
95. 背景 reCAPTCHA V2 特徴 • 1枚の画像が9〜16グリッドに分割 • 「乗り物を選択」などのお題が提⽰ • お題に該当するグリッドを選択して認証 • 副次的になにかに役⽴っているかは不明 95
96. 背景 reCAPTCHA V2 画像選択 脆弱性 • 70%以上低コストで突破できる • 1枚の画像の解読時間は平均19秒 • 解像度が⾼い画像ほど突破が楽 参考 • I Am Robot：(Deep) Learning to Break Semantic Image CAPTCHAs • I’m not a human: Breaking the Google reCAPTCHA 96
97. 背景 reCAPTCHA V3 97
98. 背景 reCAPTCHA V3 特徴 • ユーザ⾏動をトラッキングして⾃動認証 • マウスやスクロールの動きなど • ⾏動が怪しまれた場合のみ⼿動認証 • 取得したユーザの⾏動を蓄積しビッグデータに • ビッグデータから怪しさを判定 • 判定精度が⾃動的に進化 98
99. 背景 reCAPTCHA V3 脆弱性 • シークレットタブではユーザ⾏動がトラッキング不可 • ロボットか疑われたらレガシーフロー（v1、v2）で認証 • クリックジャックを悪⽤すると突破可能 • 善良なユーザの⾏動をスキャンして悪⽤ • ロボットなのかを断定することは不可 参考： The No CAPTCHA problem 99
100. 背景 reCAPTCHA V2 チェックボックス 突破⽅法 2Captchaで突破可能 • バイトくんが⼿動で 解錠している模様 100
101. 背景 ⾳声版reCAPTCHA Invisible reCAPTCHA ユーザが「⾳声を聞く」ボタンをクリック → コンピューターが「１ ５ ８ ９」と数字を読み上げる → ユーザが読み上げた⽂字を⼊⼒ → アカウントが取得可能 101
102. 背景 Invisible reCAPTCHAの問題点 脆弱性 Stiltwalker を使えば突破できる 機会損失 reCAPTUREの⻑所が活かされていない • V1は書籍の電⼦化に副次的に貢献している • これは副次的な効果がない 102
103. 仮説 想定ボトルネック 着眼点 参考：[太⽥ 2016] • 認証速度 • 回答の正当性評価 • ⼈間にも聞き取れない⾳声の認証 • 認証成否の確認 • 認証失敗時のフォロー⽅法 • 環境ノイズの影響 103
104. 提案 想定ボトルネックと解決策 着眼点 参考：[太⽥ 2016] • 認証速度 • 回答の正当性評価 • ⼈間にも聞き取れない⾳声の認証 • 認証成否の確認 • 認証失敗時のフォロー⽅法 • 環境ノイズの影響 解決策 再⽣速度を可変 統計的処理 提⽰⾳声リジェクトと別⾳声提⽰ ⾳声シグナルによるフィードバック リジェクト数が少ない⾳声提⽰ ノイズを含む⾳声を提⽰し検証 → → → → → → 104
105. 調査実験 ガイドライン作成に向けて 調査項⽬ • 既存システムの問題点抽出（操作時間やミス回数、ユーザ不満） • 提案システムおよび⾳声による認証システムの脆弱性や懸念点 • 年齢、性別、障害の程度（全盲、弱視、晴眼）による差 • 操作時間（提⽰⾳声を聞く速度、⽂字起こし速度） • 提⽰⾳声の再⽣回数（聞き返し回数） • ⾁声の聞き取りやすさ（発話速度、声量、⽅⾔、英語、⿐声） • ⾳声シグナルの意図理解 • 場所による認証精度の違い（環境ノイズの影響） 105
106. 提案 ユーザ回答の正答性の検証⽅法 統計的に正答を決定 • 20⼈のうち11⼈以上が同じ回答をしていたその回答を正答に • reCAPTCHA3（ユーザトラッキング）と併⽤ ユーザ回答と正答を照らし合わせる 106
107. 提案 Invisible reCAPTCHA V2 利点 • 視覚障害者も晴眼者も利⽤可能 • 副次的に⾳声認識システムの精度が向上 • 突破されたとしても⾳声認識システムの精度向上に役⽴つ 107
108. プロトタイプ1 特徴 • iOSアプリ • Swiftで制作 • ⾳声の提⽰と⾳声認識 • とても簡素 108
109. 提案 プロトタイプ 機能（優先度順） 1. ⾳声のランダム提⽰ 2. 正当性の⾃動評価 3. ユーザ側が提⽰⾳声を選べるように 4. 聞き取りにくい⾳声の⾃動抽出 5. 国や地⽅ごとの⾳声を利⽤ • GPSを利⽤してユーザの所属地域（国や地⽅）を割り出す • その地域の⾔語や⽅⾔の⾳声を提⽰ 109
110. 調査⽅法 ユーザビリティテスト ユーザ • 質的実験 • 後天全盲1名〜、先天全盲1名〜 • 量的実験 • アイマスクを着⽤した晴眼者5名 参考：[Nielsen Norman Group] 110
111. 課題点 ⽂字で表現できない微妙な⾳をどう扱うか • 提案⾳声から排除 • 発⾳記号の利⽤ • Wiktionary:⽇本語の発⾳表記 https://ja.wiktionary.org/wiki/Wiktionary:%E6%97%A5%E6%9C%AC%E8%AA %9E%E3%81%AE%E7%99%BA%E9%9F%B3%E8%A1%A8%E8%A8%98 111
112. 関連研究 関連研究 112
113. 関連⽂献 1 I’m not a human：Breaking the Google reCAPTCHA 論⽂ 2 reCAPTCHA： Human-based character recognition via web security measures 論⽂ 3 Google Online Security Blog, “Are you a robot? Introducing “No CAPTCHA reCAPTCHA 公式ドキュメント 4 The end is nigh： Generic solving of text-based CAPTCHAs.” in USENIX WOOT 論⽂ 5 Multi-digit number recognition from street view imagery using deep convolutional neural networks 論⽂ 6 The No CAPTCHA problem ブログ 7 Show and tell：A neural image caption generator 論⽂ 8 Deep visual-semantic alignments for generating image descriptions 論⽂ 9 NMF-KNN：Image Annotation Using Weighted Multi-view Non-negative Matrix Factorization 論⽂ 10 Massive-scale online collaboration 動画 11 【2Captcha】Python+Seleniumで『reCAPTCHA』を突破する⽅法 ブログ 12 reCaptcha、85%の精度で⾃動解析・突破できますってよ ブログ 13 機械学習を使ってCAPTCHAをわずか15分で突破するチャレンジが⾏われる ブログ 14 Googleの⾳声認識を利⽤してreCAPTCHAを突破できると研究者が発表 ブログ 15 画像認証のreCAPTCHAがv3にバージョンアップ ブログ 16 あの「イラつく⽂字認証」のおかげで年間250万冊もの本がデジタル化されている - ログミーBiz ブログ 17 語学の学習をしながら、実はネットを翻訳「Duolingo」 ブログ 113
114. 関連研究 研究 ・インタフェース提案系 ・ユーザビリティ調査系 ・アルゴリズム系 reCAPTCHAに似たサービス ・Duolingo 114
115. 関連研究 （太⽥ 2016） 認証フォームや⽬的の場所の選択の困難性 • 認証フォームが発⾒不可、発⾒に時間がかかる問題 • スクリーンリーダーが「ログイ ン」の⽂字を読まなかった • メニュー を開くタブを探すことに苦戦していた • タブが「リンク」 としか読まれないので，上からひとつひとつ開く必要 • ラジオボタンの選択に時間がかかる • ラジオボタンはスクリーンリーダーで読めない • 広告が多すぎて選択のノイズになっている 115
116. 関連研究 （太⽥ 2016） 認証成功確信の困難性 • 健常者はログインが成功すると画⾯の切り替わる • しかし、切り替わった 画⾯を把握するのに時間がかかる • ログインの確信条件 • 「ユーザ名」が聞こえたとき • 「ログアウト」という⾳声 が聞こえたとき 認証成否をいかに障害者に伝えるかが設計において重要 116
117. 関連研究 （太⽥ 2016） ⾳声認証の困難性 • 視覚障害者も晴眼者も⾳声認証に対して悪印象を抱いている • ボタンを押しても再⽣されないという理由で認証失敗 • ⾳声を再⽣できた⼈の中で，何を⾔っているかわからずに認証に 失敗した⼈はいなかった 画像認証や⾳声認証にとって変わるアクセシビリティが⾼い 新たな認証技術の開発が期待されている 117
118. 関連研究 （太⽥ 2016） 環境起因の困難性 • ボタンが押せない • 失敗は「⾳声認証に切り替える」や「アカウントの削除」のボタンが押 せないようなケースがいくつかあった ブラウザとスクリーンリーダーや OS の相性などが原因 118
119. 関連研究 （太⽥ 2016） 認証情報⼊⼒の困難性 • パスワード⼊⼒ • 失敗例 • 誤⼊⼒による失敗 • ⼊⼒中に別のメニューを開いて失敗 • 実装 • (1) ⼊⼒内容を⾳声で読み上げる実装 • (2) マスクした⽂字 (アスタリスクなど) を読み上げる実装 • (3) ⼊⼒内容は⼀切読みあげない実装 セ キュリティとアクセシビリティはトレードオフ 119
120. 関連研究 （Shiri 2012） 認証の秘匿性と意識の問題 • 潜在的なセキュリティの脅威に気付いていないか、⼼配していない • パスワードで保護された画⾯ロックなどのオプションの認証⽅法を使 ⽤した参加者は⼀⼈もいませんでした • スクリーンリーダでパスコードを読み上げてしまうと秘匿性が損なわ れ危険 • 認証のたびにヘッドホンで⽿を塞ぐことを視覚障害者は避けたがって いる 120
121. Deep visual-semantic alignments for generating image descriptions 画像にどんな物体が映っているのかを判定 ニューラルネットワークを利⽤ 121
122. NMF-KNN：Image Annotation Using Weighted Multi-view Non-negative Matrix Factorization 画像に⾃動でタグをつけるための機械学習モデルの研究 • 多視点⾮負⾏列因数分解（NMF）の重み付き拡張 • 異なる特徴にわたって係数⾏列にコンセンサス制約を課すNMF-KNNアプローチ 従来のモデル：新しい画像がDBに追加された場合再学習が必要に 本論⽂ ：この問題を解決 122
123. Duolingo Duolingoとは 外国語を学ぶための無料サービス 副次的な効果 • ユーザが語学のレッスンのつもりで取り組んでいる翻訳作業は 実はクリエイティブ・コモンズの⽂書翻訳作業 • ⽂書を⽂章ごとに切り分けてレッスンに散りばめ ユーザに翻訳させている 123