GUIからのVUI⽣成による⼊⼒⼿順数の減少⼿法

第188回HCI研究会発表資料「GUIからのVUI⽣成による⼊⼒⼿順数の減少⼿法」
https://www.ipsj.or.jp/kenkyukai/event/hci188ec56.html

Transcript

1. GUIからのVUI⽣成による ⼊⼒⼿順数の減少⼿法 早稲⽥⼤学 篠原 佑友 神奈川⼯科⼤学 岩⽥⼀ 東京⼥⼦⼤学 ⽩銀純⼦ 早稲⽥⼤学 深澤良彰
2. UI 2 研究背景 様々なUIが世の中に登場している CUI : Character User Interface VUI : Voice User Interface GUI : Graphic User Interface TUI : Tangible User Interface
3. VUI : Voice User Interface VUIの利点 ハンズフリー、低い学習コスト、声⾊ VUIの困難な点 複数の選択肢の提⽰、⻑⽂の表現、絵⽂字の表現 研究背景 ユーザーの発話内容を検索クエリとしてだけ 扱う⾳声検索とは違い、⾳声で操作をするUI 3
4. VUIとGUIの組み合わせ 研究背景 VUIとGUIが組み合わさったデバイスが市場に登場 VUIとGUIの組み合わせ⽅法と利便性の向上を研究する マルチモーダルデバイスは黎明期のために 組み合わせ⽅法に対する研究が少ない 4
5. VUIとGUIに関する関連研究 5 モバイルアプリUIにおけるマルチモーダル⼊⼒評価をモデル化する研究 [Schafferら，2015] -Modeling input modality choice in mobile Graphical and speech interface- ユーザーの前提条件が共有されていることはVUIの⽅がいい GUIと⽐較するとVUIは、ユーザーに表⽰できる情報量は少ないが、情報の要約は得意 ⼊⼒⼿順の減少とUIの形態の関係に着⽬ VUI×GUIモバイルアプリケーションを作成し、タスクを被験者に⾏ってもらい結果を集積。 その被験者実験の結果をモデル化することで、UIの種類が増えた場合にも対応できる⾃動評価システムを作る試み UI選択には⼊⼒⼿順の数が最も影響を与えることが書かれている。
6. 前提条件が共有されている、試⾏錯誤がいらない選択⼊⼒はGUIによって表現すると 過剰にモードが発⽣するために⼿順が増加してしまう。 その部分をVUIにすることで⼿順を抑え、ユーザビリティを向上させることができる。 仮説 RQ 仮説とRQ 6 選択⼊⼒が連続する状況のGUIに VUIを付与することで効果があるかどうか？
7. 提案⼿法 : GUIにVUIを付与するまでの流れ 7
8. 選択⼊⼒が連続していて、モードが多いもの 選択⼊⼒が連続する状況のもので、⼊⼒項⽬を⼀⽂で表現できるモバイルアプリケーション 例：乗換案内、席予約など 提案⼿法 : 対象のGUIアプリケーション 8
9. 提案⼿法 : 対象のGUIアプリケーション 9
10. 提案⼿法 : VUI作成の基本 10 ユーザーが⾏いたい⾏為１つあたりにおける動作の枠組みのこと。 ユーザーの問いかけとソフトウェア側の処理をマッピングする仕組みのことで，「今⽇の天気は？」 と発話された場合にはユーザーが今⽇の天気を知りたがっているとして今⽇の天気の情報を伝える動 作をするというように，「天気情報」としてインテントを作成する。 インテント エンティティ 対話モデル ユーザーからシステムが抽出したい⽇時，場所などのキーワードを指定する場所のこと。 ユーザーの発話のニュアンス、レスポンスの⽂⾔などのモデルケースのこと。
11. 提案⼿法 : VUIの⽣成 UIコンポーネント上に表⽰されているテキストを「⼊⼒項⽬」とする ① GUI上での⼊⼒項⽬の抽出 選択⼊⼒を⾏う画⾯のGUI上で，画⾯遷移をするボタンに表⽰されているテキストを「動作」とする ② GUI上での動作の定義 「⼊⼒項⽬」と「動作」から，ユーザーがGUI上で⾏っていた⾏為を どの様にVUIで発話するかをパターン別に対話モデルとして作成する ③ 対話モデル設計 ユーザーの⾏いたい⾏為１つに対してインテントを，⼊⼒項⽬をそれぞれエンティティとして登録する 対話モデル設計で作成した⼊⼒パターンをレスポンス⽂⾔として登録する ④ インテントとエンティティの作成（VUIの作成） 11
12. 提案⼿法 : VUIの⽣成 乗換案内 駅選択ダイアログ 時刻選択ダイアログ 乗⾞駅から降⾞駅に 何時に⾏きたい 12
13. 提案⼿法 : GUIへのVUIの付与 GUIでVUI⼊⼒もできるようにする 元のGUIアプリケーション上にGUIからVUIへ切り替えるスイッチ，およびVUI⼊⼒を⾏う遷移先のGUIを作成する 乗換案内 乗換案内 トップ画⾯ トップ画⾯ 遷移先画⾯ 13
14. 評価実験 : 実験の⽬的 選択⼊⼒が連続する状況のGUIに VUIを付与することで効果があるかどうか？ を明らかにする 被験者 15⼈（20代前半の男⼥） ⼿法を適⽤できるシナリオに沿ったモバイルタスク実験 内容 14
15. 評価実験 : 実験の準備 本⼿法が適⽤できるシナリオを2つ作成 ハンズフリーを活かすため⽚⽅のシナリオは歩⾏しながらを想定 シナリオの種類 シナリオA シナリオB アプリの⽬的 ワーキングスペース予約 電⾞乗換案内 ⼊⼒姿勢 座り 歩き ⼊⼒項⽬数 4 3 ⼊⼒項⽬(選択肢の数) 部屋タイプ(5)、コマ数(3) ⼈数(25)、何限(7) 乗⾞駅(14)、降⾞駅(14)、 時間 ① シナリオ作成 シナリオごとにモバイルアプリケーションを2つ作成 GUIをAndroid, VUIをDialogflowで実装 ③ タスク作成 ② アプリケーション作成 実際に被験者に⾏ってもらう6つのタスク内容を決定 GUI操作、VUI操作、⾃由操作という順で実験を⾏い ⾃由選択タスクでGUIとVUIのどちらを選択するか？ のデータを取る 15
16. 評価実験 : 実験の⼿順 16
17. 評価実験 : ⾃由操作実験の結果 座りタスク VUI GUI 80％ 20％ 53.3％ 46.7％ 歩きタスク 17
18. 評価実験 : 考察（GUI側から） 座りタスクでGUI⼊⼒が多く 歩きタスクではVUI⼊⼒が多くなったのは何故か？ 座りタスクでGUI⼊⼒を選択した被験者の主な理由 歩きタスクでGUI⼊⼒を選択した被験者の主な理由 「VUIよりもGUIに慣れている」「タップした⽅が早いと思ったから」 「VUIよりもGUIに慣れている」「恥ずかしいから」 純粋な⼊⼒⼿順数の上ではVUIの⽅が少ないにも関わらず、座りタスクではGUI⼊⼒が多い ・座りタスクではGUI⼊⼒の⽅が早いという動機があったが，歩きタスクでは⾒られない ・歩きタスクでは被験者がGUIの⽅を使い慣れていたとしてもVUIの⽅が⼊⼒完了までの時間が短いという条件 で実験ができたことがわかる 18
19. 座りタスクでVUI⼊⼒を選択した被験者の主な理由 歩きタスクでVUI⼊⼒を選択した被験者の主な理由 「⼊⼒時間が短い」「打つのが⾯倒」 「⼊⼒時間が短い」「歩きながらだと楽」「VUIに慣れたから」 座りタスクでGUI⼊⼒が多く 歩きタスクではVUI⼊⼒が多くなったのは何故か？ 純粋な⼊⼒⼿順数の上ではVUIの⽅が少ないにも関わらず、座りタスクではGUI⼊⼒が多い ・⼊⼒⼿順数が少ないことに起因する理由が多い ・座りタスクで速度を理由にGUI⼊⼒を選択した被験者は歩きタスクではVUI⼊⼒を選択している事実を確認 評価実験 : 考察（VUI側から） 19
20. 評価実験 : 考察 歩⾏が加わり，ユーザーが処理しなければならない認知負荷が増したことで ⼿順数の少なさとハンズフリーにおいて優位があるVUI⼊⼒を選択する傾向があるためと考えられる 座りタスクでGUI⼊⼒が多く 歩きタスクではVUI⼊⼒が多くなったのは何故か？ 純粋な⼊⼒⼿順数の上ではVUIの⽅が少ないにも関わらず、座りタスクではGUI⼊⼒が多い 座りタスクと歩きタスクの間での⾏動変容から 本⼿法による⼊⼒⼿順を減少させる試みはある程度の効果がある 20
21. まとめ 今後の課題 ・選択肢の数を変えた状態で有⽤性が⽣まれる閾値評価 ・VUI⼊⼒コマンドを⾃由構⽂にした場合の評価 ⼿法を適⽤したアプリによる被験者実験 ・座り状態と歩き状態で被験者の選択に⾏動変容が⾒られた ・VUIによる⼊⼒⼿順数を減らす試みは効果がある GUIからのVUI⽣成による⼊⼒⼿順の減少⼿法 ユーザーの⽬的に対して過剰にモードが発⽣する状況のGUIに ⽣成したVUIを組み込むことで⼊⼒⼿順を減らす試み 21
22. ご清聴ありがとうございました