クロスモーダル知覚に基づく擬似触覚提示

Transcript

1. クロスモーダル知覚に基づく 擬似触覚提示 2021/12/10 1
2. 講演の概要 • 触覚デバイスの概要・課題 • クロスモーダル知覚を用いた擬似触覚提示 • 概要 • 事例 • 特性 • まとめ Ujitoko, Y., & Ban, Y. (2021). Survey of Pseudo-haptics: Haptic Feedback Design and Application Proposals. IEEE Transactions on Haptics. https://ieeexplore.ieee.org/document/9424469 • 本日の内容にご興味を持たれた方は↓をご参照ください 2 • 本日は個別の研究を詳しくお話しするというよりは、 研究分野を俯瞰できるようにお話しします
3. 講演の概要 • 触覚デバイスの概要・課題 • クロスモーダル知覚を用いた擬似触覚提示 • 概要 • 事例 • 特性 • まとめ Ujitoko, Y., & Ban, Y. (2021). Survey of Pseudo-haptics: Haptic Feedback Design and Application Proposals. IEEE Transactions on Haptics. https://ieeexplore.ieee.org/document/9424469 • 本日の内容にご興味を持たれた方は↓をご参照ください 3 • 本日は個別の研究を詳しくお話しするというよりは、 研究分野を俯瞰できるようにお話しします
4. 触覚デバイスとは？ 4 実世界のユーザ 触覚デバイス シミュレーション 世界 ユーザがシミュレーションに 働きかける ユーザがシミュレーションから 触覚情報を受け取る • 触覚デバイスはユーザに触覚情報を与える装置 ・ゲームの世界 ・バーチャル世界 (・遠隔地) …など 触覚デバイスの使われ方の1例
5. 触覚デバイスとは？ 5 触覚デバイスでバーチャルな物体の形状・硬さの情報を受け取っている例
6. 触覚デバイスの例 e.g., HaptX Gloves DK2 e.g., TouchX e.g., 3DoF cable 型デバイス[1] 接地型 外骨格型 指先装着型 しかしデバイスの大きさ・重さ・値段の問題で、 日常利用可能な触覚デバイスはまだ現れていない これまでに様々な触覚デバイスが開発されてきた (受け取れる触感の種類・分解能・レンジ・応答性などの観点で検討が進められている) 6
7. 触覚デバイスの課題とアプローチ • 課題 • ユーザが日常で気軽に利用できる触覚提示の仕組みの開発 7 これからお話しする一連の研究は、 人間の知覚特性を活用してこの課題を解決するものの一種です シミュレーション世 界 ユーザがシミュレーションに働き かける ユーザがシミュレーションから触覚 情報を受け取る 実世界のユーザ 人の知覚特性を活用し 汎用的な入出力装置(マウス・視覚モニタ)だけで 触感を提示する マウス 視覚モニタ
8. 講演の概要 • 触覚デバイスの概要・課題 • クロスモーダル知覚を用いた擬似触覚提示 • 概要 • 事例 • 特性 • まとめ 8
9. マルチモーダルな知覚 光・映像 音 振動・ 圧力 匂い 味 刺激 感覚器 知覚 視覚 聴覚 触覚 嗅覚 味覚 目 耳 触覚 受容器 鼻 舌 通常のマルチモーダルな知覚 各感覚は、それぞれ固有の感覚器を通した刺激に基づいて知覚される
10. クロスモーダルな知覚 光・映像 匂い 味 刺激 感覚器 知覚 視覚 嗅覚 味覚 目 鼻 舌 クロスモーダルな知覚 ある感覚器に対応した知覚が、別の感覚器から得た情報に影響される クロス モーダル 統合 赤い イチゴの かき氷 イチゴの におい 砂糖の味 イチゴの味？
11. クロスモーダル知覚に基づく擬似触覚提示 光・映像 刺激 感覚器 知覚 目 クロスモーダル知覚により触知覚も変わる？ 振動・ 圧力 触覚 触覚 受容器 音 耳 クロス モーダル 統合
12. クロスモーダル知覚により触知覚が変わる例 • (CPUリソースの不足などにより) カーソルが急に減速したときに重さ感・抵抗感を感じる 視覚刺激による触知覚の変化の例
13. クロスモーダル知覚により触知覚が変わる例 • 手のひらをこすり合わせるときの摩擦音の高周波成分を強調すると 手のひらががカサカサして乾いたように感じる 聴覚刺激による触知覚の変化の例 Champoux, F., Collignon, O., Bacon, B. A., Lepore, F., Zatorre, R. J., & Théoret, H. (2011). Early-and late-onset blindness both curb audiotactile integration on the parchment-skin illusion. Psychological Science, 22(1), 19-25.
14. クロスモーダル知覚の原理 Ernst, M. O., & Banks, M. S. (2002). Humans integrate visual and haptic information in a statistically optimal fashion. Nature, 415(6870), 429-433. 統合された形状知覚 （分散が小さい視覚寄りに知覚される） 視覚情報の分布 （分散小） 触覚情報の分布 （分散大） • ある知覚に対して、複数のモダリティが寄与するときに、 信頼性が高いモダリティの手がかりの寄与が大きくなる 視覚と触覚に異なる手がかりを与えて どのように知覚されるかを実験 統合された知覚は 各モダリティの信頼度(分散の大きさ)で説明できる
15. クロスモーダル知覚に基づく擬似触覚提示の考え方 × 触覚デバイスは大きさ・重さ・値段の観点でまだ日常利用しづらい 〇視聴覚デバイスは既に普及している →普及している視聴覚デバイスを活用することができれば、 クロスモーダル知覚に基づく触覚提示を日常利用可能 この後のスライドでは、クロスモーダル知覚に基づく擬似的な触覚提示 の中でも特に視覚刺激を活用した事例をご紹介します 光・映像 刺激 感覚器 知覚 目 振動・ 圧力 触覚 触覚 受容器 音 耳 クロス モーダル 統合
16. 講演の概要 • 触覚デバイスの概要・課題 • クロスモーダル知覚を用いた擬似触覚提示 • 概要 • 事例 • 特性 • まとめ 1
17. 事例の紹介 • 力（例：物体の重さ感） • 幾何的形状（例：物体の外形） • テクスチャ（例：物体表面の摩擦感） • 触感の観点で網羅するように事例を紹介していきます
18. 移動量の見えを変えて重さ感を制御 • 実際の手の移動量よりも、見た目の移動量を小さく見せることでユーザは重く感じる Samad, Majed, et al. "Pseudo-haptic weight: Changing the perceived weight of virtual objects by manipulating control-display ratio." Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 2019. 実際の手の位置 見た目の手の位置 Control (入力量) Display (出力量) • ControlとDisplayの量を制御し、 70gの物体を持ち上げるときに、 5g程度重さ感を増減できることを示した
19. 物体の色を変えて重さ感を制御 • 白いものを軽く、黒いものを重く知覚する効果を活用し、 AR環境で物体の輝度を変更し重さ感を制御 Ban, Yuki, et al. "Augmented endurance: controlling fatigue while handling objects by affecting weight perception using augmented reality." Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. 2013. • 白くしたところ疲労感が軽減され、黒くしたところ疲労感が増加した
20. 速度の見えを変えて打撃感を制御 • 打撃の瞬間に身体運動の速度を遅くすることで打撃感を大きくする Ban, Y., & Ujitoko, Y. (2021, July). Hit-Stop in VR: Combination of Pseudo-haptics and Vibration Enhances Impact Sensation. In 2021 IEEE World Haptics Conference (WHC) (pp. 991-996). IEEE. • 小型の振動モータ単体だと強い打撃感は出せないが、 本手法を活用すると強い打撃感を出せる。臨場感・体験としての楽しさも向上
21. 視覚刺激で幾何的形状を制御 • 指の軌道を変えて見せることで対象形状を異なるように知覚させる 実際の手の位置 見た目の手の位置 Ban, Y., Kajinami, T., Narumi, T., Tanikawa, T., & Hirose, M. (2012, March). Modifying an identified curved surface shape using pseudo-haptic effect. In 2012 IEEE Haptics Symposium (HAPTICS) (pp. 211-216). IEEE.
22. 視覚刺激で幾何的形状を制御 • VR空間での手の軌道の見えを変えることで、 物体の位置を違うように感じさせる Azmandian, M., Hancock, M., Benko, H., Ofek, E., & Wilson, A. D. (2016, May). Haptic retargeting: Dynamic repurposing of passive haptics for enhanced virtual reality experiences. In Proceedings of the 2016 chi conference on human factors in computing systems (pp. 1968-1979).
23. 視覚刺激で摩擦感を表現 23 • 入力ペンが滑る一方で，画面上のポインタが固着するのを見ると， 静止摩擦を感じる Ujitoko, Y., Ban, Y., & Hirota, K. (2019, July). Presenting static friction sensation at stick-slip transition using pseudo-haptic effect. In 2019 IEEE World Haptics Conference (WHC) (pp. 181-186). IEEE. 実験により最大で15%程度摩擦感が増加する
24. 視覚刺激で振動による粗さ感を強調 24 • 入力ペンを振動させつつ， 画面上のポインタが視覚的に振動するのを観察させることで 表面の粗さ感を粗く感じさせる 触覚的振動 を付与 視覚的振動 を付与 実験により最大で5%程度 粗さが触覚的に強調されたことが確認 Ujitoko, Y., Ban, Y., & Hirota, K. (2019). Modulating fine roughness perception of vibrotactile textured surface using pseudo-haptic effect. IEEE transactions on visualization and computer graphics, 25(5), 1981-1990.
25. 視覚刺激で粗さ感を強調 25 • 実際の素材の粗さ感も 視覚刺激で強調可能 Ota, Y., Ujitoko, Y., Ban, Y., Sakurai, S., & Hirota, K. (2020, September). Surface Roughness Judgment During Finger Exploration Is Changeable by Visual Oscillations. In International Conference on Human Haptic Sensing and Touch Enabled Computer Applications (pp. 33- 41). Springer, Cham.
26. タッチパネルにおける重さ感 26 重さ感なし 重さ感あり 指とスクリーンの移動量を制御することで 重さのような感覚を生み出す 何に使える？（次のスライド） Narumi, T., Ujitoko, Y., Ban, Y., Tanikawa, T., Hirota, K., & Hirose, M. (2017, June). Resistive swipe: Visuo-haptic interaction during swipe gestures to scroll background images on touch interfaces. In 2017 IEEE World Haptics Conference (WHC) (pp. 334-339). IEEE.
27. タッチパネルにおける擬似触覚 27 指で雪面を歩く体験 Yusuke Ujitoko, Yuki Ban, Takuji Narumi, Tomohiro Tanikawa, Koichi Hirota, Michitaka Hirose : Yubi-Toko: Finger Walking in Snowy Scene using Pseudo-haptic Technique on Touchpad, SIGGRAPH Asia 2015 Emerging Technologies, 2015(demo)
28. これまでの検討のまとめ • 表現したい触感に対して 探索的に視覚刺激が検討されてきた • 探索的な検討の中で、 クロスモーダル知覚に基づく擬似触覚提示の特性が判明しつつある （次のスライドでご紹介します） バーチャル 世界 入力 (マウス入力等) 視覚刺激等 (カーソル位置等) どのような触感を 提示したいか 所望の触感を提示するために ユーザの入力に対し、どのような視覚刺激を返せばよいか “当たり”がついている状況 （例えば粗さ感を表現するにはカーソルにノイズを混ぜればよいなど)
29. 特性：物理刺激による触知覚と等価なものを知覚させられるわけではない アプリ目的 アプリの説明 適用性 トレーニング (例：手術トレーニング) ユーザに何かを習得させる ×(トレーニング中の触感とトレーニング 後の触感が等価でないと効果小） 補助 (例：ガイダンス) ユーザのアクションを補助する 〇 エンタメ ユーザを楽しませる 〇 • アプリケーションの分類と適用性 • クロスモーダル知覚で生成される知覚は物理刺激による触知覚と等価ではない （質的に異なる） 例：ユーザはスクリーンを動かすときに重さを感じるが、 この重さは、物理的な平板をずらすときの重さと質的に異なる →アプリケーションによって向き・不向きあり
30. (余談) 評価について 例えば以下のような重さ感を変えられる手法に対しては、 さまざまな重さを持つ物体を用意しておいて、同じ重さに感じる物体を定義する Q1: 〇〇感として提示できる大きさを明らかにしたいときにどうする？ 実際の手の位置 見た目の手の位置 Control (入力量) Display (出力量) 典型的な方法：物理的に等価な大きさを定義する ところが前スライドの通り、 クロスモーダルに知覚されるものは物理刺激による触知覚と等価ではないため、 上のような物理的等価点を定義する方法は、 クロスモーダルに知覚された感覚を無理やり、 物理的な触知覚に落とし込んで評価していることとなる
31. 特性:クロスモーダルに制御できる知覚量には限界有り 例：タッチパネル上での柔らかさ感提示 で柔らかさ感の知覚制御量に限界がある例 (整合する形でクロスモーダルに統合する には限界があるためと思われる) タッチパネルを押したときの 描画表面の変形量を変えることで、 柔らかさ感の知覚を制御する仕組み 変形量の変化が増えても あるところで柔らかさ感の知覚制御は限界に Kokubun, A., Ban, Y., Narumi, T., Tanikawa, T., & Hirose, M. (2014, February). Representing normal and shearing forces on the mobile device with visuo-haptic interaction and a rear touch interface. In 2014 IEEE Haptics Symposium (HAPTICS) (pp. 415-420). IEEE. 大きく知覚を変えるように制御するのは困難 →軽微な触感の付与や 触感の制御に向いている
32. 特性：個人差 擬似触覚の感じやすさには個人差有り 擬似触覚の感じやすさ 伴、宇治土公: Pseudo-haptics効果の個人差要因解明の基礎検討, 第26回日本VR学会大会予稿集 • デモをしていると 3層くらいに分かれる印象あり • 良く感じる人：3割 • 少し感じる人：5割 • 全く感じない人：2割 • オンライン調査したところ、以下が判明 • 高年齢なほど感じにくい • 女性の方が感じにくい • どのような要因が年齢・性別による差を 生み出しているか調査予定
33. クロスモーダル知覚に基づく擬似触覚提示の課題 • 科学的な側面 • これまでに見つかった知見を統合して理論化 • 工学的な側面 • 設計環境の検討 • アプリケーションへの適用検討 • クロスモーダル知覚に基づく触覚提示が生きるアプリの分析等 • ロバストな提示 • 個人差を較正する技術検討等
34. まとめ • 本講演では以下の項目についてご紹介しました • 触覚デバイスの概要 • クロスモーダル知覚に基づく擬似触覚提示の 概要・事例・特性・課題 Ujitoko, Y., & Ban, Y. (2021). Survey of Pseudo-haptics: Haptic Feedback Design and Application Proposals. IEEE Transactions on Haptics. https://ieeexplore.ieee.org/document/9424469 • 本日の内容にご興味を持たれた方は↓をご参照ください