視聴触覚間のクロスモーダル効果を用いた風向知覚操作 / Manipulating the Perceived Directions of Wind by Visuo-Audio-Haptic Cross-Modal Effects

伊東 健一，伴 祐樹，割澤 伸一．視聴触覚間のクロスモーダル効果を用いた風向知覚操作．バーチャル学会2020．p. 14．2020年12月．
https://sites.google.com/view/virtualconference2020

バーチャルリアリティ（VR）の研究で，風の感覚によって臨場感・没入感を向上させる「風覚ディスプレイ」という装置が提案されている．しかし，これまでの風覚ディスプレイには，風向を再現するために多くの風発生源（風源）を必要としてしまう課題があった．そこで，風源の少ない風覚ディスプレイを実現するため，物理的風向とは異なる「バーチャルな風向」をクロスモーダル効果によって錯覚させる手法を提案する．

粒子が一定方向に流れるVR映像と，立体的な風の音像（聴いて方向がわかる音）を風と同時に提示することで，視覚と聴覚からバーチャル風向の情報を与えるシステムを開発した．物理的な送風は，2台の固定されたファンだけから行った．

知覚された風向を調べる実験では，視聴覚情報の提示によって風向知覚が変化し，バーチャル風向に近い風向が感じられることが明らかになった．

Transcript

1. 伊東 健一，伴 祐樹，割澤 伸一（東京大学） 2020年12月12日 バーチャル学会2020 視聴触覚間のクロスモーダル効果を用いた風向知覚操作 Manipulating the Perceived Directions of Wind by Visuo-audio-haptic Cross-modal Effects
2. 視聴触覚間のクロスモーダル効果を用いた風向知覚操作 2 結果 風向を表す音・映像を提示すると，物理的風向とは異なる風向を知覚する 物理的風向とは異なる風向（バーチャル風向）を知覚 右前から風が来ている 利点 バーチャルリアリティ（VR）コンテンツにおける風を，簡単な装置で再現できる 風向を示す立体音像 風向を示すVR映像
3. VRにおける触覚ディスプレイ 3 視覚・聴覚ディスプレイ （ヘッドマウントディスプレイ・HMD） 触覚ディスプレイ [3-1] Hapbeat合同会社，Hapbeat．https://hapbeat.com/ （2020年12月1日閲覧） [3-2] Yukari Konishi, et al., "Synesthesia suit: the full body immersive experience”. In ACM SIGGRAPH 2016 Posters (SIGGRAPH '16). Article 71, 1. 2016. ディスプレイ = 人の感覚（視覚，聴覚，触覚， …… ）を再現する装置 触覚ディスプレイは，VRの現実感・没入感を高める目的で研究・開発されている Synesthesia Suit[3-2] Hapbeat[3-1]
4. 風覚ディスプレイ（Wind Display） 4 風覚 = 風が当たったときの感覚で，触覚・圧覚・温冷覚等からなる [4-1] 設置型 (e.g. WindyWall [4-3]) 頭部搭載型 (e.g. VaiR [4-2]) [4-1] 小木哲朗, 廣瀬通孝. "科学技術データ提示における多感覚の統合効果." 日本機械学会論文集 C編. vol. 61, no. 584, pp. 1586–1592. 1995. [4-2] Rietzler, M., et al., “VaiR: Simulating 3D Airflows in Virtual Reality”, In Proc. of the CHI '17, pp. 5669-5677, 2017. [4-3] Tolley, D., et al., “WindyWall: Exploring Creative Wind Simulation”, In Proc. of the TEI '19, pp. 635-644, 2019. [4-4] Suzuki, Y., et al., “Airflow Presentation Method for Turning Motion Feedback in VR Environment”. In ICAT-EGVE 2019, 2019. [4-5] Wilberz, A., et al., “Facehaptics: Robot arm based versatile facial haptics for immersive environments”. In Proc. of the CHI ’20, pp. 1-14, 2020. 風覚ディスプレイ 利点 風を再現すると，VR環境の臨場感[4-2]，移動感[4-4]，感情的反応[4-5] が改善する 課題 風向を再現するには風発生源（風源）を多数並べたり動かしたりする必要があり，装置が複雑 風を想起させるVR環境
5. アプローチ：風向知覚の操作 5 方針 物理的風向とは異なる風向を知覚させることで，簡易な装置で風覚ディスプレイを実現する これまでの風覚ディスプレイ 風向知覚操作を用いた風覚ディスプレイ
6. クロスモーダル効果の利用 6 研究目的 風と視覚・聴覚刺激の提示による風向知覚変化を定量的に検証する クロスモーダル効果（複数の感覚刺激が統合されることで人の知覚が変化する現象）を 用いて風向を錯覚させる手法が提案されている 送風と同時に方向の分かる風の音を聴くと， 知覚する風向が最大67.12°変化する [6-1] 風の流れを示すVR映像の提示で， 定性的評価では風向知覚が変化する [6-2] [6-1] Ito, K., et al., "Manipulation of the Perceived Direction of Wind by Cross-modal Effects of Wind and Three-dimensional Sound," IEEE WHC 2019, pp. 622-627. 2019. [6-2] 伊藤亘輝, et al., “VR空間で全周囲から風を感じる為の送風機の配置の検討, ” 情報処理学会研究報告, vol. 2019-GN-106, no. 48, pp. 1-5, 2019.
7. 視覚・聴覚・風覚情報提示の実装 7 手法 視覚・聴覚から「バーチャル風向」の情報を提示する 視覚と聴覚からバーチャル風向の情報を同時に与え，風向知覚の操作を試みる 物理的風向とは異なる風向を知覚 風向を示す立体音像 風向を示すVR映像 （バーチャル風向） （物理的風向）
8. 聴覚提示｜風の立体音像 8 聴覚提示 バーチャル風向に音像定位される風の音を録音し，再生  バーチャル風向から聞こえたと知覚する（定位される）立体音像として 風の音を，ヘッドホンからバイノーラル再生した  リアルな風の音になるよう，立体音響を録音できるダミーヘッドに ファンの風を当てて録音した 立体音像 ダミーヘッドによる録音の様子
9. 視覚提示｜風の流れを表す立体映像 9 視覚提示 流れる粒子の映像で全周囲のバーチャル風向を提示  水平に粒子が流れる映像でバーチャル風向を視覚的に表現した  映像に没入できるよう，HMDに表示した 提示した映像の例
10. 風提示｜ファンによる物理的風の提示 10 風提示 2方向から送風し，バーチャル風向に合わせて風速を連続的に制御  物理的に送風するためにファンを使用した  前後左右の4方向にファンを置いた  実験では，前後または左右から送風した 送風装置の外観 提示するバーチャル風向と各ファンに指定する風速値の関係
11. 視聴覚情報提示の効果を検証する実験 11 視聴覚情報提示は，いずれか単体の提示よりも正確に風向知覚を操作可能かどうかの検証 実験目的 実験設計 視聴覚 視覚のみ 聴覚のみ 24回 24回 24回 24回 24回 24回 実験の様子 実験条件（各条件で，12方向 x 2回ずつ．被験者内計画） 12秒間の風提示・視聴覚情報提示を体験し， 風が来たと思う方向を答える
12. 視聴覚情報提示実験（12名）の結果1 12 前後から送風した条件でのバーチャル風向（ ）と知覚された風向の平均（� 𝐩𝐩𝐩𝐩𝐩𝐩 ） 知覚された風向がバーチャル風向に近い = 風向知覚操作の効果が高い 結論 視覚情報・聴覚情報を提示すると，より正確に風向知覚を操作できる
13. 視聴覚情報提示実験（12名）の結果2 13 左右から送風した条件でのバーチャル風向（ ）と知覚された風向の平均（� 𝐩𝐩𝐩𝐩𝐩𝐩 ） 結論 左右からの送風では聴覚刺激（立体音像）の効果が小さく，改善の余地がある 「視聴覚」「視覚のみ」にほとんど差がみられない 前後が誤って知覚されている
14. まとめ 14 視聴触覚間のクロスモーダル効果を用いた風向知覚操作 Manipulating the Perceived Directions of Wind by Visuo-audio-haptic Cross-modal Effects YouTube 伊東 健一，伴 祐樹，割澤 伸一（東京大学） ファンによる風 風の方向を示す映像・音  風向知覚の操作によって， 少数の風発生源で多様な 風向を提示できる  本手法により，幅広いVR コンテンツに風の体験を 導入できる