神 戸 デ ジ タ ル ・ ラ ボ 新 事 業 創 造 係 堀 尾 風 仁 K o b e H o l o L e n s ミ ー ト ア ッ プ v o l . 5 Microsoft Mesh に学ぶ Mixed Reality の気持ち良い UX とは？ －MRTK v2.7.3 で実験しみてた
堀 尾 風 仁 株 式 会 社 神 戸 デ ジ タ ル ・ ラ ボ コ ミ ュ ニ テ ィ 運 営 ・ A R K O B E ・ A z u r e T e c h L a b . M i c r o s o f t M V P f o r W i n d o w s D e v e l o p m e n t ( 2 0 2 0 - 2 0 2 2 ) Twitter アカウント @Futo_Horio
Microsoft Mesh とは h t t p s : / / w w w . y o u t u b e . c o m / w a t c h ? v = l h K n 9 m j y _ Q M Microsoft Mesh ハンズオンデモ | 協調的な複合現実体験を提供する新しいプラットフォーム H o l o L e n s や P C か ら M i x e d R e a l i t y 空 間 へ ダ イ ブ し て 、 ホ ロ グ ラ フ ィ ッ ク を 共 有 し な が ら コ ミ ュ ニ ケ ー シ ョ ン が 可 能 P u b l i c P r e v i e w アバターで相手の動きをリアルに感じることができたり、 クラウドレンダリングで容量の大きなモデルも表示できる
Mixed Reality を構成する要素 h t t p s : / / d o c s . m i c r o s o f t . c o m / j a - j p / w i n d o w s / m i x e d - r e a l i t y / d i s c o v e r / m i x e d - r e a l i t y # e n v i r o n m e n t a l - i n p u t - a n d - p e r c e p t i o n E n v i r o n m e n t 環 境 H u m a n 人 間 C o m p u t e r コ ン ピ ュ ー タ ー M i x e d R e a l i t y C o n v e n t i o n a l R e a l i t y H u m a n C o m p u t e r I n t e r a c t i o n P e r c e p t i o n Mixed Reality とは
Eye Tracking を有効にする(1) M i x e d R e a l i t y T o o l k i t > I n p u t > I n p u t D a t a P r o v i d e r を 展 開 す る Input Data Provider に ・OpenXR XRSDK Device Manager ・OpenXR XRSDK Eye Gaze Provider が登録されていることを確認する ※ Unity Editor で アイトラッキングを検証する場合は、Input Data Providers > Input Simulation Service > Eye Gaze Simulation を設定する必要がある
Eye Tracking を有効にする(2) M i x e d R e a l i t y T o o l k i t > I n p u t > P o i n t e r s を 展 開 す る Gaze Settings の設定を変更する ・Gaze Cursor Prefab を EyeGazeCursor に変更 ・IsEyeTrackingEnabled にチェックを入れる
Eye Tracking を有効にする(3) P r o j e c t S e t t i n g s > X R P l u g - i n M a n a g e m e n t > O p e n X R を 開 く Interaction Profiles に ・Eye Gaze Interaction Profile を追加する
ハンドメニューを追加する M R T K . E x a m p l e s に 含 ま れ る H a n d M e n u _ S m a l l _ H i d e O n H a n d D r o p . p r e f a b を シ ー ン に 追 加 す る 手の平を返すジェスチャーで表示されるハンドメニュー (手を下げると、メニューも非表示となる) シ ー ン ビ ュ ー ゲ ー ム ビ ュ ー ( 再 生 時 )
Eye Tracking で ラベル を 表示/非表示 する PressableButton へアタッチして、ラベルオブジェクトを設定する EyeTrackingTarget を追加して、メソッドを登録する ヒエラルキービュー P r e s s a b l e B u t t o n に 必 要 な コ ン ポ ー ネ ン ト を ア タ ッ チ す る オブジェクトを見た時、FadeIn() 発火 オブジェクト以外を見た時、FadeOut() 発火
ボタンへアクションを追加する ボ タ ン の I n t e r a c t a b l e コ ン ポ ー ネ ン ト の O n C l i c k ( ) ト リ ガ ー に A n i m a t o r . P l a y を 登 録 す る Animator.Play (string : ステート名)
futo23
oracle4engineer
keiji
ama_ch
gl_tsukasa
cyberarchitect
yurihondo
shotatsuge
wernerkrauss
bumptakayuki
ritou
picardparis
makotu
marcduiker
brad_frost
dotmariusz
tanoku
keathley
reverentgeek
bkeepers
aleyda
maltzj
phodgson
thoeni
skipperchong