Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NinjaGazeTyping 制作秘話
Search
Cova8bitdots
February 20, 2024
Programming
0
270
NinjaGazeTyping 制作秘話
AppleVisionPro 専用ゲーム NinjaGazeTyping の制作秘話です
Cova8bitdots
February 20, 2024
Tweet
Share
More Decks by Cova8bitdots
See All by Cova8bitdots
Latest_Information_of_CICD_for_UnityAppWithAppleVisionPro
cova8bitdots
0
26
HandGestureTool for AppleVisionPro
cova8bitdots
0
69
UnityとGoogleCloudFunction を連携して社内サービスを作った話
cova8bitdots
0
130
Unity-chan.Terrastal!!
cova8bitdots
0
300
ExampleOfTilemap2D
cova8bitdots
0
86
unity_lt_2021_Dec.pdf
cova8bitdots
0
730
HowToUseAudioMixer
cova8bitdots
0
110
TrapOfSpriteAtlas
cova8bitdots
0
4.9k
StudyUnityFromAnti-pattern
cova8bitdots
0
2.3k
Other Decks in Programming
See All in Programming
DevTools extensions で 独自の DevTool を開発する | FlutterKaigi 2024
kokiyoshida
0
460
Serverless苦闘史
mosh_inc
0
150
PaaSとSaaSの境目で信頼性と開発速度を両立する 〜TROCCO®︎のこれまでとこれから〜
gtnao
6
7.3k
Symfony Mapper Component
soyuka
2
630
HTTP compression in PHP and Symfony apps
dunglas
2
1.5k
eBPF Deep Dive: Architecture and Safety Mechanisms
takehaya
12
1.3k
StarlingMonkeyを触ってみた話 - 2024冬
syumai
2
220
Jakarta EE meets AI
ivargrimstad
0
1k
The Efficiency Paradox and How to Save Yourself and the World
hollycummins
1
340
17年周年のWebアプリケーションにTanStack Queryを導入する / Implementing TanStack Query in a 17th Anniversary Web Application
saitolume
0
200
あれやってみてー駆動から成長を加速させる / areyattemite-driven
nashiusagi
1
180
Full stack testing :: basic to basic
up1
1
900
Featured
See All Featured
Unsuck your backbone
ammeep
669
57k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
Six Lessons from altMBA
skipperchong
27
3.5k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5k
The Cult of Friendly URLs
andyhume
78
6.1k
Adopting Sorbet at Scale
ufuk
73
9.1k
Fireside Chat
paigeccino
34
3.1k
How GitHub (no longer) Works
holman
310
140k
Optimising Largest Contentful Paint
csswizardry
33
3k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7k
The Cost Of JavaScript in 2023
addyosmani
45
6.9k
Transcript
CONFIDENTIAL visionOS engineer オンラインLT会 vol.5 NinjaGazeTyping 製作話 2024/02/21
登壇者情報 Graf fi ty(ג) ॴଐUnityΤϯδχΞ ઐྖҬɿαϯυϓϩάϥϛϯά UnityΛத৺ͱͨ͠ใൃ৴ͳͲΛߦ͍ͬͯ·͢ɻ 2 visionOS engineer
オンラインLT会 vol.5 著書&査読協⼒ @8bitdots https://qiita.com/Cova8bitdot @cova8bit.bsky.social
CONFIDENTIAL
CONFIDENTIAL 世界初のマルチプレイ ARシューティングゲーム 「ペチャバト」 4 プロダクト紹介 - ペチャバト
で、 最短3ヶ⽉ つくります ⼼動かすARエンタメ企画 「Gra ff i ty AR Studio」は、ARに特化したエンタメDXファームです。
2C向けに展開しているARゲームの企画の知⾒やAR開発内製基盤など開発⼒を強みとし、 ARを活⽤したエンタメDXの企画から開発までご⽀援することができます。 プロダクト紹介 - Graffity AR Studio
CONFIDENTIAL 株式会社NTTコノキューと絶滅動物発掘ARゲーム「ロストアニマルプラネット」を企画・開発 受注から3ヶ⽉の開発期間で、2023年8⽉にリリースを実施いたしました 6 Graffity AR Studio - 実績紹介 ×
CONFIDENTIAL ⽬次 1. Ninja Gaze Typing の紹介 2. 製作にあたって遭遇した技術的課題
CONFIDENTIAL ⽬次 1. Ninja Gaze Typing の紹介 2. 製作にあたって遭遇した技術的課題
Ninja Gaze TypingはApple VisionPro のGaze&Tap という操作を利⽤したタイピングゲームです Ninja Gaze Typing の紹介
Ninja Gaze TypingはApple VisionPro のGaze&Tap という操作を利⽤したタイピングゲームです Ninja Gaze Typing の紹介
キーボードの各キーに視線を向けると 少し⽩っぽくなり、選択状態として表⽰されます。
Ninja Gaze TypingはApple VisionPro のGaze&Tap という操作を利⽤したタイピングゲームです Ninja Gaze Typing の紹介
Vision Pro では選択状態の時に 親指と⼈差し指をくっつけるとTap操作、 つまり選択操作が可能です。
Ninja Gaze TypingはApple VisionPro のGaze&Tap という操作を利⽤したタイピングゲームです Ninja Gaze Typing の紹介
ちなみに本ゲームはUnityの PolySpatial というVisionOS⽤ライブラリを⽤いて開発しています Ninja Gaze Typing の紹介
CONFIDENTIAL ⽬次 1. Ninja Gaze Typing の紹介 2. 製作にあたって遭遇した技術的課題
⼀部内容は既にQiitaや開発者インタビュー記事で公開してあります 15 製作にあたって遭遇した技術的課題 https://qiita.com/Cova8bitdot/items/5b77a390c12571fea7e8 https://qiita.com/Cova8bitdot/items/aead03ee29fb8b595a7e https://note.com/gra ffi ty/n/nc176aee1c19a
ハンドトラッキング周りで遭遇したトラブル2選 16 製作にあたって遭遇した技術的課題 • HandTracking 使⽤のための権限リクエストのTextを⼊⼒なしだとアプリがクラッシュする • PolySpatialで特定のコンポーネントを利⽤するとハンドトラッキングの利⽤が強制されてしまう
ハンドトラッキング周りで遭遇したトラブル2選 17 製作にあたって遭遇した技術的課題 • HandTracking 使⽤のための権限リクエストのTextを⼊⼒なしだとアプリがクラッシュする • PolySpatialで特定のコンポーネントを利⽤するとハンドトラッキングの利⽤が強制されてしまう
HandTracking 使⽤のための権限リクエストのTextを⼊⼒なしだとアプリがクラッシュする Info.plist の NSHandsTrackingUsageDescription のテキストが未設定だと実機でクラッシュします こちらはvisionOS1.0での問題で、現在公開されているvisionOS1.1βでは修正済になっているそうです 18 製作にあたって遭遇した技術的課題
ハンドトラッキング周りで遭遇したトラブル2選 19 製作にあたって遭遇した技術的課題 • HandTracking 使⽤のための権限リクエストのTextを⼊⼒なしだとアプリがクラッシュする • PolySpatialで特定のコンポーネントを利⽤するとハンドトラッキングの利⽤が強制されてしまう
PolySpatialで特定のコンポーネントを利⽤するとハンドトラッキングの利⽤が強制されてしまう • HandTrackingを明⽰的に使うことを設定してないのに⾃動的にHandTrackingがOnになる問題 • PolySpatialのVisionOSLoaderというClassがHandTracking有効化の設定を⾏う • 実際にはVisionOSSessionSubsystemが権限リクエストの処理をしている • ARSession コンポーネントを使うと上記が⾃動的に実⾏される
https://discussions.unity.com/t/is-it-possible-not-to-use-handtracking-and-not-to-request-hand- tracking-authority/335809 20 製作にあたって遭遇した技術的課題
PolySpatialで特定のコンポーネントを利⽤するとハンドトラッキングの利⽤が強制されてしまう 特にAR/MR機能を利⽤しないのであればXR Plug-in Managementの AppleVisionOS をO f にするのが 有効だそうです。 ちなみに、UnityのPolySpatial
の⼀部ドキュメントで Apple VisionOS Loader と書いてあるものは上記の Plug-in Providers のことだそうです。表記ブレがあるのでご注意ください(Unity公式からも回答済) また、本件は今後適切に権限設定できるように改修予定だそうです。 21 製作にあたって遭遇した技術的課題
まとめ AR/MR機能やパススルー映像の綺麗さは他のHMDと⽐べても利⽤する価値は⼗分あると思います VisionOS 並びにPolySpatial はまだまだ発展途上ですが、⼯夫とアイデア次第では ⾯⽩いゲームは⼗分開発可能です 新規デバイスの初期開発段階は⾊々⼤変ですが、根気よく開発すれば、全く新しい体験や⾯⽩いものが できると思います。 22 最後に
Vision Pro向けのSpatialゲームを⼀緒に開発したいUnityエンジニア募集! Gra ff i ty は 、Unity PolySpatialで VisionPro向けにSpatialゲームを開発したいメンバー
を募集中です! 我こそは!!と思う⽅は是⾮Gra ff i tyメンバーにお声がけ頂い たり、採⽤ページからアクセスしていただけると幸いです。 代表Xアカウント : https://twitter.com/ok_totti HP : https://herp.careers/v1/gra ffi ty 最後に、NinjaGazeTyping 無料ゲームなので是⾮ご体験く ださい!! (弊社オフィスでも体験可能です) 23 最後に Gra ffi tyに興味ある& オフィスでVision Proを体験したい⽅は Gra ffi ty代表の森本にDMしてください!