「ARドラム」の裏側 【Iwaken Lab. Tech Conference】

Transcript

1. 「ARドラム」の裏側 さくたま 「ARドラム」の裏側
2. ARの 作り手を多様化 するために 最初の一歩 を手引きする ARで 狭いハコからビッグインパクト ！ さくたま: @sakutama_11 #慶應義塾大学 / #M2 #ドラマー / #LiSAッ子 / #ゆるく6年 #AdobeR&Dファン/ #Nianticファン #BuzzFront横浜 #Doombox #みなとみらいをAR映え (「映え」からARを広く使われる技術へ ) ARドラム #さくたまDrums ARライブ #BuzzARHouse #Doombox
3. やってきたこと 1/5
4. Realize - LiSA 2024/10
5. 2024/02 TOKYONODE XR HACKATHON
6. 2024/03 Iwaken Lab. 3周年記念パーティー
7. 2024/08 Doombox 加入
8. 2024/09 Iwaken Lab. 開発合宿2024 https://x.com/chomado/status/1837735530106355731 Spetial Thanks ぽんず たるたる Kuni
9. 2024/08 Doombox AR Live vol.1
10. 2024/10 TOKYONODE XR PARADE https://sakutama.notion.site/AR-ver-1-0-127d6626b63680458831c197bc725880?pvs=4
11. 2024/10 TOKYONODE XR PARADE https://sakutama.notion.site/AR-ver-1-0-127d6626b63680458831c197bc725880?pvs=4
12. システム構成 2/5
13. 配線図 PC 電子ドラム モジュール iPhone ・スネア ・バスドラム ドラムセンサー TouchDesigner ・MIDI→OSC 　マッピング ・曲目変化時 　OSC送信 Cubase ・同期音源再生 ・曲目OSC送信 MIDI OSC OSC Unity ・AR再生 オーディオ インターフェース 同期音源 会場ミキサー Drイヤモニ 同期音源 クリック 無線 有線
14. 送信側をTouch Designerに集約 楽曲進行度 ドラム打撃 同期音源 イヤモニ Unity AR OSC
15. ドラム打撃の送信 電子ドラムモジュール - MIDIが出せる ドラムトリガー - 生ドラムの振動を送る
16. 楽曲進行度の送信 OSCar Cubaseでも使えるVST規格プラグイン トラックに合わせた任意の値を常に送信 →Touch Designerで変化時を検出 - 少数で送信...カスタムできない，細かい値を設定しにくい - 整数部が変化したらUnityへ送信 https://note.com/ryu_mu/n/n739ae49fa487 Cubase
17. Unityで受信して演出を切り替え・発火 楽曲進行度 ドラム打撃 Aメロ Bメロ スネア: 回転 キック: 拡大 スネア: 人影 キック: RGB shift
18. Unityで受信して演出を切り替え・発火 楽曲進行度 ドラム打撃 Aメロ Bメロ スネア 叩いた スネア用 エフェクト発火
19. Unityで受信して演出を切り替え・発火 楽曲進行度 ドラム打撃 Aメロ Bメロ Bメロ 開始 Bメロ セット
20. 微妙①再生順を考えずに使い回したい Aメロ Bメロ カセットは順番に依らず 使い回したい VS シーン上のオブジェクトは なるべく使い回したい
21. 微妙②演出要素の組み合わせを分離したい 初期化 - キューブ並べる - スフィア生成 スネア - キューブを動かす - スフィア拡大 キューブ操作 - 並べる - 動かす スフィア操作 - 生成 - 拡大
22. 初期化 - キューブ並べる スネア - キューブを動かす 初期化 - スフィア生成 スネア - スフィア拡大 キューブ操作 - 並べる - 動かす スフィア操作 - 生成 - 拡大 微妙②演出要素の組み合わせを分離したい
23. ステージに合わせたエフェクト 3/5
24. ステージエフェクト
25. ステージエフェクト
26. ステージを Lumaる→モデリング
27. ステージを Lumaる→モデリング
28. VPSやめた！
29. ステージ中央のバミリで 原点位置合わせ 　→2マーカー位置合わせにしたい ARKitはデバイスの回転に弱いらしい ので気をつける... VPSやめた！
30. ポストエフェクト切り替えの工夫 4/5
31. Render Passに Renderer Featureを追加する Full Screen Pass Renderer Feature →マテリアルを設定するだけで 　　　　　　　　PostEffectがかけられる！ URPのPostEffect Renderer Pass Opaque Transparent Post Process Custom PostEffect Human Effect AR Background Virtual Human Effect
32. AR Foundation のHumanSegmentation “humanStencilTexture”を取得できる→あとはPostEffectと一緒 https://www.jyuko49.com/entry/2019/10/15/094408
33. Real人とVirtual人に同じPostEffectを適用したい Stencil Object Texture PostEffect humanStencilTexture PostEffect
34. Human Effect / Post Effect 切り替えの工夫 Aメロ Bメロ HumanEffect モザイク 斜線 ARKit HumanTexture Shader Stencil PostEffect
35. 演出の工夫 5/5
36. 「パルス感」 パルス波
37. とりあえず OutCubic！ https://assetstore.unity.com/packages/tools/animation/dotween-hotween-v2-27676?locale=ja-JP &srsltid=AfmBOorVRnpZHJpaong1Exfs4oANlzAi4mJKUaXrp0nqq6xkLBVGcDCt
38. キック = 大局的な動き
39. スネア = 局所的で目立つ動き
40. ハイハット = 微小な「飽きさせない」動き https://x.com/memex_am/status/1768985580992643473/video/1
41. 照明との兼ね合い →照明卓での操作との同期もやってみたい！
42. エフェクトをゴリゴリ載せれるように 疎結合にしたい！ 複数のAR演出を切り替えられる！ VPSやめた！原点 orマーカーにする！ お客さんに配りたい！ まとめ
43. 宣伝 12/13 (金) XRKaigi 17:30- 12/30 (月) Doombox @BuzzFront Yokohama 毎週 (水) 20:30- 見る目を鍛える会 @Discord