Tweet
Tweet

Slide 1

Slide 1 text

「ARドラム」の裏側 さくたま 「ARドラム」の裏側

Slide 2

Slide 2 text

ARの 作り手を多様化 するために 最初の一歩 を手引きする ARで 狭いハコからビッグインパクト ！ さくたま: @sakutama_11 #慶應義塾大学 / #M2 #ドラマー / #LiSAッ子 / #ゆるく6年 #AdobeR&Dファン/ #Nianticファン #BuzzFront横浜 #Doombox #みなとみらいをAR映え (「映え」からARを広く使われる技術へ ) ARドラム #さくたまDrums ARライブ #BuzzARHouse #Doombox

Slide 3

Slide 3 text

やってきたこと 1/5

Slide 4

Slide 4 text

Realize - LiSA 2024/10

Slide 5

Slide 5 text

2024/02 TOKYONODE XR HACKATHON

Slide 6

Slide 6 text

2024/03 Iwaken Lab. 3周年記念パーティー

Slide 7

Slide 7 text

2024/08 Doombox 加入

Slide 8

Slide 8 text

2024/09 Iwaken Lab. 開発合宿2024 https://x.com/chomado/status/1837735530106355731 Spetial Thanks ぽんず たるたる Kuni

Slide 9

Slide 9 text

2024/08 Doombox AR Live vol.1

Slide 10

Slide 10 text

2024/10 TOKYONODE XR PARADE https://sakutama.notion.site/AR-ver-1-0-127d6626b63680458831c197bc725880?pvs=4

Slide 11

Slide 11 text

2024/10 TOKYONODE XR PARADE https://sakutama.notion.site/AR-ver-1-0-127d6626b63680458831c197bc725880?pvs=4

Slide 12

Slide 12 text

システム構成 2/5

Slide 13

Slide 13 text

配線図 PC 電子ドラム モジュール iPhone ・スネア ・バスドラム ドラムセンサー TouchDesigner ・MIDI→OSC 　マッピング ・曲目変化時 　OSC送信 Cubase ・同期音源再生 ・曲目OSC送信 MIDI OSC OSC Unity ・AR再生 オーディオ インターフェース 同期音源 会場ミキサー Drイヤモニ 同期音源 クリック 無線 有線

Slide 14

Slide 14 text

送信側をTouch Designerに集約 楽曲進行度 ドラム打撃 同期音源 イヤモニ Unity AR OSC

Slide 15

Slide 15 text

ドラム打撃の送信 電子ドラムモジュール - MIDIが出せる ドラムトリガー - 生ドラムの振動を送る

Slide 16

Slide 16 text

楽曲進行度の送信 OSCar Cubaseでも使えるVST規格プラグイン トラックに合わせた任意の値を常に送信 →Touch Designerで変化時を検出 - 少数で送信...カスタムできない，細かい値を設定しにくい - 整数部が変化したらUnityへ送信 https://note.com/ryu_mu/n/n739ae49fa487 Cubase

Slide 17

Slide 17 text

Unityで受信して演出を切り替え・発火 楽曲進行度 ドラム打撃 Aメロ Bメロ スネア: 回転 キック: 拡大 スネア: 人影 キック: RGB shift

Slide 18

Slide 18 text

Unityで受信して演出を切り替え・発火 楽曲進行度 ドラム打撃 Aメロ Bメロ スネア 叩いた スネア用 エフェクト発火

Slide 19

Slide 19 text

Unityで受信して演出を切り替え・発火 楽曲進行度 ドラム打撃 Aメロ Bメロ Bメロ 開始 Bメロ セット

Slide 20

Slide 20 text

微妙①再生順を考えずに使い回したい Aメロ Bメロ カセットは順番に依らず 使い回したい VS シーン上のオブジェクトは なるべく使い回したい

Slide 21

Slide 21 text

微妙②演出要素の組み合わせを分離したい 初期化 - キューブ並べる - スフィア生成 スネア - キューブを動かす - スフィア拡大 キューブ操作 - 並べる - 動かす スフィア操作 - 生成 - 拡大

Slide 22

Slide 22 text

初期化 - キューブ並べる スネア - キューブを動かす 初期化 - スフィア生成 スネア - スフィア拡大 キューブ操作 - 並べる - 動かす スフィア操作 - 生成 - 拡大 微妙②演出要素の組み合わせを分離したい

Slide 23

Slide 23 text

ステージに合わせたエフェクト 3/5

Slide 24

Slide 24 text

ステージエフェクト

Slide 25

Slide 25 text

ステージエフェクト

Slide 26

Slide 26 text

ステージを Lumaる→モデリング

Slide 27

Slide 27 text

ステージを Lumaる→モデリング

Slide 28

Slide 28 text

VPSやめた！

Slide 29

Slide 29 text

ステージ中央のバミリで 原点位置合わせ 　→2マーカー位置合わせにしたい ARKitはデバイスの回転に弱いらしい ので気をつける... VPSやめた！

Slide 30

Slide 30 text

ポストエフェクト切り替えの工夫 4/5

Slide 31

Slide 31 text

Render Passに Renderer Featureを追加する Full Screen Pass Renderer Feature →マテリアルを設定するだけで 　　　　　　　　PostEffectがかけられる！ URPのPostEffect Renderer Pass Opaque Transparent Post Process Custom PostEffect Human Effect AR Background Virtual Human Effect

Slide 32

Slide 32 text

AR Foundation のHumanSegmentation “humanStencilTexture”を取得できる→あとはPostEffectと一緒 https://www.jyuko49.com/entry/2019/10/15/094408

Slide 33

Slide 33 text

Real人とVirtual人に同じPostEffectを適用したい Stencil Object Texture PostEffect humanStencilTexture PostEffect

Slide 34

Slide 34 text

Human Effect / Post Effect 切り替えの工夫 Aメロ Bメロ HumanEffect モザイク 斜線 ARKit HumanTexture Shader Stencil PostEffect

Slide 35

Slide 35 text

演出の工夫 5/5

Slide 36

Slide 36 text

「パルス感」 パルス波

Slide 37

Slide 37 text

とりあえず OutCubic！ https://assetstore.unity.com/packages/tools/animation/dotween-hotween-v2-27676?locale=ja-JP &srsltid=AfmBOorVRnpZHJpaong1Exfs4oANlzAi4mJKUaXrp0nqq6xkLBVGcDCt

Slide 38

Slide 38 text

キック = 大局的な動き

Slide 39

Slide 39 text

スネア = 局所的で目立つ動き

Slide 40

Slide 40 text

ハイハット = 微小な「飽きさせない」動き https://x.com/memex_am/status/1768985580992643473/video/1

Slide 41

Slide 41 text

照明との兼ね合い →照明卓での操作との同期もやってみたい！

Slide 42

Slide 42 text

エフェクトをゴリゴリ載せれるように 疎結合にしたい！ 複数のAR演出を切り替えられる！ VPSやめた！原点 orマーカーにする！ お客さんに配りたい！ まとめ

Slide 43

Slide 43 text

宣伝 12/13 (金) XRKaigi 17:30- 12/30 (月) Doombox @BuzzFront Yokohama 毎週 (水) 20:30- 見る目を鍛える会 @Discord