AR×ドラムで切り拓く音楽表現【XRKaigi 2024】

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

ARの作り手を多様化するために最初の一歩を手引きする ARで狭いハコからビッグインパクト！さくたま: @sakutama_11 #慶應義塾大学 / #M2 #ドラマー / #LiSAッ子 / #ゆるく6年 #AdobeR&Dファン/ #Nianticファン #BuzzFront横浜 #Doombox #みなとみらいAR映え (「映え」からARを広く使われる技術へ ) ARドラム #さくたまDrums ARライブ #BuzzARHouse #Doombox

Slide 3

Slide 3 text

ARの作り手を多様化するために最初の一歩を手引きする ARで狭いハコからビッグインパクト！さくたま: @sakutama_11 #慶應義塾大学 / #M2 #ドラマー / #LiSAッ子 / #ゆるく6年 #AdobeR&Dファン/ #Nianticファン #BuzzFront横浜 #Doombox LiSA ARフォトスポット (「映え」からARを広く使われる技術へ ) ARドラム #さくたまDrums ARライブ #BuzzARHouse #Doombox

Slide 4

Slide 4 text

自分で手作りARライブやりたい！   ARライブが売りのバンドしたい！   やんちゃプロジェクト   やってこ 

Slide 5

Slide 5 text

自分で手作りARライブやりたい！  ARライブが売りのバンドしたい！   ライブハウスで   遊びませんか？  

Slide 6

Slide 6 text

1. やってきたこと 2. ARドラムの仕組み 3. ステージに合わせたエフェクト 4. 演出の工夫 5. (実装の工夫 ) お話しすること 

Slide 7

Slide 7 text

やってきたこと 1/5

Slide 8

Slide 8 text

#さくたまDrums 年表　（~2023）  8 2021 2022 2023

Slide 9

Slide 9 text

#さくたまDrums 年表　（2024）  9 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ試行 Doombox join Iwaken Lab. 開発合宿 AR Live vol.1 TOKYO NODE XR PARADE

Slide 10

Slide 10 text

#さくたまDrums 年表　（2024）  10 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON

Slide 11

Slide 11 text

2024/02 TOKYONODE XR HACKATHON  部門賞: Xplorer PRIZE  Spetial Thanks Kuni イワケン keitotakaishi

Slide 12

Slide 12 text

2024/02 TOKYONODE XR HACKATHON  部門賞: Xplorer PRIZE 

Slide 13

Slide 13 text

2024/03 Iwaken Lab. 3周年記念ミートアップ 

Slide 14

Slide 14 text

Iwaken Lab. 3周年記念ミートアップ  初リアルタイム初会場配線ラグい出音が演者に戻ってきてしまう失態も

Slide 15

Slide 15 text

#さくたまDrums 年表　（2024）  15 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ試行

Slide 16

Slide 16 text

#さくたまDrums 年表　（2024）  16 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ試行 Doombox join

Slide 17

Slide 17 text

2024/08 Doombox join 

Slide 18

Slide 18 text

2024/08 Doombox join 

Slide 19

Slide 19 text

#さくたまDrums 年表　（2024）  19 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ試行 Doombox join Iwaken Lab. 開発合宿

Slide 20

Slide 20 text

2024/09 Iwaken Lab. 開発合宿2024  https://x.com/chomado/status/1837735530106355731 Spetial Thanks ぽんずたるたる Kuni コミュニティのイベントで仲間を巻き込んで締切を作る！！

Slide 21

Slide 21 text

#さくたまDrums 年表　（2024）  21 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ試行 Doombox join Iwaken Lab. 開発合宿 AR Live vol.1

Slide 22

Slide 22 text

2024/08 Doombox AR Live vol.1 

Slide 23

Slide 23 text

#さくたまDrums 年表　（2024）  23 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ試行 Doombox join Iwaken Lab. 開発合宿 AR Live vol.1 TOKYO NODE XR PARADE

Slide 24

Slide 24 text

2024/10 TOKYONODE OPEN LAB: XR PARADE  AR Drums supported by YAMAHA DTX  ハッカソン発の都市XR実装コミュニティ「TNXR」 

Slide 25

Slide 25 text

2024/10 TOKYONODE OPEN LAB: XR PARADE  AR Drums supported by YAMAHA DTX  虎ノ門ヒルズステーションアトリウムにて2週間展示 

Slide 26

Slide 26 text

2024/10 「練習モード」作ってみた  TOKYONODE OPEN LAB: XR PARADE  AR Drums supported by YAMAHA DTX 

Slide 27

Slide 27 text

#さくたまDrums 年表　（2024）  27 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ試行 Doombox join Iwaken Lab. 開発合宿 AR Live vol.1 TOKYO NODE XR PARADE

Slide 28

Slide 28 text

2025  ARライブで集客したい！  

Slide 29

Slide 29 text

ARドラムの仕組み 2/4

Slide 30

Slide 30 text

配線図  PC 電子ドラムモジュール iPhone ・スネア・バスドラムドラムセンサー TouchDesigner ・MIDI→OSC 　マッピング・曲目変化時　OSC送信 Cubase ・同期音源再生・曲目OSC送信 MIDI OSC OSC Unity ・AR再生オーディオインターフェース同期音源会場ミキサー Drイヤモニ同期音源クリック無線有線

Slide 31

Slide 31 text

ドラムの打撃をOSCで送信  ドラム打撃電子ドラム OSC Unity AR Foundation OSC: OpenSound Control… 音楽演奏データをネットワーク経由でリアルタイムに共有するための通信プロトコル． Unityでは OSCJack などが便利

Slide 32

Slide 32 text

ドラム打撃の送信  電子ドラムの仕組みアウトプット可能

Slide 33

Slide 33 text

生ドラムは...？ 

Slide 34

Slide 34 text

ドラム打撃の送信  電子ドラムモジュール - MIDIが出せるドラムトリガー - 生ドラムの振動を送る

Slide 35

Slide 35 text

シンバルは...？  KORG CLIP HIT - クリップの振動を送れる！少し調整すると ... →

Slide 36

Slide 36 text

シンバルは...？ 

Slide 37

Slide 37 text

Aメロ/Bメロで切り替えたい！  OSCar Cubaseでも使えるVST規格プラグイントラックに合わせた任意の値を常に送信 →Touch Designerで変化時を検出 - 少数で送信...カスタムできない，細かい値を設定しにくい - 整数部が変化したらUnityへ送信 https://note.com/ryu_mu/n/n739ae49fa487 https://zenn.dev/sakutama_11/articles/4c8c4c5e2ef2d5 Cubase

Slide 38

Slide 38 text

送信側をTouch Designerに集約    楽曲進行度ドラム打撃同期音源イヤモニ Unity AR OSC

Slide 39

Slide 39 text

ステージに合わせたエフェクト 3/4

Slide 40

Slide 40 text

ステージエフェクト 

Slide 41

Slide 41 text

ステージエフェクト 

Slide 42

Slide 42 text

Luma 3D Capture 😍メッシュが扱いやすい - なめらか - 超点数が選べるステージをLumaる→モデリング  https://apps.apple.com/jp/app/luma-3d-capture/id1615849914

Slide 43

Slide 43 text

ステージをLumaる→モデリング  会場依存になってしまう ↓ 立方体+ドラムに簡略化を検討見せ方も大事！

Slide 44

Slide 44 text

位置合わせ  44 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON AR Live vol.1 TOKYO NODE XR PARADE Toranomon SDK 原点位置合わせ Immersal + 固定・手動調整 3周年記念 MU Toranomon SDK + 固定不安定なVPSは一回合ったら止める

Slide 45

Slide 45 text

ライブハウスはVPS無理 

Slide 46

Slide 46 text

ステージ中央のバミリで原点位置合わせ　→2マーカー位置合わせに　→立方体+ドラムで会場非依存に ARKitはデバイスの回転に弱いらしいので気をつける... VPSやめた！ 

Slide 47

Slide 47 text

演出の工夫 4/4

Slide 48

Slide 48 text

修行中  keitotakaishi さんアドバイス見る目を鍛える会 in イワケンラボ

Slide 49

Slide 49 text

「パルス感」  パルス波

Slide 50

Slide 50 text

とりあえずOutCubic！  DOTween https://assetstore.unity.com/packages/tools/animation/dotween-hotween-v2-27676?locale=ja-JP &srsltid=AfmBOorVRnpZHJpaong1Exfs4oANlzAi4mJKUaXrp0nqq6xkLBVGcDCt

Slide 51

Slide 51 text

とりあえずOutCubic！  https://assetstore.unity.com/packages/tools/animation/dotween-hotween-v2-27676?locale=ja-JP &srsltid=AfmBOorVRnpZHJpaong1Exfs4oANlzAi4mJKUaXrp0nqq6xkLBVGcDCt

Slide 52

Slide 52 text

キック = 大局的な動き 

Slide 53

Slide 53 text

スネア = 局所的で目立つ動き 

Slide 54

Slide 54 text

ハイハット = 微小な「飽きさせない」動き  https://x.com/memex_am/status/1768985580992643473/video/1

Slide 55

Slide 55 text

照明との兼ね合い  リアル照明を受けていないのが気にならないようBloomで光らせる  照明卓での操作とバーチャル照明の同期もやってみたい！

Slide 56

Slide 56 text

まとめ

Slide 57

Slide 57 text

自分で手作りARライブやりたい！   ARライブが売りのバンドしたい！   やんちゃプロジェクト   やってこ 

Slide 58

Slide 58 text

自分で手作りARライブやりたい！  ARライブが売りのバンドしたい！   BuzzFront 横浜にぜひ遊びに来てください！   一緒にねりねりしたい人，ぜひ一緒にフェスでもやりましょう！      

Slide 59

Slide 59 text

いつも応援ありがとうございます！   これからもやっていきます！   よろしくお願いします！  

Slide 60

Slide 60 text

宣伝  12/30 (月) Doombox @BuzzFront Yokohama  毎週 (水) 20:30- 見る目を鍛える会   @イワケンラボDiscord   Iwaken Lab. Tech conf での技術的な補足