AR×ドラムで切り拓く音楽表現【XRKaigi 2024】

https://www.xrkaigi.com/event/9316/module/booth/308916/263763

2024/12/23より動画がアーカイブ公開されます！ぜひ見てください

Transcript

2. ARの 作り手を多様化 するために 最初の一歩 を手引きする ARで 狭いハコからビッグインパクト ！ さくたま: @sakutama_11 #慶應義塾大学 / #M2 #ドラマー / #LiSAッ子 / #ゆるく6年 #AdobeR&Dファン/ #Nianticファン #BuzzFront横浜 #Doombox #みなとみらいAR映え (「映え」からARを広く使われる技術へ ) ARドラム #さくたまDrums ARライブ #BuzzARHouse #Doombox
3. ARの 作り手を多様化 するために 最初の一歩 を手引きする ARで 狭いハコからビッグインパクト ！ さくたま: @sakutama_11 #慶應義塾大学 / #M2 #ドラマー / #LiSAッ子 / #ゆるく6年 #AdobeR&Dファン/ #Nianticファン #BuzzFront横浜 #Doombox LiSA ARフォトスポット (「映え」からARを広く使われる技術へ ) ARドラム #さくたまDrums ARライブ #BuzzARHouse #Doombox
4. 自分で手作りARライブやりたい！ 
 ARライブが売りのバンドしたい！ 
 やんちゃプロジェクト 
 やってこ

5. 自分で手作りARライブやりた い！
 ARライブが売りのバンドしたい！ 
 ライブハウスで 
 遊びませんか？ 

6. 1. やってきたこと 2. ARドラムの仕組み 3. ステージに合わせたエフェクト 4. 演出の工夫 5. (実装の工夫 ) お話しすること

7. やってきたこと 1/5
8. #さくたまDrums 年表　（~2023）
 8 2021 2022 2023
9. #さくたまDrums 年表　（2024）
 9 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ 試行 Doombox join Iwaken Lab. 開発合宿 AR Live vol.1 TOKYO NODE XR PARADE
10. #さくたまDrums 年表　（2024）
 10 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON
11. 2024/02 TOKYONODE XR HACKATHON
 部門賞: Xplorer PRIZE
 Spetial Thanks Kuni イワケン keitotakaishi
12. 2024/02 TOKYONODE XR HACKATHON
 部門賞: Xplorer PRIZE

13. 2024/03 Iwaken Lab. 3周年記念ミートアップ

14. Iwaken Lab. 3周年記念ミートアップ
 初リアルタイム 初 会場配線 ラグい出音が演者に 戻ってきてしまう失態も
15. #さくたまDrums 年表　（2024）
 15 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ 試行
16. #さくたまDrums 年表　（2024）
 16 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ 試行 Doombox join
17. 2024/08 Doombox join

18. 2024/08 Doombox join

19. #さくたまDrums 年表　（2024）
 19 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ 試行 Doombox join Iwaken Lab. 開発合宿
20. 2024/09 Iwaken Lab. 開発合宿2024
 https://x.com/chomado/status/1837735530106355731 Spetial Thanks ぽんず たるたる Kuni コミュニティのイベントで 仲間を巻き込んで 締切を作る！！
21. #さくたまDrums 年表　（2024）
 21 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ 試行 Doombox join Iwaken Lab. 開発合宿 AR Live vol.1
22. 2024/08 Doombox AR Live vol.1

23. #さくたまDrums 年表　（2024）
 23 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ 試行 Doombox join Iwaken Lab. 開発合宿 AR Live vol.1 TOKYO NODE XR PARADE
24. 2024/10 TOKYONODE OPEN LAB: XR PARADE
 AR Drums supported by YAMAHA DTX
 ハッカソン発の都市XR実装コミュニティ「TNXR」

25. 2024/10 TOKYONODE OPEN LAB: XR PARADE
 AR Drums supported by YAMAHA DTX
 虎ノ門ヒルズステーションアトリウムにて2週間展示

26. 2024/10 「練習モード」作ってみた
 TOKYONODE OPEN LAB: XR PARADE
 AR Drums supported by YAMAHA DTX

27. #さくたまDrums 年表　（2024）
 27 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON BuzzFront Yokohama スキャン&生ドラム HumanEffect/位置合わせ 試行 Doombox join Iwaken Lab. 開発合宿 AR Live vol.1 TOKYO NODE XR PARADE
28. 2025
 ARライブで集客したい！ 

29. ARドラムの仕組み 2/4
30. 配線図
 PC 電子ドラム モジュール iPhone ・スネア ・バスドラム ドラムセンサー TouchDesigner ・MIDI→OSC 　マッピング ・曲目変化時 　OSC送信 Cubase ・同期音源再生 ・曲目OSC送信 MIDI OSC OSC Unity ・AR再生 オーディオ インターフェース 同期音源 会場ミキサー Drイヤモニ 同期音源 クリック 無線 有線
31. ドラムの打撃をOSCで送信
 ドラム打撃 電子ドラム OSC Unity AR Foundation OSC: OpenSound Control… 音楽演奏データをネットワーク経由でリアルタイムに共有するための通信プロトコル． Unityでは OSCJack などが便利
32. ドラム打撃の送信
 電子ドラムの仕組み アウトプット可 能
33. 生ドラムは...？

34. ドラム打撃の送信
 電子ドラムモジュール - MIDIが出せる ドラムトリガー - 生ドラムの振動を送る
35. シンバルは...？
 KORG CLIP HIT - クリップの振動を送れる！ 少し調整すると ... →
36. シンバルは...？

37. Aメロ/Bメロで切り替えたい！
 OSCar Cubaseでも使えるVST規格プラグイン トラックに合わせた任意の値を常に送信 →Touch Designerで変化時を検出 - 少数で送信...カスタムできない，細かい値を設定しにくい - 整数部が変化したらUnityへ送信 https://note.com/ryu_mu/n/n739ae49fa487 https://zenn.dev/sakutama_11/articles/4c8c4c5e2ef2d5 Cubase
38. 送信側をTouch Designerに集約
 
 楽曲進行度 ドラム打撃 同期音源 イヤモニ Unity AR OSC
39. ステージに合わせたエフェクト 3/4
40. ステージエフェクト

41. ステージエフェクト

42. Luma 3D Capture 😍メッシュが扱いやすい - なめらか - 超点数が選べる ステージをLumaる→モデリング
 https://apps.apple.com/jp/app/luma-3d-capture/id1615849914
43. ステージをLumaる→モデリング
 会場依存になってしまう ↓ 立方体+ドラムに簡略化を検討 見せ方も大事！
44. 位置合わせ
 44 1 2 4 3 5 6 7 8 9 10 11 12 TOKYO NODE XR HACKATHON AR Live vol.1 TOKYO NODE XR PARADE Toranomon SDK 原点位置合わせ Immersal + 固定・手動調整 3周年記念 MU Toranomon SDK + 固定 不安定なVPSは一回合っ たら止める
45. ライブハウスはVPS無理

46. ステージ中央のバミリで 原点位置合わせ 　→2マーカー位置合わせに 　→立方体+ドラムで会場非依存に ARKitはデバイスの回転に弱いらしい ので気をつける... VPSやめた！

47. 演出の工夫 4/4
48. 修行中
 keitotakaishi さん アドバイス 見る目を鍛える会 in イワケンラボ
49. 「パルス感」
 パルス波
50. とりあえずOutCubic！
 DOTween https://assetstore.unity.com/packages/tools/animation/dotween-hotween-v2-27676?locale=ja-JP &srsltid=AfmBOorVRnpZHJpaong1Exfs4oANlzAi4mJKUaXrp0nqq6xkLBVGcDCt
51. とりあえずOutCubic！
 https://assetstore.unity.com/packages/tools/animation/dotween-hotween-v2-27676?locale=ja-JP &srsltid=AfmBOorVRnpZHJpaong1Exfs4oANlzAi4mJKUaXrp0nqq6xkLBVGcDCt
52. キック = 大局的な動き

53. スネア = 局所的で目立つ動き

54. ハイハット = 微小な「飽きさせない」動き
 https://x.com/memex_am/status/1768985580992643473/video/1
55. 照明との兼ね合い
 リアル照明を受けていないのが気にならないようBloomで光らせる
 照明卓での操作と バーチャル照明の同期も やってみたい！
56. まとめ
57. 自分で手作りARライブやりたい！ 
 ARライブが売りのバンドしたい！ 
 やんちゃプロジェクト 
 やってこ

58. 自分で手作りARライブやりた い！
 ARライブが売りのバンドしたい！ 
 BuzzFront 横浜にぜひ遊びに来てください！ 
 一緒にねりねりしたい人，ぜひ一緒にフェスでもやりましょう！ 
 
 

59. いつも応援ありがとうございます！ 
 これからもやっていきます！ 
 よろしくお願いします！ 

60. 宣伝
 12/30 (月) Doombox @BuzzFront Yokohama
 毎週 (水) 20:30- 見る目を鍛える会 
 @イワケンラボDiscord 
 Iwaken Lab. Tech conf での技術的な補足