カスタムエフェクトプラグインで Atom Craft をいい感じにする@ADX / ADX LE勉強会 vol.1

Slide 1

Slide 1 text

カスタムエフェクトプラグインで Atom Craft をいい感じにする @ADX / ADX LE 勉強会 vol.1 塩澤達矢(COx2) 2024/12/20

Slide 2

Slide 2 text

クレジット本発表のデモには、VOICEVOXで生成した音声を使用しています。 https://voicevox.hiroshiba.jp/

Slide 3

Slide 3 text

何者？名前：塩澤達矢（COx2）株式会社COCOTONE 代表取締役 https://www.cocotone.jp/ JUCEフレームワークが得意な組織ですオーディオプラグイン・オーディオアプリケーションの受託開発およびコンサルテーションを提供しています属性：・JUCE enthusiast ・オーディオプログラマー・インデペンデントJUCEプログラマー・JUCE JAPAN編集部代表

Slide 4

Slide 4 text

当LTのスコープ・ADX LE で触れる機能　・Atom Craft 　・ミキサー　・Custom Effect Plugin ・ADX プロジェクト自体については触れない　・e.g. ワークユニット、AISAC、キュー管理の話題

Slide 5

Slide 5 text

Atom Craft, ミキサー, エフェクトプラグイン公式マニュアル - CRI ADX: ミキサー https://game.criware.jp/manual/native/adx2/latest/criatom_tools_atomcraft_dsp_bus_setting.html ミキサーとはMasterOutを含むバスを集めたものです。ミキサーでは、バスを任意に接続したり、各バスにリバーブ等の高度なエフェクトを設定することができます。

Slide 6

Slide 6 text

Atom Craft, ミキサー, エフェクトプラグイン公式マニュアル - CRI ADX: ミキサー https://game.criware.jp/manual/native/adx2/latest/criatom_tools_atomcraft_dsp_bus_setting.html

Slide 7

Slide 7 text

Custom Effect Pluginについて https://game.criware.jp/manual/native/adx2/latest/criatom_tools_atomcraft_dsp_bu s_setting.html CRI ADX および CRI Atom Craftではユーザーによるエフェクトプラグインの作成もサポートしています。独自のエフェクトプラグインを利用するには、CRI ADX で利用できる形式でのエフェクトの作成が必要となるため、CRI ADX Audio Effect Plugin SDK をご利用ください。

Slide 8

Slide 8 text

ミキサーで VST3 プラグインが使えます https://game.criware.jp/manual/native/adx2/latest/criatom_tools_atomcraft_custom _effect_plugin.html ADX のオーディオエフェクトとしてCRI標準のエフェクトとは別に、ユーザーが作成したエフェクトやサードパーティー製のエフェクトをプラグインとして利用することができます。 CRI Atom Craftでは VST3 形式のプラグインに対応しています。 CRI ADX Audio Effect Plugin SDKで作成されたエフェクトプラグインをVSTとして作成することで、ツール上でのパラメーター調整が行いやすくなります。

Slide 9

Slide 9 text

補足：VST3プラグイン is 何？・Steinberg Media Technnologies GmbH. が規格・管理するオーディオプラグイン形式・多くのDAW（Digital Audio Workstation）がサポートしている・所謂、デファクトスタンダードとなっている　・Steinberg Cubase / Nuendo / Wavelab 　・PreSonus Studio One 　・Ableton Live 　・FL Studio 　・Reaper ・一方で、Logic Pro、ProToolsは非サポートである

Slide 10

Slide 10 text

Custom Effect Plugin について・VST3 プラグイン形式・VST3 プラグインには2種類ある　・エフェクトプラグイン　・インストゥルメントプラグイン・使用できるのは『エフェクトプラグイン』のみ

Slide 11

Slide 11 text

Custom Effect Plugin を追加する・VSTプラグインマネージャを開く・プラグイン検索パスにVST3プラグインが配置されたフォルダを追加する・初期インストール時点で、システム標準のVST3フォルダは登録されている

Slide 12

Slide 12 text

Custom Effect Plugin を追加する

Slide 13

Slide 13 text

Custom Effect Plugin の注意事項・Atom Craft 上での使用までに留まる・原則、VST3 プラグインはゲームエンジンやコンソール上では動作しない　・それらの環境でVST3ホストが実装されている必要がある　・ビルドしてもVST3プラグインの情報は含まれない

Slide 14

Slide 14 text

ランタイムに持っていけない

Slide 15

Slide 15 text

VST3プラグインである意味が無いのでは？

Slide 16

Slide 16 text

そんなことはない

Slide 17

Slide 17 text

VST3エフェクト＝音声編集用途

Slide 18

Slide 18 text

とは限らない

Slide 19

Slide 19 text

非編集用途で使ってみよう ※無料プラグイン縛りあり

Slide 20

Slide 20 text

ケース１：解析用途

Slide 21

Slide 21 text

Socalabs ・SocaLabs 　・シンセサイザー　・エフェクト　・アナライザ　・https://socalabs.com/ 　・全部無料

Slide 22

Slide 22 text

SocaLabs

Slide 23

Slide 23 text

SocaLabs ・全部無料・OSS 　・https://github.com/FigBug/slPlugins 　・ソースコードを入手できる　・DSPの実装が分かるから安心

Slide 24

Slide 24 text

Socalabsのデモ

Slide 25

Slide 25 text

ケース２：放送用途

Slide 26

Slide 26 text

NDI Tools NDI（Network Device Interface）とは、NewTek社（現Vizrt社）によって開発された、 IPネットワーク経由でビデオやオーディオを伝送する方式です。映像と音声をIP伝送することができます。 https://tricaster.jp/ndi-central/ndi-tools/

Slide 27

Slide 27 text

NDI Tools NDI Tools に同梱されている NDI Audio Direct は、VST3プラグイン形式なので、 Atom Craftで読み込むことができますこれを使うと、Atom Craftでプレビューしているミキサー上の音声をIP伝送 (Audio over IP) することができます。 NDI for Audio https://ndi.video/tech/ndi-for-audio/ NDI Audio Direct 解説動画 (日本語字幕付き) https://www.youtube.com/watch?v=JJzosC9Muu w

Slide 28

Slide 28 text

NDI for Audio のデモ

Slide 29

Slide 29 text

ここまでが前半

Slide 30

Slide 30 text

振り返り：紹介したSocaLabsはOSS ・全部無料・OSS 　・https://github.com/FigBug/slPlugins 　・ソースコードを入手できる　・DSPの実装が分かるから安心

Slide 31

Slide 31 text

ソースコードが見える

Slide 32

Slide 32 text

ということは、

Slide 33

Slide 33 text

VST3プラグインは自作できる。

Slide 34

Slide 34 text

VST3プラグインを作るには・VST3 SDK を使う　・VST3 SDKは無料で取得できる　・リリース時にはライセンス許諾のオプションを選ぶ https://www.steinberg.net/developers/

Slide 35

Slide 35 text

VST3プラグインをなるべく簡単に作るには・開発言語向けフレームワークやツールセットの選択肢がある　・C++ 　　・JUCE 　　・iPlug2 　・Rust 　　・nih-plug

Slide 36

Slide 36 text

VST3プラグインをなるべく簡単に作るには・開発言語向けフレームワークやツールセットの選択肢がある　・MATLAB 　・Faust 　・Max RNBO 　・Cmajor

Slide 37

Slide 37 text

VST3プラグインは作れる

Slide 38

Slide 38 text

ということは、

Slide 39

Slide 39 text

カスタムエフェクトプラグインは作れる。

Slide 40

Slide 40 text

自作プラグインのデモ

Slide 41

Slide 41 text

デモ：CRI LipSync が動くVST3プラグイン・VST3プラグインのUI上でLive2Dを動かす・ミキサーの音声で CRI LipSync が動く・技術スタック　・JUCE フレームワーク　・Live2D Cubism Native SDK 　・Live2D Cubism Native Framework 　・Live2D Cubism Motion Sync 　　・CRI LipSync のエンジンと統合済み

Slide 42

Slide 42 text

まとめ・Custom Effect Plugin は VST3プラグインを使用できる・ただし、以下の制約がある　・エフェクトプラグインのみインサート可能　・ランタイムにVST3プラグインを持っていくことはできない　　・プラットフォームの制約　　・ライセンスの制約

Slide 43

Slide 43 text

まとめ・ツール上で完結する用途なら必要十分なケースもある　・特定規格向けのメーター等（ラウドネス計測）　・音響信号の視覚化（スペクトラム）　・特定のエフェクトの前後の処理時間からレイテンシを計測する　・IP伝送（Audio over IP）を利用してモバイル端末でサウンドチェック・VST3プラグインは自作できる・自作のカスタムエフェクトプラグインで Atom Craft をいい感じにできる

Slide 44

Slide 44 text

おまけ：VST3プラグインのGUIをUnity Webで作る https://github.com/COx2/audio-plugin-unity-web-ui 技術スタック・VST3 ・JUCE ・WebView ・Unity 　・Web platform 　・Native Plugin for JavaScript

Slide 45

Slide 45 text

おわり

Slide 46

Slide 46 text

以降、補足

Slide 47

Slide 47 text

非編集用途でおすすめのVST3プラグイン・SocaLabs 　・シンセサイザー　・エフェクト　・アナライザ　・https://socalabs.com/ 　・全部無料