2026年に相応しい 最先端プラグインホストの設計<del>と実装</del>

Music Tech Meetup 2026.04

Transcript

1. 2026年に相応しい 最先端プラグインホストの設計と実装 atsushieno
2. なぜ今DAWを作るのか • DAWを開発するコストは今かなり下がっていて、1人で開発するのも現実的 ◦ Tracktion Engine -or- ゼロから開発 ◦ AIコーディングによるエンジニアリングコストの低下 ▪ 基本的な構成要素は生成できる ▪ 複雑なメモリ管理をほぼ丸投げできる / 修正させることができる ▪ AIは標準的な技術・枯れた技術を扱うのが得意 ◦ 誰もが「全部」やらなくても「実現」できる • DAW開発のタスクは今でも増えている…かも? ◦ AIサポート・自動トラックメイキング , x-plat展開（iOS, Web）, MIDI 2.0デバイス対応
3. DAWの技術スタック(例) DAWモデル GUI オーディオエンジン シーケンス エディタ プラグインホスティング デバイスI/O オーディオ グラフ プロジェクト データモデル cf. 2022-12-11 [音楽技術勉強会] Zrythm DAWから読み解くDAWの作り方 再生処理系
4. プラグインホスティング? JUCE AudioPluginHost
5. プラグインホストの基本的な役割 Scanning プラグインをスキャン してリストを管理する Instancing プラグインのインスタンス を生成・解放・管理する Process DAWのオーディオグラフと組み合わせて オーディオ処理 を実現する GUI DAWの操作に応じてGUI表示を制御する State ファイルのロードやセーブに合わせて 状態（State）を保存・復元する Params DAWの操作に応じてパラメーター 変更をプラグインに通知する DAWにプラグインからのパラメーター変更を通知する Presets DAWにプリセット のリストを渡し、ユーザー選択をプラグインに通知する
6. プラグインホストのもう少し高度な役割 • DSPスレッド／プロセスと他のスレッドの間でデータを受け渡す • 複数のプラグインのオーディオグラフを1オーディオサイクルで処理する • 複数トラックをリアルタイムの1オーディオサイクルで処理する • レイテンシーレポートを受け取って複数トラック間のオーディオ処理のズレを最小化 する • トラックの追加・削除やノードグラフの編集はリアルタイムに行う
7. 自作ホストUAPMDの試み
8. 自作ホストUAPMDの試み • 動機 ◦ 仮想UMPデバイスを作れるようにしたい ◦ SMF2 Containerのようなフォーマットの楽曲データを普及させたい • プラグインホスティングライブラリ ◦ フルスタックオーディオプラグインホスト ◦ Desktop: VST3, AUv2, AUv3, LV2, CLAP | iOS: AUv3 | Web: WebCLAP | Android: AAP ◦ MIDI 2.0ネイティブ、sample-accurateなオーディオ処理 ◦ 分離プロセスで動作する高速プラグインスキャン ◦ いくつかのAPIの非同期化 (e.g. state API) - Web AudioWorklet上で使うために必要 • dogfooding ◦ リアルタイム オーディオグラフ（レイテンシー補償の PoC実装） ◦ 逐次処理可能なシーケンサー（非リアルタイムスレッドからのオーディオ /MIDIデータ供給） ◦ 組み込みJS API (QuickJS) とMCPエンドポイントを利用可能
9. 技術スタック • choc - オーディオファイルI/O、GUIイベントループなど • miniaudio - Audio I/O • libremidi - MIDI 2.0 I/O • ImGui + ImTimeline + ImNodes (DAG) ◦ まあまあ妥協 • demucs.cpp - 音声分離（インポート） • signalsmith-stretch - オーディオワープ（タイムストレッチ） • midicci - MIDI 2.0データ処理 (UMP + MIDI-CI) • 各種コンテナ: readerwriterqueue, concurrentqueue, farbot, ...
10. プラグインフォーマットのサポート • AU: AUv2とAUv3は別々に実装したほうがたぶん良い ◦ AUv3はmacOSで動けばiOSでも動く(!) ◦ AUv2を出しているところはたいがい VST3も出しているので、無くても OKかも(!?) ◦ プラグインのAUv2 bridgeはプリセットAPIなどをカバーしてくれない • CLAP: clap-helpersを使うべき。スレッドチェックなどが安全弁になる • WebCLAP: オーディオエンジンのプロセス分離と非同期State実装が必要 ◦ CLAPのasyncrhnous state saving/loadingは不要
11. Programmability (scripting, MCP) Full Scripting API for Cubase - The AI Integration Gap Is Now a Competitive Threat - Steinberg Forum • MCPはAPIがあればどうとでもなる • APIが公開されていない機能は使えない • 一般的な機能・操作に特殊なskillsは不要 ◦ MIDI操作、音楽理論、プラグイン操作など • プラグインが公開しない情報は取得できない ◦ プリセットなど cf. オーディオプラグインホストにMCPを追加してみてわかったこと
12. Tracktion EngineでDAWを作るアプローチ • 低レベルはいじらない前提 ◦ no MIDI2, no sample accurate stuff, slow scanner, no CLAP, no WebCLAP, no Android • DAWのGUIは自作する • juce_audio_plugin_clientのみ（no Tracktion）の場合 ◦ プラグインフォーマットサポートは丸投げできる ◦ マルチトラック編集は自作する ◦ オーディオグラフは自作する -or- Tracktion EngineからTracktion Graphだけ使い回す ◦ プロジェクトデータの読み書きは自作する
13. Thanks! Questions: later