聴いて分かる！インタラクティブミュージック作曲の舞台裏！！

CEDEC2023の講演資料です。

講演タイトル：聴いて分かる！インタラクティブミュージック作曲の舞台裏！！
講演者：北谷　光浩

セッションの内容：
インタラクティブミュージックは昨今の様々なタイトルにおいて広く採用されています。今や特別な手法ではなく音楽演出の選択肢の一つとして常に考慮すべき普遍的な手法になってきていると感じています。

そんなインタラクティブミュージックの「作曲」面に今回は焦点を当ててみたいと考えています。通常の作曲とは異なりインタラクティブミュージックの作曲には様々なお作法・コツが存在します。どのようなお作法・コツがあるのか、直感的に分かりやすいように実際に音楽を鳴らしながら紹介致します。

また、インタラクティブミュージックのお作法は、時に作曲の幅を奪う制約と成り得ます。制約を踏まえた上で、効果的な音楽演出のためにインタラクティブミュージックをどう活かしていくのがよいか、考察を加えつつ解説致します。

Transcript

1. 聴いて分かる！ インタラクティブミュージック作曲の舞台裏！！ 株式会社バンダイナムコスタジオ 制作部 サウンドユニット 北谷 光浩
2. 自己紹介 北谷 光浩（きただに みつひろ） 株式会社バンダイナムコスタジオ Sound Creator / Composer 2015年 株式会社バンダイナムコスタジオ入社 音楽の作曲・実装を中心としつつ サウンド業務を様々な製品で担当
3. 携わったタイトル ▪ BLUE PROTOCOL ▪ ACE COMBAT 7 ▪ アイドルマスターシリーズ ▪ 鉄拳7 ▪ SOULCALIBUR VI ▪ 太鼓の達人 ▪ サマーレッスン ▪ レイヤードストーリーズ ゼロ ▪ VR ZONE ▪ ポッ拳 ▪ etc.
4. 一部の動画で があります 講演スライドは後日CEDiLで公開予定です
5. 「インタラクティブミュージック」 って知ってますか？
6. 音楽がインタラクティブに変化して イイ感じになるやつですしょ？ インタラクティブミュージック 作ったことあります！！ いんたらくてぃぶみゅーじっく？ なにそれおいしいの 縦の遷移とか横の遷移とか 聞いたことあるンゴ
7. 知らない方でも 分かるように説明します！
8. で、 インタラクティブミュージックって？
9. Chat GPTにきいてみました
11. 言葉では理解できても、音楽がどう変化するのか 実感って湧きづらいですよね？
12. このセッションでは… ⚫ インタラクティブミュージックの「作曲」にスポットライトを当て、 音を流しながら実感と共に理解できるよう解説します ⚫ 適切にインタラクティブミュージックを用いるための 考え方について解説します ⚫ インタラクティブミュージックを作曲する上での 工夫や苦労する点を知ってほしい
13. このセッションで得られること ⚫ インタラクティブミュージックを直感的に理解できる ⚫ 適切にインタラクティブミュージックを演出に採用できるようになる ⚫ インタラクティブミュージックを作れるようになる(かも)
14. アジェンダ ⚫インタラクティブミュージックの基礎知識 ⚫作曲の舞台裏 ⚫インタラクティブミュージックの課題 ⚫アンケート実施と結果
15. アジェンダ ▶インタラクティブミュージックの基礎知識 ⚫作曲の舞台裏 ⚫インタラクティブミュージックの課題 ⚫アンケート実施と結果
16. インタラクティブミュージックの基礎知識 インタラクティブミュージックがどういったものか こちらをお聴きください
18. インタラクティブミュージックの基礎知識 ⚫音楽の要素がシームレスに変化 ⚫ゲームに適応した音楽の表現方法 フィールド探索 戦闘 ©2019 Bandai Namco Online Inc. ©2019 Bandai Namco Studios Inc.
19. インタラクティブミュージックの基礎知識 ⚫なぜインタラクティブミュージックが必要なのか ▪映像に合わせて盛り上がり下がりを音楽で演出する ことがゲームでは困難なため ▪音楽の切り替わりによって没入感を損なわないため ▪ゲームならではの音楽演出のアイデアが生まれる
20. インタラクティブミュージックの基礎知識 ⚫サウンドミドルウェアの活用 ▪インタラクティブミュージックをゲームに実装するために活用 ゲーム開発に欠かせない様々なサウンド機能を備える ▪ADX・Wwise・FMOD等がメジャー ▪本セッションで紹介する例はWwiseで実装されています
21. メニューの種類に応じて お仕事 コミュ ライブ ガチャ レッスン インタラクティブミュージックの基礎知識 ⚫どんなきっかけで変化する？ 探索⇔戦闘の切り替わり ダンジョンの奥に進むにつれて 制限時間が近づく HP 敵や自分のHPに応じて 戦闘に勝利した時 ゲームによって様々！
22. インタラクティブミュージックの基礎知識 楽器の編成 ハーモニー リズム メロディ 曲の展開 テンポ エフェクト 拍子 ⚫どんな音楽の要素が変化する?
24. インタラクティブミュージックの基礎知識 ⚫どんな音楽の要素が変化する? 楽器の編成 ハーモニー リズム メロディ 曲の展開 テンポ エフェクト 拍子
25. 曲の展開の変化 どんな要素でも変化可能 アレンジの変化 ハーモニー・リズム・楽器編成等が変化 テンポ・拍子・尺は変化不可 インタラクティブミュージックの基礎知識 ⚫手法の分類 縦の遷移 横の遷移 エフェクトによる変化 テンポの変化 その他 大きく分けて２つ手法がある
26. インタラクティブミュージックの基礎知識 ⚫ 縦の遷移 ギター ピアノ バンド楽器とストリングスが音楽の流れはそのままにフェードして入れ替わる → パートのレイヤー構成を入れ替える手法が縦の遷移 ベース ドラム ストリングス ゲームからのきっかけ＝遷移命令 時間軸
27. インタラクティブミュージックの基礎知識 ⚫ 横の遷移 A B エンド 時間軸 遷移命令までループ 遷移命令が来てから次の展開へ
29. ⚫ 横の遷移 ゲーム状況に応じてA → B → エンドへと遷移する 音楽を展開させていく手法が横の遷移 A B エンド 時間軸 遷移命令までループ 遷移命令が来てから次の展開へ インタラクティブミュージックの基礎知識
30. インタラクティブミュージックの基礎知識 縦の遷移は音量のクロスフェードで切り替わっていた
31. インタラクティブミュージックの基礎知識 B エンド 横の遷移は音楽的に自然な繋がり
32. インタラクティブミュージックの基礎知識 ⚫ 横の遷移 B 遷移命令が来てすぐにBからエンドへ進むと… →音楽的に破綻してしまう エンド ゲームからの遷移命令
33. ⚫ 横の遷移 インタラクティブミュージックの基礎知識 B エンド 実際の遷移ポイント ※破線＝音楽的な区切り ゲームからの遷移命令 設定された音楽的な区切りまで待ってから遷移する →音楽が破綻せずに次の展開へ繋がる
34. ⚫ 横の遷移 インタラクティブミュージックの基礎知識 B エンド ※破線＝音楽的な区切り ただし…遅延が生じる問題がある この分だけ遅延する
35. ⚫ 横の遷移 インタラクティブミュージックの基礎知識 B エンド ♩=120 8小節 8小節 16秒 ||
36. ⚫ 横の遷移 インタラクティブミュージックの基礎知識 B エンド ♩=120 8小節 8小節 遷移命令 実際の遷移ポイント 16秒 || 遅延 小
37. ⚫ 横の遷移 インタラクティブミュージックの基礎知識 B エンド ♩=120 8小節 16秒 || 遷移命令 実際の遷移ポイント 遅延 大
38. ⚫ 横の遷移 インタラクティブミュージックの基礎知識 B エンド ♩=120 1小節 2秒 || 区切りを細かくすることで遅延を小さくできる ただし、単調な曲になりやすい欠点も
39. ⚫ 横の遷移 インタラクティブミュージックの基礎知識 B エンド 8小節 8小節 B’ 1小節 遷移命令(HP10%) 遷移命令(ボスを倒す) 遅延 小 エンドへの緩衝材＝プリエンド あらかじめ区切りが細かいB’へ遷移しておくことで、 エンド遷移時の遅延を少なくできる
40. インタラクティブミュージックの基礎知識 ⚫ 手法によって得意不得意がある 1曲の中でどちらかしか使えないわけではないので ケースバイケースで使い分けができるとよい 〇 得意 • 音楽の流れを変える劇的な変化が可能 • 音楽的に自然な繋がりで変化可能 ✕ 不得意 • 即時の変化が難しい （工夫によって緩和はできる） 〇 得意 • 即時に変化することが可能 • 音楽の流れを変えずに雰囲気を変えられる ✕ 不得意 • 音楽の流れ自体は変わらないため 変化幅に限界がある 縦の遷移 横の遷移
41. インタラクティブミュージックの基礎知識 ⚫ 基礎知識のまとめ ▪ゲームに適応した演出方法 ▪ゲームの様々なきっかけにより音楽の要素がシームレスに変化する ▪縦の遷移・横の遷移の手法があり、得意不得意があるので使い分ける
42. アジェンダ ⚫ インタラクティブミュージックの基礎知識 ▶作曲の舞台裏 ⚫ インタラクティブミュージックの課題 ⚫ アンケート実施と結果
43. 作曲の舞台裏 BLUE PROTOCOL ⚫ フィールド ⇔ 戦闘のBGM ▪ 敵のレベルが自分と同等以上 → 全く別の戦闘用BGMへと切り替えて緊張感を演出、戦闘の通知機能 ▪ 敵のレベルが自分よりもかなり低い → 完全なBGM切り替えでは緊張感がやや過剰、通知機能の必要性も薄い → さりげない変化で戦闘の雰囲気を演出したい！ ©2019 Bandai Namco Online Inc. ©2019 Bandai Namco Studios Inc.
45. BLUE PROTOCOL ⚫ フィールド ⇔ 戦闘のBGM ① リズム楽器とピアノの変化で疾走感や厚みをプラス ② メロディと金管楽器は変えずにキープ ③ ストリングス低音の和音変化で緊張感のある響きに 変化させる要素、変化させない要素のメリハリをつけて変化幅をコントロール → 区切りを感じさせずに戦闘の雰囲気をさりげなく演出できた 作曲の舞台裏
46. 作曲の舞台裏 BLUE PROTOCOL ⚫ ランダムな再生 広いフィールドでの探索・採取などで滞在時間が長め 同じBGMをずっと耳にしていたらマンネリするかも…？ → BGMにランダム性を持たせて飽きにくいようにしたい
48. BLUE PROTOCOL ⚫ ランダムな再生 ① ６種類の伴奏 ② ８種類のメロディ ③ ４種類のピアノフレーズ およそ150通り以上の組み合わせ（時間にすると70分の長さ） → 長時間のフィールド滞在でも飽きが来にくいランダム性 作曲の舞台裏
49. 作曲の舞台裏 ACE COMBAT 7 ⚫ インゲーム⇒カットシーンのBGM演出 ▪ ミッション途中のライバル機登場演出 ▪ 緊張感は持続しつつ盛り上がりを演出する必要があった → カットシーンに同期したシームレスな盛り上がりを作りたい！
51. ACE COMBAT 7 ⚫ インゲーム⇒カットシーンのBGM演出 作曲の舞台裏 ① 横の遷移のアプローチ ② 遅延0.15秒以下のプリエンド
52. インタラクティブミュージックの基礎知識 A B 時間軸 A’ 1小節 盛り上がりを同期するために1小節区切りのプリエンドを用いたが しかし、遅延1~2秒でも映像との同期には致命的
53. インタラクティブミュージックの基礎知識 A’ 1小節 8分音符 遷移命令 実際の遷移ポイント 遅延 極小 ② 遅延0.2秒以下のプリエンド 区切りを8分音符にして細かく遷移を場合分けし、遅延を0.15秒以下へ抑えた結果 カットシーンにバッチリ同期した盛り上がりを作れた A’’ A’’ A’’ A’’ A’’ A’’ A’’ A’’ B 0.15秒 ||
54. ACE COMBAT 7 ⚫ インゲーム⇒カットシーンのBGM演出 作曲の舞台裏 ① 横の遷移のアプローチ ② 遅延0.2秒以下のプリエンド → 緊張感を維持しつつドラマティックな盛り上がり演出できた
55. アジェンダ ⚫ インタラクティブミュージックの基礎知識 ⚫ 作曲の舞台裏 ▶インタラクティブミュージックの課題 ⚫ アンケート実施と結果
56. インタラクティブミュージック作曲の課題 気付かれない変化 音楽の魅力との両立 コストの重さ • 自然過ぎてユーザーは気付かないこともしばしば • インタラクティブ遷移がしやすい音楽 ＝ 単調な音楽 • 作曲コストは通常よりも大きい • レコーディング、実装、デバッグコストもある
57. インタラクティブミュージック作曲の課題 気付かれない変化 ⚫ ゲームプレイ時に「あっ！音楽がインタラクティブな変化した！」 と意識した経験はあるでしょうか？ ⚫ インタラクティブ遷移が自然であるほど変化に気付きにくい ⚫ 気付かれないインタラクティブ遷移は果たして効果的か？
58. 気付かれた方がいい場合もある ▪音楽の変化によってユーザーに通知したい場合 ▪変化自体がユーザーに魅力を提供する場合 インタラクティブミュージックにしなかった場合のデメリット ▪音楽の切れ目が悪い意味で意識されて没入感の妨げになったかも ▪ゲームと音楽のテンション感が合わず、気持ちが盛り上がれなかったかも インタラクティブミュージック作曲の課題 気付かれない変化
59. ⚫ インタラクティブ VS 音楽の魅力 → 逆に複雑で抑揚が豊かな曲は横の遷移がしにくい • テンポ・調性(キー)が一定 • リズムやハーモニーの変化が少ない • 展開が少なく抑揚が少ない • メロディがない、もしくは主張が弱い インタラクティブミュージック作曲の課題 音楽の魅力との両立 横遷移インタラクティブと音楽の魅力はトレードオフの関係になりやすい これが横の遷移 しやすい音楽だ！ 遷移しやすい曲の例 遷移しにくい曲の例
60. インタラクティブミュージック作曲の課題 音楽の魅力との両立 ⚫ インタラクティブ VS 音楽の魅力 縦の遷移は？ ▪ 横の遷移に比べると音楽の魅力を損ないにくい ▪ 複雑な曲はやっぱり大変 ▪ アレンジの変化を出すために作曲で考えることも増える 縦の遷移でもある程度は音楽の魅力が出しにくい
61. インタラクティブミュージック作曲の課題 音楽的魅力との両立 ⚫ どうやって両立していくか？ 工夫する＆コストをかける ▪プリエンド等の手法をうまく使う ▪コストと執念で両立 インタラクティブミュージックを使わない ▪音楽的な魅力を押し出したい場面なら敢えて使わないという手段 ▪ゲーム側が音楽に合わせて進行するという手段
62. インタラクティブミュージック作曲の課題 コストの重さ ⚫ 作曲にかかるコスト ボス戦BGM A→B→プリエンド→エンドの４展開を想定 インタラクティブなしで同尺を作った場合の 平均1.5倍の総工数 フィールドＢGM⇔戦闘ＢＧＭを想定 フィールドBGMだけを作る場合の 平均 約1.6倍の総工数 縦の遷移 横の遷移 安いコストではないため費用対効果はよく考える必要がある 作曲以外にレコーディング・実装・デバッグのコストも大きい
63. インタラクティブミュージック作曲の課題 コストの重さ ⚫ コストとどう向き合うか インタラクティブミュージックを使う価値があるか ▪ せっかくコストをかけて作るので効果が高い場面で使いたい ▪ そのためにBGM全体を見通しての設計が大事 AIに期待したい AIに作曲した音楽を学習させると、自動で様々なアレンジを生成したり、 遷移に必要なプリエンドなどを自動で生成するようなソリューションがあれば、 より少ないコスト実現できる。さらに音楽的魅力との両立もできるかも。
64. アジェンダ ⚫ インタラクティブミュージックの基礎知識 ⚫ 作曲の舞台裏 ⚫ インタラクティブミュージックの課題 ▶アンケート実施と結果
65. アンケート実施と結果 アンケート内容はこんな感じ ⚫ 直近3年間程度でインタラクティブミュージックを作曲する機会がどの程度ありましたか ⚫ インタラクティブミュージック作曲にかかる工数について（縦の遷移） ⚫ インタラクティブミュージック作曲にかかる工数について（横の遷移） ⚫ インタラクティブミュージックの作曲で困ったことをお聞かせください ⚫ インタラクティブミュージックの実装経験はありますか？ その際に使用したことのあるミドルウェアも教えてください ⚫ インタラクティブミュージックを作曲することへのモチベーションについてお聞かせ下さい ⚫ その他、インタラクティブミュージックに対して思うことなどがあればよろしくお願いします ⚫ インタラクティブミュージックの作曲に関するアンケートを 弊社サウンドチームのコンポーザー業務経験者に対して実施 (回答数14名)
66. アンケート実施と結果 半分以上が0～20%と回答
67. アンケート実施と結果 フィールドＢGM⇔戦闘ＢＧＭを想定。フィールドBGMのみを作る場合の何倍か 1.5倍が最も多く平均 約1.61倍
68. アンケート実施と結果 ボス戦BGM（A→B→プリエンド→エンド）。インタラクティブなしで作る場合の何倍か 1.5倍が最も多く平均 約1.47倍
69. アンケート実施と結果 ・BPM管理をミドルウェアで管理する必要があり、データ入力が面倒 ・機能を優先するがゆえ、音楽的魅力を表現するのが難しい
70. アンケート実施と結果 半数が積極的に作曲を担当したい
71. アンケート実施と結果 （一部を抜粋） ⚫ 戦闘時/非戦闘時のアレンジをステムの追加でない、別の曲に聞こえるような作り方をしたのですが工数が膨れ上がって苦労しました。 効果に対してどれくらい工数をかけるのか悩みどころです。 ⚫ インタラクションを追求すればするほど音楽的な魅力表現の難易度が上がる印象があり、その両立に日々試行錯誤です。 状況変化に必要な曲と、場面や心情を印象付ける曲は目的に応じて作り分けるのが良いのだろうなと思っています。 ⚫ 昨今ゲーム音楽がゲーム音楽たる仕様ではあると思うのですが、費用対効果が悪く演出がユーザーに伝わりきっていない印象もあります (むしろ伝わらないくらい自然なところが目指すところではあるのかも…？) 追及すると「作家性」と「自然な演出」の綱引きだと思うので、インタラクティブにするとしてもなるべく簡素な仕様にした方が 作家性は活かしやすいかなというのが自分の考え方です ⚫ 複数の素材を任意のタイミングでつなげたり切り離したりする上で、個人的に多様的なコード進行に関するボキャブラリをもっと拡充できるといい。 ⚫ 「自然に遷移してお客さんに気付かせない」ことを大事にしている考えもあれば、「ぜひお客さんに気付いてもらいたい」という考えも世の中にはあり、どのような使い 方がベストなのか、様々な開発者の意見も聞けたら面白そうです。 ⚫ インタラクティブミュージックでの演出の上では手法が限られることもありつつ、そのなかでどうやって最高の音の演出を作っていくかは、限られた容量や発音数の中 で創意工夫を行っていたゲームサウンドクリエイターにとっては大いに腕が鳴る仕事だと思いながら作っています。
72. まとめ ⚫ 大変な面はあるが上手く使えば魅力的でやりがいのある演出手法 ⚫ 今まで以上に広く活用されていくことを願っております ⚫ インタラクティブミュージックについて実感は得られたでしょうか？
73. ご清聴ありがとうございました