状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI

JSAI2026
https://pub.confit.atlas.jp/ja/event/jsai2026/presentation/4L1-GS-5g-01

Transcript

1. Departing from State Management: Scheduler-based AI Enabling Real-time Multitasking in Open-ended Environments 状態管理からの脱却： オープンエンド環境での実時間マルチタス クを実現するスケジューラ型AI 濱田 直希 | (株)サイバーエージェント AI事業本部 Game AI Lab （本研究は KLab株式会社 在職時に行った）
2. 2 ※本研究は，実世界認識を伴うARゲームとキャラク ターAIの実装に関する事例報告となります． 既存のAR/AI手法との定量的な比較実験を含まない ことをご容赦ください． 本発表の流れ 01 背景 02 問題設定 03 提案手法 04 考察 05 まとめ
3. 3 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI 実世界を認識するARキャラクターが現れ始めている https://nianticlabs.com/news/peridot-generative-ai
4. 4 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI 日本全国にご当地キャラがいて、『聖地巡礼』文化が根付いている https://tokotabi.wixsite.com/local
5. 5 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI ご当地VTuber『西浦めめ』とAR観光アプリの実証実験中 https://youwalk.short.gy
6. 6 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI 実世界の住人として振る舞うARエージェントのアーキテクチャ
7. 7 ※本研究は，実世界認識を伴うARゲームとキャラク ターAIの実装に関する事例報告となります． 既存のAR/AI手法との定量的な比較実験を含まない ことをご容赦ください． 本発表の流れ 01 背景 02 問題設定 03 提案手法 04 考察 05 まとめ
8. 8 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI 入出力は非同期並列　どれに反応し、何をする？　リアルタイム調停が必要 キャラ設定 会話履歴 イベント履歴 UI操作履歴 出発地/現在地/目的地 ニュース 検出した物体 近隣施設 Web検索 日時 天気予報 記憶 などなど… 行動 認知 目的地が見えた シーンが変化 するたびに、 イベント到来 人を多数検出 ベンチがある 4時から雨が降る ©UTJ/UCL https://cedil.cesa.or.jp/cedil_sessions/view/3227 ユーザがタップ 笑顔 歩行 雑談 指さし
9. 9 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI ARエージェントのAIに求められる4つの要件 エージェントが直面しうる状況や、その状況 で可能な行動を事前に想定しきない。今どん な状況か。どんな行動が可能か。何をすべき か。いずれも、その場で判断しなければなら ない。 1. オープンエンド環境の理解 /反応 「歩く」「話す」「視線を向ける」「表情を変え る」といった行動は任意の組み合わせで並列 実行できる必要がある。一方で、「歩く」と「走 る」のように同時にできない行動もある。行動 が競合するときは、何を優先するかを決める 必要がある。 案内や会話を中断しても、後で自然に再開し たい。中断している間にも状況は変わる。案 内を再開するときは、最初に戻ってやり直す のではなく、中断した所から唐突に続けるの でもなく、現在の状況に合わせて再開した い。 これら3つの要件は、すべてリアルタイムに処 理しなければならない。 AIの長考が表に現れ てはいけない。 2. マルチモーダル並列実行 3. 割り込み後の継続性 4. 低遅延な実行調停
10. 10 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI 既存のキャラクターAIパラダイムが扱う問題との違い 近い系譜はロボティクスの行動調停だが、割込み調停を主目的とした研究は確認できなかった。 本研究の提案手法は上記のどのパラダイムとも併用できる。 ※公開文献・製品資料を調べた範囲では， ARゲームで実世界イベントと複数モダリティ行動の割り込み調停を主題化した事例は確認できな かった。
11. 11 ※本研究は，実世界認識を伴うARゲームとキャラク ターAIの実装に関する事例報告となります． 既存のAR/AI手法との定量的な比較実験を含まない ことをご容赦ください． 本発表の流れ 01 背景 02 問題設定 03 提案手法 04 考察 05 まとめ
12. 12 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI 制御対象に以下の3つを付与する．※制御対象はキャラクターに限らない．グループやメタ AIなどに階層化も可能． キャラにできること ※ジョブは複数のジョブで構成可 ※ジョブ間アフィニティも指定可 座る 提案手法：スケジューラ型AIとは コンピュータ クラスタで実績のあるジョブ スケジューラの概念をゲームAIに応用 制御対象（キャラクターなど） ジョブの実行を調停 ※優先度に応じて開始 /中断を指示 スケジューラ ジョブが使用するもの ※複数の部位を指定可 ジョブ リソース 歩く 走る 跳ぶ 手を振る ポーズ 指さす 話す 見る 雑談 歩く 手を振る 見る 実行中 どれを 止める？ 道案内 雑談 写真
13. 13 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI スケジューラの挙動　①キューが変化する度にジョブ開始/中断を再判定する Job Queue Resource requirements 　　Job 2 　　Job 3 　　Job 4 　　Job 6 Resource 1 Resource 2 Anti-affinity 　　Job 5 Affinity 　　Job 1
14. 14 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI スケジューラの挙動　②ジョブは優先度順に実行可能か判定される Job Queue Resource requirements 　　Job 2 　　Job 3 　　Job 4 　　Job 6 Resource 1 Resource 2 Anti-affinity 　　Job 5 Affinity ▶　Job 1
15. 15 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI スケジューラの挙動　③ジョブはリソースを確保できたら開始される Job Queue Resource requirements ▶　Job 2 　　Job 3 　　Job 4 　　Job 6 Resource 1 Resource 2 Anti-affinity 　　Job 5 Affinity ▶　Job 1
16. 16 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI スケジューラの挙動　④リソースを確保できないジョブは空くまで待機する Job Queue Resource requirements ▶　Job 2 ⏸　Job 3 　　Job 4 　　Job 6 Resource 1 Resource 2 Anti-affinity 　　Job 5 Affinity ▶　Job 1
17. 17 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI スケジューラの挙動　⑤ジョブはアフィニティが実行されるまで待機する Job Queue Resource requirements ▶　Job 2 ⏸　Job 3 ⏸　Job 4 　　Job 6 Resource 1 Resource 2 Anti-affinity 　　Job 5 Affinity ▶　Job 1
18. 18 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI スケジューラの挙動　⑥ジョブはアンチアフィニティが止まるまで待機する Job Queue Resource requirements ▶　Job 2 ⏸　Job 3 ⏸　Job 4 　　Job 6 Resource 1 Resource 2 Anti-affinity ⏸　Job 5 Affinity ▶　Job 1
19. 19 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI スケジューラの挙動　⑦優先度が低いジョブでも要件を満たせば開始される Job Queue Resource requirements ▶　Job 2 ⏸　Job 3 ⏸　Job 4 ▶　Job 6 Resource 1 Resource 2 Anti-affinity ⏸　Job 5 Affinity ▶　Job 1
20. 20 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI ジョブの挙動　非同期メソッドRun/Pause/Resume/Terminateで制御 状態遷移の開始時に非同期メソッドが呼ばれ る。非同期メソッド終了で遷移が完了する。割 り込み時や復帰時に任意の長さの処理を挟む ことができる。 ポイント さっきの 続きだけ ど…… キリの 良い所で await おっと！ 雑談切り 上げ 雑談内容 事前生成
21. 21 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI • リソース ◦ あらかじめ細分化し，網羅的に定義しておく（リソースは後から増えないので） ◦ 一時的に使わないリソースは無効化する ◦ リソースには包含関係をもたせる ▪ ArmR = UpperArmR | LowerArmR | HandR • ラベル ◦ 最初から細分化しすぎない（ジョブは後から増えるので） ▪ 歩く・走る・スキップはMoveにまとめるくらいの抽象度で ◦ 新たなアフィニティが必要になったら細分化する ▪ 悲しみながらMoveできるけど，スキップはしてほしくない → Skipラベル追加 ◦ ラベルには包含関係をもたせない ▪ Move & (Walk | Run | Skip) == 0 • 優先度 ◦ ナンバリング規則にゆとりをもたせる（優先度はfloatなので追加不能になることは稀だが） ◦ 最優先は1000台，緊急は3000台，通常は6000台，アイドリングは9000台，… リソース・ラベル・優先度の設計が重要 これらを変更する場合，ジョブの全面改修が必要になる 実際のゲームでは最大で数百のスケジューラ が60fpsで稼働する。 リソースとラベルはビット演算で表現し、ジョブ キューがdirtyの時のみ判定する。 ポイント
22. 22 ※本研究は，実世界認識を伴うARゲームとキャラク ターAIの実装に関する事例報告となります． 既存のAR/AI手法との定量的な比較実験を含まない ことをご容赦ください． 本発表の流れ 01 背景 02 問題設定 03 提案手法 04 考察 05 まとめ
23. 23 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI • LLMのみ（スケジューリングも LLMで行う） ◦ 応答にスケジューリング20秒＋行動生成3秒 ◦ 誤認識により振る舞いに矛盾が起こりうる ◦ 割り込みがLLMコンテキストを圧迫 ◦ 割り込み後の再開に失敗しやすい • LLM＋ジョブスケジューラ ◦ 応答に行動生成3秒 ◦ ジョブ間の競合解消を記号的に保証 ◦ 割り込みによるLLMコンテキスト圧迫なし ◦ ただしLLMによるジョブの誤設定はたまに起こる • LLM＋ジョブスケジューラ＋スキルライブラリ ◦ 検索ヒット時は1秒未満で応答 ◦ スキルライブラリの更新は非同期で行うため顕在化しない LLMよりも低遅延で矛盾のない行動ができる https://voyager.minedojo.org/ Voyagerでは、LLMの推論を行うたびにゲー ム時間を停止していた。 LLMのみでリアルタイムなタスクに対処するこ とは難しい。 ポイント
24. 24 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI • ビヘイビアツリー ◦ シングルタスクが基本 ◦ 割り込み前の状態への復帰が困難 ◦ タスク部を変更する度にスケジューラ部も要修正 • ジョブスケジューラ ◦ マルチタスクが基本 ◦ 状態復帰は自動 ◦ ジョブの変更はジョブ内に閉じている • シンボリックAIと競合ではない ◦ 記号的プランナー（GOAPなど）と組み合わせ可 ◦ 既存の行動で足りない場合LLMにフォールバック ビヘイビアツリーよりも割り込みに強く，拡張性が高い https://gdcvault.com/play/1035576/Game-AI-Summit-Combining-GOAP KCDでは、これだけ複雑なツリーを作っても、 「村人が座っているときに攻撃を受けても座り 続ける」という問題が発生した。 O(n2) の状態遷移は考慮漏れしやすい。 ポイント
25. 25 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI Unityにおける既存のスケジューラとの機能比較 提案手法
26. 26 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI スケジューラのオーバーヘッド 合計 Jobs 個のジョブを毎フレーム Submits / Frame ずつ Schedulers にラウンドロビンで投入する Jobs Submits / Frame Schedulers 提案手法 UniTask 処理負荷 100 1 1 0.51 ms 0.42 ms 1.20x 100 0.48 ms 0.39 ms 1.21x 10 1 0.48 ms 0.42 ms 1.14x 100 0.48 ms 0.40 ms 1.21x 1000 1 1 1.70 ms 0.96 ms 1.77x 100 1.72 ms 0.92 ms 1.88x 10 1 2.09 ms 0.93 ms 2.25x 100 2.04 ms 0.93 ms 2.19x
27. 27 ※本研究は，実世界認識を伴うARゲームとキャラク ターAIの実装に関する事例報告となります． 既存のAR/AI手法との定量的な比較実験を含まない ことをご容赦ください． 本発表の流れ 01 背景 02 問題設定 03 提案手法 04 考察 05 まとめ
28. 28 [4L1-GS-5g-01] 状態管理からの脱却：オープンエンド環境での実時間マルチタスクを実現するスケジューラ型AI • 背景と目的 ◦ オープンエンドAR環境でのリアルタイム行動調停を可能にするAI • 提案 ◦ スケジューラ型AI：ジョブスケジューラの概念をゲームAIに応用 ◦ ジョブの並列実行をスケジューラが調停する ◦ 優先度・リソース・アフィニティによってジョブの実行条件を指定する • 考察 ◦ LLM単独よりも低遅延で矛盾のない振る舞いができる ◦ ビヘイビアツリーよりも割込みに強く拡張性が高い ◦ 1000ジョブ・100スケジューラの並行処理を僅かなオーバーヘッドで計算可能 • 今後の課題 ◦ シミュレータの整備：現地に行かなくてもテストできるように ◦ AIの振る舞いの評価：応答時間，行動の一貫性，タスク完了率，ユーザーアンケートなど ◦ AI制作コストの評価：機能追加のコスト，ソースコードの複雑度，開発者の作業時間など まとめ