SSII2023 [OS3] マルチエージェント経路計画の基礎と最新動向

奥村圭祐（産業技術総合研究所/ ケンブリッジ⼤学）

Transcript

1. SSII2023 マルチエージェント経路計画の 基礎と最新動向 2023.6.16 奥村 圭祐 (産業技術総合研究所 / ケンブリッジ⼤学） 1
2. /29 Keisuke Okumura | 奥村 圭祐 https://kei18.github.io/ @_kei18 英ケンブリッジ⼤ 客員研究員 (JSPS海外特別研究員) 産業総合技術研究所 ⼈⼯知能研究センター 研究員 博⼠ (⼯学)・東京⼯業⼤学 情報理⼯学院 仏ソルボンヌ⼤ (22)、OMRON SINIC X (21)、NEC R&D (18) 23.3 23.5– 23.4– インターン等: 20 移動エージェント群を⼤規模に操りたい AI & Robotics / Planning / Multiagent Systems 興味があること 2
3. /29 エージェント群・ロボット群は 様々な場⾯で活躍 YouTube/Mind Blowing Videos ロジスティクス YouTube/WIRED ファブリケーション YouTube/Tokyo 2020 エンタメ (現在・将来) エージェント群を互いに⼲渉させずに所要の状態に遷移させ続けたい 3
4. /29 ↓を⼤規模・最適に解きたい (シンプルにすると) [Okumura+ IJCAI-23a] 4
5. /29 環境表現 共通知識︖ 協調とは︖ エージェント群のナビゲーション プランニング 実⾏⼿法 不確実性 誰が︖ 巨⼤な探索空間 5
6. /29 [Zhang+ 18] 3Dプリント YouTube/StarCraft ビデオゲーム [van den Berg+ ISRR-11] クラウドシミュレーション [Flatland Challenge, AIcrowd] 鉄道 [Zhang+ SIGGRAPH-20] パズル [Le Goc+ UIST-16] インターフェース 移動エージェント群の経路・動作計画と実⾏は 諸事万端のオートメーション化の パイプの配置 [Belov+ SOCS-20] 6 交差点管理 [Li+ AAAI-23]
7. /29 今⽇お話すること – 経路計画 機械学習 プランニングのヒントとして活⽤ 離散空間 連続空間 7
8. /29 離散空間・マルチエージェント経路計画 MAPF: Multi-Agent Path Finding ⼊⼒ agents (starts) グラフ ゴール 出⼒・解 衝突のない経路の組合せ (理論的には) ⼤規模な MAPF で良い解を得ることは難しい [Yu+ AAAI-13, Ma+ AAAI-16, Banfi+ RA-L-17, etc] 8
9. /29 プランニングのチャレンジ 解の質 解決能⼒ ⾼ 低 計算労⼒ 軽 重 スピード・スケーラビリティ 完全、最適 不完全、準最適 聖杯 短時間で ⼤規模な問題に対して なるべく良い解を求めたい 注) 完全性︓ - 解ける問題 -> 解を出⼒ - 解けない問題 -> 解決不可を⽰唆 9
10. /29 … … … … … 探索ノード (configuration) ナイーブなやり⽅︓A* ゴール グリーディー探索: 44ノード ⼀般には: (5^N)xT ノード N: エージェント、T: 深さ 完璧なヒューリスティックが あっても絶望的 [Hart+ 68] 完全・最適 10
11. /29                解けたインスタンス数 (%) 計算時間 (秒) 完 全 ・ 最 適 0.0% A* [Hart+ 68] 33 grid maps 例) 194x194 |V|=13,214 - 13,900インスタンスを[Stern+ SOCS-19]から取得 - グラフとして33のグリッドマップを使⽤ - 50エージェントごと、最⼤1000台 - デスクトップPCを使⽤ MAPFベンチマークでの評価 (Multi-Agent Path Finding) 11
12. /29 最適解! cost: 5 t=1 cost: 5 replan stay t=1 cost: 6 replan t=1 t=2 stay cost: 6 replan t=1 t=2 cost: 6 replan ⼈気あるアプローチ︓CBS Conflict-based Search [Sharon+ AIJ-15] 各エージェントが “いつ・どこ” を使っていけなのかを探索する 2段階の探索 constraint tree の構築 high-level: low-level: 制約に従う最短経路を探索 衝突の優先順位付け [Boyarski+ IJCAI-15, Huang+ AAAI-21] ヒューリスティックの改良 [Felner+ ICAPS-18, Li+ IJCAI-19] 遅延評価 [Gange+ ICAPS-19] 対称性の解消 [Li+ AIJ-21, Zhang+ AIJ-22] 反復深化 [Boyarski+ IJCAI-20] 有界準最適ソルバ (E)ECBS [Barer+ SoCS-14, Li+ AAAI-21] パワフルな拡張が存在, e.g., 不完全(解けない問題は判別不可)・最適 12
13. /29                解けたインスタンス数 (%) 計算時間 (秒) 完 全 ・ 最 適 0.0% A* [Hart+ 68] 不 完 全 ・ 最 適 8.3% CBS [Sharon+ AIJ-15; Li+ AIJ-21] 不 完 全 ・ 有 界 準 最 適 50.5% EECBS-5 [Li+ AAAI-21] - 13,900インスタンスを[Stern+ SOCS-19]から取得 - グラフとして33のグリッドマップを使⽤ - 50エージェントごと、最⼤1000台 - デスクトップPCを使⽤ 13 MAPFベンチマークでの評価
14. /29 単純な⽅法︓優先順位付き経路計画 エージェントに優先順位を割当てる 1. 優先順位順に⼀台ずつ経路計画 ⾃⾝より⾼い優先順位をもつエージェントの経路との衝突を避ける 2. 概要 PP: Prioritized Planning [Erdmann+ Algorithmica-87, Silver AIIDE-05] どんな順序付けでも解けない シンプル、速い、そこそこ良い解、実⽤的 優先順位の割当 [Azarm+ ICRA-97, van Den Berg+ ICRA-05, Ma+ AAAI-19…] 限定環境での完全性の付与 [Cap+ T-ASE-15] パワフルな拡張が存在, e.g., ただし不完全で準最適 14
15. /29                解けたインスタンス数 (%) 計算時間 (秒) 完 全 ・ 最 適 0.0% A* [Hart+ 68] 不 完 全 ・ 準 最 適 61.4% PP [Silver AIIDE-05] 不 完 全 ・ 最 適 8.3% CBS [Sharon+ AIJ-15; Li+ AIJ-21] 不 完 全 ・ 有 界 準 最 適 50.5% EECBS-5 [Li+ AAAI-21] - 13,900インスタンスを[Stern+ SOCS-19]から取得 - グラフとして33のグリッドマップを使⽤ - 50エージェントごと、最⼤1000台 - デスクトップPCを使⽤ 15 MAPFベンチマークでの評価
16. /29 もっと強い⽅法はないか︖ 16
17. /29 … … … … … PIBT PIBT PIBT 最近出てきた⽅法︓LaCAM(*) lazy constraints addition search for MAPF [Okumura AAAI-23, IJCAI-23b] 他MAPFアルゴリズムを使って 探索ノードを遅延⽣成する 完全・最終的に最適 [Okumura+ AIJ-22] グリーディー: 44ノード LaCAM: 4ノード ⾼速な探索が可能に︕ 17
18. /29                解けたインスタンス数 (%) 計算時間 (秒) - 13,900インスタンスを[Stern+ SOCS-19]から取得 - グラフとして33のグリッドマップを使⽤ - 50エージェントごと、最⼤1000台 - デスクトップPCを使⽤ MAPFベンチマークでの評価 完 全 ・ 最 適 0.0% A* [Hart+ 68] 完 全 ・ 最 終 的 に 最 適 99.9% LaCAM* [Okum ura IJCAI-23] 不 完 全 ・ 準 最 適 61.4% PP [Silver AIIDE-05] 不 完 全 ・ 最 適 8.3% CBS [Sharon+ AIJ-15; Li+ AIJ-21] 不 完 全 ・ 有 界 準 最 適 50.5% EECBS-5 [Li+ AAAI-21] 18
19. /29 離散空間 連続空間 探索アルゴリズムを活⽤するには エージェントにとっての環境表現(グラフ; ロードマップ)が必要 19
20. /29 configuration space ランダムサンプリングで ロードマップを⽣成 ロードマップ上で 経路計画してdone (x, y)はこの領域に 留まる必要あり ロボットの状態は (x, y)で表される ⾼次元空間でも同じ エージェント単体でのロードマップ⽣成の例︓ SBMP: Sampling-Based Motion Planning 20
21. /29 連続空間での マルチエージェント経路計画を解く戦略 エージェントごとのロードマップを SBMP (Sampling-Based Motion Planning) の要領で⽣成 ロードマップ上で MAPF アルゴリズムを駆動 1. 2. 2段階のプランニング 21
22. /29 この戦略は様々なプランニングに展開可能 [Okumura+ IJCAI-23a] 22
23. /29 トレードオフ再び 解の質 解決能⼒ ⾼ 低 計算労⼒ 軽 重 スピード・スケーラビリティ 完全、最適 不完全、準最適 密な表現* 疎な表現* (理想的には) ⾼品質な解を含む ⼩さいロードマップを張りたい *PRM [Kavraki+ 96] で⽣成 23
24. /29 対応策 各エージェントにとって 重要な領域に限定して ロードマップを構築すればよい ただし、他のエージェントとの⼲渉も考える必要がある マニュアルのルールで重要な領域を特定するのは現実的ではない… 24
25. /29 対応策 各エージェントにとって 重要な領域に限定して ロードマップを構築すればよい 機械学習が使えそう うまくいったプランニングを⼤量に集めて 重要な領域を学習させればよい (教師あり学習) 25
26. /29 トレードオフを破る⽅法の例: CTRMs … t=0 t=1 t=2 合 成 オフライン / 訓練時 オンライン / 推論時 経路⽣成 訓練済みモデル MAPF アルゴリズム プランニングのデモ 次の位置を予測 MLモデル 連続空間での経路 Cooperative Timed Roadmaps [Okumura+ AAMAS-22] 26
27. /29 やりたいこと Computer Vision の分野で似たような話がないか︖ => 軌道予測のMLモデルを応⽤ [Salzmann+ ECCV-20] トレードオフを破る⽅法の例: CTRMs Cooperative Timed Roadmaps [Okumura+ AAMAS-22] 27
28. /29 経路 コスト 計算労⼒ 機械学習の利⽤で解の質を 保ったまま計算労⼒を削減 M APF ア ル ゴ リ ズ ム 最終的に 得られた軌道 ⽣成されたロードマップ CTRMsの性能 28
29. /29 まとめ 機械学習 プランニングのヒントとして活⽤ 離散空間 連続空間 29
30. /29 More Info? => Check My Website! https://kei18.github.io/ Thank You for Listening!
31. /29 主な⽂献 • [Okumura+ IJCAI-23a] Okumura, K. & Defago, X. “Quick Multi-Robot Motion Planning by Combining Sampling and Search.” IJCAI. 2023. In Press. • [Yu+ AAAI-13] Yu, J., & LaValle, S. “Structure and intractability of optimal multi-robot path planning on graphs.” AAAI. 2013. • [Ma+ AAAI-16] Ma.,H., Tovey, C., Sharon, G., Kumar, T. S., & Koenig, S. “Multi- agent path finding with payload transfers and the package-exchange robot-routing problem.” AAAI. 2016. • [Banfi+ RA-L-17] Banfi, J., Basilico, N., & Amigoni, F. “Intractability of time-optimal multirobot path planning on 2d grid graphs with holes.” RA-L. 2017. • [Hart+ 68] Hart, E. P., Nilsson, J. N. & Raphael, B. “A formal basis for the heuristic determination of minimum cost paths.” IEEE transactions on Systems Science and Cybernetics. 1968. • [Stern+ SOCS-19] Stern, R., et al. “Multi-agent pathfinding: Definitions, variants, and benchmarks.” SOCS. 2019. • [Shraon+ AIJ-15] Sharon, G., Stern, R., Felner, A., & Sturtevant, N. R. “Conflict-based search for optimal multi-agent pathfinding.” AIJ. 2015. • [Li+ AAAI-21] Li, J., Ruml, W., & Koenig, S. “EECBS: A Bounded-Suboptimal Search for Multi-Agent Path Finding.” AAAI. 2021. • [Erdmann+ 87] Erdmann, M., & Lozano-Perez, T. “On multiple moving objects.” Algorithmica. 1987. • [Silver AIIDE-05] Silver, D. “Cooperative pathfinding.” AIIDE. 2005. • [Okumura+ AIJ-22] Okumura, K., Machida M., Défago, X. & Tamura, Y. “Priority Inheritance with Backtracking for Iterative Multi- agent Path Finding.” AIJ. 2022. • [Okumura AAAI-23] LaCAM: Search-Based Algorithm for Quick Multi-Agent Pathfinding. AAAI. 2023. • [Okumura IJCAI-23] Improving LaCAM for Scalable Eventually Optimal Multi-Agent Pathfinding. IJCAI. 2023. In Press. • [Kavraki+ 96] Kavraki, L. E., Svestka, P., Latombe, J. C., & Overmars, M. H. “Probabilistic roadmaps for path planning in high- dimensional configuration spaces.” IEEE transactions on Robotics and Automation. 1996. • [Okumura+ AAMAS-22] Okumura, K. et al. “CTRMs: Learning to Construct Cooperative Timed Roadmaps for Multi-agent Path Planning in Continuous Spaces.” AAMAS. 2022. • [Salzmann+ ECCV-20] Salzmann, T., Ivanovic, B., Chakravarty, P., & Pavone, M. "Trajectron++: Dynamically-feasible trajectory forecasting with heterogeneous data.” ECCV. 2020. 登場順 31