SSII2023 [OS3] マルチエージェント経路計画の基礎と最新動向

奥村圭祐（産業技術総合研究所/ ケンブリッジ⼤学）

Transcript

1. SSII2023
   マルチエージェント経路計画の
   基礎と最新動向
   2023.6.16
   奥村 圭祐
   (産業技術総合研究所 / ケンブリッジ⼤学）
   1
   

   View Slide

2. /29
   Keisuke Okumura | 奥村 圭祐
   https://kei18.github.io/ @_kei18
   英ケンブリッジ⼤ 客員研究員 (JSPS海外特別研究員)
   産業総合技術研究所 ⼈⼯知能研究センター 研究員
   博⼠ (⼯学)・東京⼯業⼤学 情報理⼯学院
   仏ソルボンヌ⼤ (22)、OMRON SINIC X (21)、NEC R&D (18)
   23.3
   23.5–
   23.4–
   インターン等:
   20
   移動エージェント群を⼤規模に操りたい
   AI & Robotics / Planning / Multiagent Systems
   興味があること
   2
   

   View Slide

3. /29
   エージェント群・ロボット群は
   様々な場⾯で活躍
   YouTube/Mind Blowing Videos
   ロジスティクス
   YouTube/WIRED
   ファブリケーション
   YouTube/Tokyo 2020
   エンタメ
   (現在・将来)
   エージェント群を互いに⼲渉させずに所要の状態に遷移させ続けたい
   3
   

   View Slide

4. /29
   ↓を⼤規模・最適に解きたい
   (シンプルにすると)
   [Okumura+ IJCAI-23a]
   4
   

   View Slide

5. /29
   環境表現
   共通知識︖
   協調とは︖
   エージェント群のナビゲーション
   プランニング
   実⾏⼿法
   不確実性
   誰が︖
   巨⼤な探索空間
   5
   

   View Slide

6. /29
   [Zhang+ 18]
   3Dプリント
   YouTube/StarCraft
   ビデオゲーム
   [van den Berg+ ISRR-11]
   クラウドシミュレーション
   [Flatland Challenge, AIcrowd]
   鉄道
   [Zhang+ SIGGRAPH-20]
   パズル
   [Le Goc+ UIST-16]
   インターフェース
   移動エージェント群の経路・動作計画と実⾏は
   諸事万端のオートメーション化の
   パイプの配置
   [Belov+ SOCS-20]
   6
   交差点管理
   [Li+ AAAI-23]
   

   View Slide

7. /29
   今⽇お話すること – 経路計画
   機械学習
   プランニングのヒントとして活⽤
   離散空間 連続空間
   7
   

   View Slide

8. /29
   離散空間・マルチエージェント経路計画
   MAPF: Multi-Agent Path Finding
   ⼊⼒ agents (starts)
   グラフ
   ゴール
   出⼒・解 衝突のない経路の組合せ
   (理論的には)
   ⼤規模な MAPF で良い解を得ることは難しい
   [Yu+ AAAI-13, Ma+ AAAI-16, Banfi+ RA-L-17, etc]
   8
   

   View Slide

9. /29
   プランニングのチャレンジ
   解の質
   解決能⼒
   ⾼
   低
   計算労⼒ 軽
   重
   スピード・スケーラビリティ
   完全、最適
   不完全、準最適
   聖杯
   短時間で
   ⼤規模な問題に対して
   なるべく良い解を求めたい
   注) 完全性︓
   - 解ける問題 -> 解を出⼒
   - 解けない問題 -> 解決不可を⽰唆
   9
   

   View Slide

10. /29
    …
    … …
    … …
    探索ノード
    (configuration)
    ナイーブなやり⽅︓A*
    ゴール
    グリーディー探索: 44ノード
    ⼀般には: (5^N)xT ノード
    N: エージェント、T: 深さ
    完璧なヒューリスティックが
    あっても絶望的
    [Hart+ 68]
    完全・最適
    10
    

    View Slide

11. /29
    
    
    
    
    
    
    解けたインスタンス数 (%)
    計算時間
    (秒)
    完
    全
    ・
    最
    適
    0.0%
    A*
    [Hart+
    68]
    33 grid maps
    例) 194x194
    |V|=13,214
    - 13,900インスタンスを[Stern+ SOCS-19]から取得
    - グラフとして33のグリッドマップを使⽤
    - 50エージェントごと、最⼤1000台
    - デスクトップPCを使⽤
    MAPFベンチマークでの評価
    (Multi-Agent Path Finding)
    11
    

    View Slide

12. /29
    最適解!
    cost: 5
    t=1
    cost: 5
    replan
    stay
    t=1
    cost: 6
    replan
    t=1
    t=2
    stay
    cost: 6
    replan
    t=1
    t=2
    cost: 6
    replan
    ⼈気あるアプローチ︓CBS
    Conflict-based Search [Sharon+ AIJ-15]
    各エージェントが
    “いつ・どこ” を使っていけなのかを探索する
    2段階の探索
    constraint tree の構築
    high-level:
    low-level: 制約に従う最短経路を探索
    衝突の優先順位付け [Boyarski+ IJCAI-15, Huang+ AAAI-21]
    ヒューリスティックの改良 [Felner+ ICAPS-18, Li+ IJCAI-19]
    遅延評価 [Gange+ ICAPS-19]
    対称性の解消 [Li+ AIJ-21, Zhang+ AIJ-22]
    反復深化 [Boyarski+ IJCAI-20]
    有界準最適ソルバ (E)ECBS [Barer+ SoCS-14, Li+ AAAI-21]
    パワフルな拡張が存在, e.g.,
    不完全(解けない問題は判別不可)・最適
    12
    

    View Slide

13. /29
    
    
    
    
    
    
    解けたインスタンス数 (%)
    計算時間
    (秒)
    完
    全
    ・
    最
    適
    0.0%
    A*
    [Hart+
    68]
    不
    完
    全
    ・
    最
    適
    8.3%
    CBS
    [Sharon+
    AIJ-15; Li+
    AIJ-21]
    不
    完
    全
    ・
    有
    界
    準
    最
    適
    50.5%
    EECBS-5
    [Li+
    AAAI-21]
    - 13,900インスタンスを[Stern+ SOCS-19]から取得
    - グラフとして33のグリッドマップを使⽤
    - 50エージェントごと、最⼤1000台
    - デスクトップPCを使⽤
    13
    MAPFベンチマークでの評価
    

    View Slide

14. /29
    単純な⽅法︓優先順位付き経路計画
    エージェントに優先順位を割当てる
    1.
    優先順位順に⼀台ずつ経路計画
    ⾃⾝より⾼い優先順位をもつエージェントの経路との衝突を避ける
    2.
    概要
    PP: Prioritized Planning [Erdmann+ Algorithmica-87, Silver AIIDE-05]
    どんな順序付けでも解けない
    シンプル、速い、そこそこ良い解、実⽤的
    優先順位の割当 [Azarm+ ICRA-97, van Den Berg+ ICRA-05, Ma+ AAAI-19…]
    限定環境での完全性の付与 [Cap+ T-ASE-15]
    パワフルな拡張が存在, e.g.,
    ただし不完全で準最適
    14
    

    View Slide

15. /29
    
    
    
    
    
    
    解けたインスタンス数 (%)
    計算時間
    (秒)
    完
    全
    ・
    最
    適
    0.0%
    A*
    [Hart+
    68]
    不
    完
    全
    ・
    準
    最
    適
    61.4%
    PP [Silver AIIDE-05]
    不
    完
    全
    ・
    最
    適
    8.3%
    CBS
    [Sharon+
    AIJ-15; Li+
    AIJ-21]
    不
    完
    全
    ・
    有
    界
    準
    最
    適
    50.5%
    EECBS-5
    [Li+
    AAAI-21]
    - 13,900インスタンスを[Stern+ SOCS-19]から取得
    - グラフとして33のグリッドマップを使⽤
    - 50エージェントごと、最⼤1000台
    - デスクトップPCを使⽤
    15
    MAPFベンチマークでの評価
    

    View Slide

16. /29
    もっと強い⽅法はないか︖
    16
    

    View Slide

17. /29
    …
    … …
    … …
    PIBT
    PIBT
    PIBT
    最近出てきた⽅法︓LaCAM(*)
    lazy constraints addition search for MAPF [Okumura AAAI-23, IJCAI-23b]
    他MAPFアルゴリズムを使って
    探索ノードを遅延⽣成する
    完全・最終的に最適
    [Okumura+ AIJ-22]
    グリーディー: 44ノード
    LaCAM: 4ノード
    ⾼速な探索が可能に︕
    17
    

    View Slide

18. /29
    
    
    
    
    
    
    解けたインスタンス数 (%)
    計算時間
    (秒)
    - 13,900インスタンスを[Stern+ SOCS-19]から取得
    - グラフとして33のグリッドマップを使⽤
    - 50エージェントごと、最⼤1000台
    - デスクトップPCを使⽤
    MAPFベンチマークでの評価
    完
    全
    ・
    最
    適
    0.0%
    A*
    [Hart+
    68]
    完
    全
    ・
    最
    終
    的
    に
    最
    適
    99.9%
    LaCAM*
    [Okum
    ura
    IJCAI-23]
    不
    完
    全
    ・
    準
    最
    適
    61.4%
    PP [Silver AIIDE-05]
    不
    完
    全
    ・
    最
    適
    8.3%
    CBS
    [Sharon+
    AIJ-15; Li+
    AIJ-21]
    不
    完
    全
    ・
    有
    界
    準
    最
    適
    50.5%
    EECBS-5
    [Li+
    AAAI-21]
    18
    

    View Slide

19. /29
    離散空間 連続空間
    探索アルゴリズムを活⽤するには
    エージェントにとっての環境表現(グラフ; ロードマップ)が必要
    19
    

    View Slide

20. /29
    configuration space
    ランダムサンプリングで
    ロードマップを⽣成
    ロードマップ上で
    経路計画してdone
    (x, y)はこの領域に
    留まる必要あり
    ロボットの状態は
    (x, y)で表される
    ⾼次元空間でも同じ
    エージェント単体でのロードマップ⽣成の例︓
    SBMP: Sampling-Based Motion Planning
    20
    

    View Slide

21. /29
    連続空間での
    マルチエージェント経路計画を解く戦略
    エージェントごとのロードマップを
    SBMP (Sampling-Based Motion Planning) の要領で⽣成
    ロードマップ上で MAPF アルゴリズムを駆動
    1.
    2.
    2段階のプランニング
    21
    

    View Slide

22. /29
    この戦略は様々なプランニングに展開可能
    [Okumura+ IJCAI-23a]
    22
    

    View Slide

23. /29
    トレードオフ再び
    解の質
    解決能⼒
    ⾼
    低
    計算労⼒ 軽
    重
    スピード・スケーラビリティ
    完全、最適
    不完全、準最適
    密な表現*
    疎な表現*
    (理想的には)
    ⾼品質な解を含む
    ⼩さいロードマップを張りたい
    *PRM [Kavraki+ 96] で⽣成
    23
    

    View Slide

24. /29
    対応策
    各エージェントにとって
    重要な領域に限定して
    ロードマップを構築すればよい
    ただし、他のエージェントとの⼲渉も考える必要がある
    マニュアルのルールで重要な領域を特定するのは現実的ではない…
    24
    

    View Slide

25. /29
    対応策
    各エージェントにとって
    重要な領域に限定して
    ロードマップを構築すればよい
    機械学習が使えそう
    うまくいったプランニングを⼤量に集めて
    重要な領域を学習させればよい (教師あり学習)
    25
    

    View Slide

26. /29
    トレードオフを破る⽅法の例: CTRMs
    …
    t=0 t=1 t=2
    合
    成
    オフライン / 訓練時
    オンライン / 推論時
    経路⽣成
    訓練済みモデル
    MAPF
    アルゴリズム
    プランニングのデモ 次の位置を予測
    MLモデル
    連続空間での経路
    Cooperative Timed Roadmaps [Okumura+ AAMAS-22]
    26
    

    View Slide

27. /29
    やりたいこと
    Computer Vision の分野で似たような話がないか︖
    => 軌道予測のMLモデルを応⽤
    [Salzmann+ ECCV-20]
    トレードオフを破る⽅法の例: CTRMs
    Cooperative Timed Roadmaps [Okumura+ AAMAS-22]
    27
    

    View Slide

28. /29
    経路
    コスト
    計算労⼒
    機械学習の利⽤で解の質を
    保ったまま計算労⼒を削減
    M
    APF
    ア
    ル
    ゴ
    リ
    ズ
    ム
    最終的に
    得られた軌道
    ⽣成されたロードマップ
    CTRMsの性能
    28
    

    View Slide

29. /29
    まとめ
    機械学習
    プランニングのヒントとして活⽤
    離散空間 連続空間
    29
    

    View Slide

30. /29
    More Info? => Check My Website!
    https://kei18.github.io/
    Thank You for Listening!
    

    View Slide

31. /29
    主な⽂献
    • [Okumura+ IJCAI-23a] Okumura, K. & Defago, X. “Quick Multi-Robot Motion Planning by Combining Sampling and Search.” IJCAI.
    2023. In Press.
    • [Yu+ AAAI-13] Yu, J., & LaValle, S. “Structure and intractability of optimal multi-robot path planning on graphs.” AAAI. 2013.
    • [Ma+ AAAI-16] Ma.,H., Tovey, C., Sharon, G., Kumar, T. S., & Koenig, S. “Multi- agent path finding with payload transfers and the
    package-exchange robot-routing problem.” AAAI. 2016.
    • [Banfi+ RA-L-17] Banfi, J., Basilico, N., & Amigoni, F. “Intractability of time-optimal multirobot path planning on 2d grid graphs
    with holes.” RA-L. 2017.
    • [Hart+ 68] Hart, E. P., Nilsson, J. N. & Raphael, B. “A formal basis for the heuristic determination of minimum cost paths.” IEEE
    transactions on Systems Science and Cybernetics. 1968.
    • [Stern+ SOCS-19] Stern, R., et al. “Multi-agent pathfinding: Definitions, variants, and benchmarks.” SOCS. 2019.
    • [Shraon+ AIJ-15] Sharon, G., Stern, R., Felner, A., & Sturtevant, N. R. “Conflict-based search for optimal multi-agent pathfinding.”
    AIJ. 2015.
    • [Li+ AAAI-21] Li, J., Ruml, W., & Koenig, S. “EECBS: A Bounded-Suboptimal Search for Multi-Agent Path Finding.” AAAI. 2021.
    • [Erdmann+ 87] Erdmann, M., & Lozano-Perez, T. “On multiple moving objects.” Algorithmica. 1987.
    • [Silver AIIDE-05] Silver, D. “Cooperative pathfinding.” AIIDE. 2005.
    • [Okumura+ AIJ-22] Okumura, K., Machida M., Défago, X. & Tamura, Y. “Priority Inheritance with Backtracking for Iterative Multi-
    agent Path Finding.” AIJ. 2022.
    • [Okumura AAAI-23] LaCAM: Search-Based Algorithm for Quick Multi-Agent Pathfinding. AAAI. 2023.
    • [Okumura IJCAI-23] Improving LaCAM for Scalable Eventually Optimal Multi-Agent Pathfinding. IJCAI. 2023. In Press.
    • [Kavraki+ 96] Kavraki, L. E., Svestka, P., Latombe, J. C., & Overmars, M. H. “Probabilistic roadmaps for path planning in high-
    dimensional configuration spaces.” IEEE transactions on Robotics and Automation. 1996.
    • [Okumura+ AAMAS-22] Okumura, K. et al. “CTRMs: Learning to Construct Cooperative Timed Roadmaps for Multi-agent Path
    Planning in Continuous Spaces.” AAMAS. 2022.
    • [Salzmann+ ECCV-20] Salzmann, T., Ivanovic, B., Chakravarty, P., & Pavone, M. "Trajectron++: Dynamically-feasible trajectory
    forecasting with heterogeneous data.” ECCV. 2020.
    登場順
    31
    

    View Slide