大規模な移動エージェント群の制御 奥村 圭祐 Mar. 22nd, 2021 東京工業大学 情報理工学院 ౦ژ޻ۀେֶ 5PLZP*OTUJUVUFPG5FDIOPMPHZ invited talk SIG-FPAI-116

/123 2 東京工業大学 情報理工学院 博士課程 (2020-,指導教員: Defago Xavier教授) 学振DC1/吉田育英会 ドクター21 Keisuke Okumura | 奥村圭祐 @_kei18 興味があること 移動エージェント群を大規模に操りたい Multi-Agent Planning / Multi-Robot Coordination / Distributed Algorithms 分野としては？ => AI & Robotics - IJCAI / AAAI / ICAPS / AAMAS - ICRA / IROS

/123 3 objective Representation Agent Planning Execution Uncertainty Single-Agent Planning & Execution

/123 4 objective-1 Representation objective-2 Planning Who Plans? Huge Search Space Common Knowledge? Cooperation? (increased) Uncertainty Execution Multi-Agent Planning & Execution

/123 5 本日の構成 Multi-Agent Path Finding の紹介 環境による計算支援 Active Modular Environment Time-Independent Planning タイミング非依存なな実行ポリシー Iterative Refinement Anytime アルゴリズム Priority Inheritance with Backtracking MAPF への柔軟なアプローチ execution planning

/123 6 入門 MAPF: Multi-Agent Path Finding

/123 7 MAPF: Multi-Agent Path Finding given agents (starts) graph goals solution paths without collisions

/123 8 応用例 YouTube/Mind Blowing Videos Twitter/@knaohiro1 YouTube/StarCraft 倉庫の荷物運搬 [Wuman+ AI Magagine-08] 航空機の牽引計画 [Morris+ AAAI Workshop-16] 自動駐車 [Okoso+ ITSC-19] ロボットのパターン形成 [Li+ AAMAS-20] 自動運転・交差点の管理 [Dresner&Stone JAIR-08] ビデオゲーム [Silver AIIDE-05] ロボットサッカー [MacAlpine AAAI-15]

/123 9 cooperative pathfinding multi-robot path planning multi-agent path planning multi-agent pathfinding ≠ multi-robot motion planning 日本語だと “マルチエージェント経路計画” ? Robotics の人たち AI の人たち 名称

/123 10 目的関数 length: k ring makespan: k+1, sum-of-costs: 2k+3 時計回り makespan: k+2, sum-of-costs: k+6 反時計回り k > 3 で同時最適化は不可 [Yu&LaValle AAAI-13] 例. 1. last arrival time (aka. makespan) 2. total arrival time (aka. sum-of-costs, flowtime) 3. total distance メジャー 4. max distance

/123 11 複雑性の解析 - 最適化 makespan, sum-of-costs, total distance の最小化は NP 困難 [Surynek AAAI-10, Yu&LaValle AAAI-13, Ma+ AAAI-16] 平面グラフ下で makespan, sum-of-costs, total distance, max distance の最小化は NP 困難 [Yu RA-L-15 ] グリッド下で makespan, sum-of-costs の最小化は NP 困難 [Banfi+ RA-L-17] makespan 最小化に関して 4/3 以下の近似解を得ることは NP 困難 [Ma+ AAAI-16] *証明は 3-SAT からの帰着より

/123 12 複雑性の解析 - 実行可能解 有向グラフでは実行可能解を求めること自体が NP 困難 [Nebel ICAPS-20] 無向グラフでは pebble motion problem の解析より 解があれば O(n^3) 回の動きの実行可能解を生成できる [Kornhauser 84, Röger&Helmert SoCS-12] n: ノード数, タイト 多項式時間で解ける 証明は 3-SAT からの帰着より (綺麗) wikipedia c.f., 15パズルの 最短手数の求解は NP 困難 [Ratner&Warmuth AAAI-86]

/123 13 実際にどう解いていくか?

/123 14 優先順位付き経路計画 ルールベース 探索ベース 還元ベース

/123 15 優先順位付き経路計画: Prioritized Planning シンプル, 速い, そこそこ良い解, 実用的, しかし不完全 エージェントに優先順位を割当てる 1. 優先順位順に一台ずつ経路計画 自身より高い優先順位をもつエージェントの経路との衝突を避ける 2. どんな順序付けでも解けない 代表例: HCA*: Hierarchical Cooperative A* [Silver AIIDE-05] 衝突を無視した最短経路長 (A* を階層的に利用 )をヒューリスティックとして使用 部分的に利用されることも多い [Wang&Botea JAIR-11, Bnaya&Felner ICRA-14] 準最適・不完全・高速 オリジナル? [Erdmann&Lozano-Perez Algorithmica-87]

/123 16 優先順位の割当の工夫 総当り, 山登り法, ヒューリスティック, 再割当て, 割当自体を探索, etc [Azarm&Schmidt ICRA-97, Bennewitz+ Robotics-02, Van Den Berg&Overmars ICRA-05, Andreychuk&Yakovlev AAMAS-18, Ma+ AAAI-19] RPP: Revisit Prioritized Planning [Cap+ T-ASE-15] well-formed なインスタンスであれば完全性を保証 優先順位付き経路計画のチップス 分散的なプランニングとの相性が良い [Velagapudi+ IROS-10, Cap+ T-ASE-15] well-formed ill-formed 他エージェントのスタート・ゴールを 通らない経路が少なくとも一つは存在する

/123 17 ルールベース 二重連結グラフのループ分解を利用: BIBOX [Surynek ICRA-09, Surynek FLAIRS-09] 強連結・二重連結な有向グラフへの拡張 [Botea&Surynek AAAI-15] 準最適・完全・超高速 グラフを抽象化, いくつかのコンポーネントに分解 [Ryan JAIR-08] 全域木の利用 [Peasgood T-RO-08] Push&Swap, Push&Rotate [Luna&Bekris IJCAI-11, de Wilde+ AAMAS-13] プッシュ操作でエージェントを1台ずつゴールに向かって動かす 必要に応じてスワップ操作で2台のエージェントの位置を入れ替える 次数≥3のノード +空の隣接ノードx2 発展: 並列実行 [Sajid+ SoCS-12], 分散実行 [Wiktor+ IROS-14, Wei+ IEA/AIE-14, Zhang+ DARS-16, Wang&Rubenstein RA-L-20] TASS: Tree-based Agent Swapping Strategy [Khorshid+ SoCS-11] も同じようなアイデア

/123 18 還元ベース 最適・完全 よく知られている問題へ変換して汎用ソルバで解く CSP: 制約充足問題 [Ryan ICRA-10] SAT: 充足可能性問題 [Surynek PRICAI-12, Surynek+ ECAI-16] ILP: 整数計画問題 [Yu&LaValle T-RO-16] ASP: 解集合プログラミング [Erdem+ IJCAI-13]

/123 19 探索ベース 最適・完全 素朴な考え: A* を適応させる 1つの探索ノードを { すべてのエージェントの位置 } に対応させればいい ただし探索空間が大きすぎて手に負えない Operator Decomposition 中間状態の導入で枝刈り & Independent Detection エージェントのサブセット (最初は1台) に対してソルバをあてる 衝突が検出されたらサブセット同士をマージ [Standley AAAI-10] MAPF 研究の火付け役

/123 20 ICTS: Increasing Cost Tree Search [Sharon+ AIJ-13] EPEA*: Enhanced Partial Expansion A* [Goldenberg+ JAIR-14] M* (subdimensional expansion) [Wagner&Choset AIJ-15] その後 現時点で最も研究されている & 使い勝手がいいのが CBS: Conflict-based Search [Sharon+ AIJ-15] などが提案される SOTA は BCP: Branch-and-Cut-and-Price [Lam+ IJCAI-19, Lam&Le Bodic ICAPS-20] 300 エージェントくらいまでなら解ける 次ページ参照

/123 21 CBS: Conflict-based Search[Sharon+ AIJ-15] 最適解! cost: 5 各エージェントが “いつ・どこ” を使っていけなのかを探索する 2段階の探索 constraint tree の構築 high-level: low-level: 制約に従う最短経路を探索 t=1 cost: 5 replan stay t=1 cost: 6 replan t=1 t=2 stay cost: 6 replan t=1 t=2 stay cost: 6 replan 衝突の優先順位付け [Boyarski+ IJCAI-15, Boyarski+ AAAI-21] 許容可能なヒューリスティック [Felner+ ICAPS-18, Li+ IJCAI-19] 遅延評価 [Gange+ ICAPS-19] 対称性の解消 [Li+ AAAI-19, Li+ ICAPS-20] 反復深化 [Boyarski+ IJCAI-20] ML とのハイブリッド [Huang+ AAAI-21] 有界準最適ソルバの開発 (E)ECBS [Barer+ SoCS-14, Li+ AAAI-21a] パワフルな拡張が存在, e.g., 他にもたくさんある… 🤔

/123 22 Multi-agent RTT*: サンプリングベース [Čáp+ AAMAS-13] ノードにアノテーションしてエージェントが進むべき方向性をつくる [Wang&Botea ICAPS-08, Jansen&Sturtevant AIIDE-08, Cohen+ IJCAI-16] 衝突回避パターンを事前に作っておく [Han&Yu RA-L-20] 深層学習でいい感じの動きを学習させて分散実行 [Sartoretti+ RA-L-19, Damani+ RA-L-21, Li+ IROS-20] 探索ベースの制約を徐々に厳しくすることで Anytime MAPF を実現 [Standley&Korf IJCAI-11, Cohen+ IJCAI-18, Vedder&Biswas AIJ-21] その他のアプローチ などなど

/123 23 MAPF の派生問題

/123 24 Unlabeled/Anonymous MAPF given agents (starts) graph targets solution paths without collisions target assignment *実行可能解が常に存在 [Kornhauser 84, Yu&LaValle WAFR-13, Adler+ WAFR-15, Ma+ AAAI-16]

/123 25 Unlabeled/Anonymous MAPF makespan 最適化は最大フロー問題への還元により多項式時間で解ける?! [Yu&LaValle WAFR-13] unlabeled-MAPF インスタンス source sink t=0 t=1 time expanded networkに変換 辺の 容量は すべて1 例えば Ford-Fulkerson のアルゴリズムで最大フロー問題を解くと O( エージェント数 x ノード数 x メイクスパン) 最大フロー: 1 実行可能解がない source sink t=0 t=1 t=2 最大フロー: 2 makespan最適な解

/123 26 MAPD: Multi-agent Pickup & Delivery delivery loc. pickup loc. given agents graph package 倉庫の荷物運搬を模した問題設定 [Ma+ AAMAS-17] solution paths without collisions task assignment もともとはオンラインの設定だがオフラインの設定も [Liu+ AAMAS-19]

/123 27 Online MAPF [Švancara+ AAAI-19] given agents (出現・消失あり) graph goals solution paths without collisions appear => replanning *複雑性の解析 [Ma ICAPS-21] エージェントが動的に出入り

/123 28 大きいエージェント [Thomas+ Intell. Syst.-15, Li+ AAAI-19, Atzmon+ SoCS-19] Any-angle MAPF [Yakovlev&Andreychuk ICAPS-17] Multi-Goal MAPF [Surynek AAAI-21] その他の変種たち (un)-labeled MAPFを 一般化: TAPF [Ma+ AAMAS-16] エージェントの遅延に ある程度はロバストな MAPF [Atzmon+ JAIR-20, Atzmon+ ICAPS-20, Shahar+ JAIR-21] 1 2 1, 2 3 4 delay 移動時間に確率を導入 [Peltzer+ CoRR-19] MAPFR : 辺に重みを導入 [Walker+ IJCAI-18] 3 2 連続時間: Continuous MAPF [Andreychuk+ IJCAI-19, Surynek WoMAPF-20, Andreychuk+ AAAI-21] などなど

/123 29 どうロボットで実行するのか?

/123 30 MAPF-POST[Hönig ICAPS-16] 2 moves 2 moves +1 turn model: execution: 実ロボットの挙動を無視 MAPF plan を後処理 運動学的制約を満たすスケジュールを生成 A B C D E B C F C D 時間的依存関係を抽出 A B C D E B C F C D 5 0 0 16 25 32 48 29 33 64 最短実現時間を求める E D A B B C … 0 0 0 0 -1 ∞ -2 -1 0 ∞ ∞ ∞ ∞ ∞ ∞ ∞ 0 0 -4 -8 -4 ∞ 距離グラフに変換 E D A B B C … [1,∞] source sink [0,0] [0,0] [1,∞] [2,∞] [8,∞] [4,∞] [4,∞] [0,∞] [0,∞ ] [0,∞ ] 動作に要する時間をアノテーション c.f., STN: simple temporal network [Dechter+ AIJ-91] 動作に要する [最小時間, 最大時間] t=1 t=2 t=3 t=4 t=0 入力: MAPF plan A B C F D E

/123 31 Execution Policy[Ma+ AAAI-17] Fully Synchronized Policies Minimum Communication Policies wait 時間的依存関係をチェック 1 2 1 2 3 4 => 保持, GO arrival time: 3 arrival time: 2 *あとで重要 1 2 1 2 3 4 Planning Execution 実行時のロボット通信を仮定 いかなる遅延に対しても MAPF plan の実行を保証

/123 32 モーションプランニングとの統合 [Hönig TR-O-18] ロードマップ生成 => MAPF ソルバでプランニング => 軌道の逐次改善 https://youtu.be/7KIa9FlmbRc

/123 33 そのほか個人的ピックアップ 利己的なエージェント [Bnaya SoCS-13] 環境もプランニングの対象にしてしまう [Bellusci+ AAMAS-20] 説明可能な MAPF [Almagor&Lahijanian, AAMAS-20] 組合せオークションとの融合 [Amir+ AAAI-15] あと船のモデルとか…(即座に止まれない) Algorithm Selection: MAPF インスタンスの特徴を学習, 適切なソルバを選択 [Kaduri+ ICAPS-20, Ren+ AAMAS-21]

/123 34 まとめ MAPF は実用的で発展性のある, ほどよく難しい問題 プランニング, 探索, 離散最適化, ロボティクス, マルチエージェントシステムなど 様々な分野からのアプローチがある

/123 35 本日の構成 Multi-Agent Path Finding の紹介 環境による計算支援 Active Modular Environment Time-Independent Planning タイミング非依存な実行ポリシー Iterative Refinement Anytime アルゴリズム Priority Inheritance with Backtracking MAPF への柔軟なアプローチ execution planning

/123 36 MAPF を柔軟に解くアルゴリズム Priority Inheritance with Backtracking for Iterative Multi-agent Path Finding Keisuke Okumura, Manao Machida, Xavier Défago & Yasumasa Tamura IJCAI-19

/123 37 最適化はNP困難 [Surynek AAAI-10, Yu&LaValle AAAI-13, Yu RA-L-15, Ma+ AAAI-16, Banfi+ RA-L-17] 許容できる時間でなるべく効率的な解を求める 柔軟なアルゴリズムを設計できないだろうか？ 狙い +できれば分散化もしたい +エージェント間の交渉はなるべく局所的に 実用では繰り返し&オンライン・リアルタイムで 大規模な問題を解く必要あり [Ma+ AAMAS-17, Svancara+ AAAI-19]

/123 38 PIBT Priority Inheritance with Backtracking [Okumura+ IJCAI-19] 繰り返し MAPF を解く 高速 & スケーラブル 分散化との相性○ 500 agents within 50ms Applicable to Multi-agent Pickup & Delivery [Ma+ AAMAS-17] 準最適

/123 39 locations at t=1 t=2 t=3 repeat one-timestep prioritized planning high low mid How PIBT works – 1/8 … 1 2 3 4 5 6 7 8 9 decision order time-window

/123 40 How PIBT works – 2/8 simple prioritized planning is incomplete high low mid stuck

/123 41 How PIBT works – 3/8 high low mid as high priority inheritance [Sha+ IEEE Trans Comput-90]

/123 42 high low mid How PIBT works – 4/8 1 3 2 decision order … …

/123 43 How PIBT works – 5/8 high as high as high as high as high stuck

/123 44 How PIBT works – 6/8 invalid valid re-plan re-plan valid You can move invalid You must re-plan, I will stay introduce backtracking

/123 45 Proof sketch. highest as high as high このサイクルは必ず探索される すべての隣接ノードを探索 次に行きたい場所 サイクルの 最後のノード invalid valid ローテーションは常に成功! How PIBT works – 7/8 現在地 補題: 二重連結グラフ等では最高優先順位のエージェントが任意の隣接ノードに移動可能

/123 46 補題: 二重連結グラフ等では最高優先順位のエージェントが任意の隣接ノードに移動可能 How PIBT works – 8/8 定理: (reachability) すべてのエージェントが有限時間で目的地に到達する +動的な優先順位割当 まだゴールに到着していないエージェントが高い優先度をもつようにする いつか最高優先順位をもつ => 補題の適用

/123 47 one-shot MAPF reachability ≠ completeness lifelong scenarios 解けないが reachability は付与できる

/123 48 One-shot MAPF lak503d (194x194) 25 repetitions timeout: 60sec sum-of-costs: RPP ECBS << PIBT <<<< Push&Swap makespan: PIBT << RPP ECBS <<<< Push&Swap runtime: PIBT Push&Swap << RPP << ECBS code: https://kei18.github.io/mapf-IR/ agents sum-of-costs / lower bound makespan / lower bound agents success rate (%) within 60 sec runtime (sec) PIBT [Okumura+ IJCAI-19] ECBS [Barer+ SoCS-14] Push&Swap [Luna&Bekris IJCAI-11] RPP [Cap+ T-ASE-15] prioritized planning rule-based search-based sub-opt. 1.05

/123 49 MAPD: Multi-Agent Pickup & Delivery (task) frequency service time TP [Ma+ AAMAS-17] PIBT [Okumura+ IJCAI-19] runtime (sec) 50 agents 500 tasks 100 repetitions PIBT のタスク割当: フリーのエージェントは一番近いタスクに向かう (PIBT は MAPD を必ず解くことを保証)

/123 50 winPIBT [Okumura+ WoMAPF-20] time-window 次のステップのみを見て計画 high low result of PIBT ideal 複数ステップの先読みを導入

/123 51 ハイライト – PIBT PIBT: Priority Inheritance with Backtracking 繰返し・オンラインの状況で大規模に使える なるべく分散化・局所化できそうなアルゴリズムが欲しい 狙い 手法 ターゲット MAPF-like な問題設定 課題 経路の効率向上, c.f., 次のトピック ちゃんと分散化する, c.f., 次の次のトピック

/123 52 Multi-agent Pickup & Delivery Sushi

/123 53 本日の構成 Multi-Agent Path Finding の紹介 環境による計算支援 Active Modular Environment Time-Independent Planning タイミング非依存な実行ポリシー Iterative Refinement Anytime アルゴリズム Priority Inheritance with Backtracking MAPF への柔軟なアプローチ execution planning

/123 54 MAPF に対する逐次改善法 Iterative Refinment for Real-Time Multi-Robot Path Planning Keisuke Okumura,Yasumasa Tamura & Xavier Défago under review, available at arXiv

/123 55 実用では繰り返し&オンライン・リアルタイムで 大規模な問題を解く必要あり [Ma+ AAMAS-17, Svancara+ AAAI-19] 準最適解なら即座に得られる e.g., [Wang&Botea ICAPS-08, Surynek ICRA-09, Luna&Bekris IJCAI-11, de Wilde+ AAMAS-13, Okumura+ IJCAI-19] 狙い 限られた時間で 解を返すこと + 準最適解を逐次的に改善するのが妥当なアプローチなのでは? いわゆる anytime プランニング にもなる 最適化はNP困難 [Surynek AAAI-10, Yu&LaValle AAAI-13, Yu RA-L-15, Ma+ AAAI-16, Banfi+ RA-L-17]

/123 56 経路の組合せに対する 良い近傍解を どうやって探す？ 実はよくわかっていない点 *ここでは話を sum-of-costs に限定します

/123 57 アドホックなルールで修正 [Surynek IJAIT-13] サーチベースのソルバの制約を徐々に厳しくする [Standley&Korf IJCAI-11, Cohen+ IJCAI-18, Vedder&Biswas AIJ-21] そもそも初期解得られないかも… 事前にわかっているパターンしか修正できない

/123 58 最適 MAPF ソルバを使う この論文でのアンサー

/123 59 エージェントのサブセット M を何らかのルールでピックアップ A. M 外のエージェントの経路を固定しながら, M 内に対する部分問題を最適 MAPF ソルバで解いて解を置き換える B. 2. 以下をひたすら繰り返す コンセプト 1. 準最適 MAPF ソルバで解を得る * M={ すべてのエージェント } としない限り局所解は存在する オリジナルと比較して小さい問題を解くことに => 高速に解の改善が可能

/123 60 どうやってサブセット M を決定するか? なるべく M は小さくしたい & 改善の見込みが大きいものを選びたい

/123 61 アドホックな例: focusing-at-goals original plan refined plan -2 cost (お気持ち) あるエージェントが目的地に早く到達することを 妨害しているエージェント群を抽出したい M = { i の目的地を時刻 t で使用しているエージェント, i の理想コスト ≤ t ≤ 実コスト } 非効率な解に対して効果的

/123 62 アグレッシブな例: using-MDD ある程度効率的な解に対して効果的 Multi-valued Decision Diagram [Srinivasan+ ICCAD-90] t=0 t=1 t=2 t=3 t=2 までの の MDD t=3までの の MDD stay の経路で のMDD が 更新されたら経路同士が 干渉していることがわかる M = { i の時刻 t までの MDD を 更新するエージェント, i の理想コスト ≤ t < 実コスト } (お気持ち) あるエージェントが目的地に早く到達することを 妨害しているエージェント群を抽出したい 無効な MDD に!

/123 63 いいとこどり: composition ある程度効率的な解に対して効果的 using-MDD 非効率な解に対して効果的 focus-at-goals e.g., focusing-at-goals => using-MDD => random 組合わせればいいのでは? (スイッチングは改善の見込みが立たなくなったとき) *他にも色々なルールあり+ありそう

/123 64 Example planning time (sec) cost / lower bond random-64-64-20, 300 agents initial solver: PIBT+ (43ms) optimal solver: ICBS [Boyarski+ IJCAI-15] refine rule: composition

/123 65 v.s. Optimal Solutions 1.00 1.05 1.10 1.15 1.20 1.25 1.00 1.05 1.10 1.15 1.20 1.25 50 instance 50 instance cost / optimal cost init ≤ 3ms 0.1s 1.0s 30 agents random-32-32-20 50 agents random-32-32-10 obtained by CBSH [Li+ IJCAI-19] 740ms for 30 agents, 1743ms for 50 agents initial solver: PIBT+ refine rule: composition refinement solver: ICBS refinement timeout: 100ms

/123 66 v.s. Anytime MAPF Solver initial solver: PIBT+ refine rule: composition refinement solver: ICBS refinement timeout: 100ms Iterative Refinement Anytime Focal Search [Cohen+ IJCAI-18] 50 agents 70 agents 90 agents 0 2 4 6 8 10 0 1 2 runtime (sec) sum-of-cost random-32-32-20

/123 67 with Different Initial Solvers refine rule: composition refinement solver: ICBS refinement timeout: 500ms 0 10 20 30 40 50 60 70 80 90 1.0 1.1 1.2 runtime (sec) cost / lower bound 300 agents random-64-64-20 PIBT+ WHCA* [Silver AIIDE-05] HCA* [Silver AIIDE-05] ECBS [Barer+ SoCS-14] RPP [Cap+ T-ASE-15] not so different

/123 68 ハイライト – Iterative Refinement 既存の MAPF ソルバの組合せで良い近傍解を得る 1. 準最適ソルバで初期解を得る 2. 最適ソルバを部分問題にあてて逐次改善 準最適解を逐次的に改善したい 狙い 手法 ターゲット MAPF をリアルタイムで解きたい状況 課題 修正セット M の選択手法の改善, e.g., ML ベース ≥1000 エージェントでも充分に動くがもっと改善できそう

/123 69 本日の構成 Multi-Agent Path Finding の紹介 環境による計算支援 Active Modular Environment Time-Independent Planning タイミング非依存な実行ポリシー Iterative Refinement Anytime アルゴリズム Priority Inheritance with Backtracking MAPF への柔軟なアプローチ execution planning

/123 70 Time-Independent Planning for Multiple Moving Agents Keisuke Okumura, Yasumasa Tamura & Xavier Défago AAAI-21 タイミング非依存な実行ポリシー

/123 71 Planning 1 2 1 2 3 4 Execution エージェントが同期的に動くことを仮定

/123 72 不完全な実行 1 2 1 2 3 4 delay リアリティギャップ 現実は非同期

/123 73 ロバストな実行ポリシー [Ma+ AAAI-17] Fully Synchronized Policies Minimum Communication Policies wait 時間的依存関係をチェック 1 2 1 2 3 4 => 保持, GO arrival time: 3 arrival time: 2

/123 74 とてもゆっくり動く / 故障 Minimum Communication Policies 時間的依存関係をチェック 1 2 1 2 3 4 => 違反, ストップ それでも遅延には弱い

/123 75 1 2 1 2 3 4 1 2 3 4 5 6 delay 遅延が伝搬 典型的な MAPF (遅延なし) 60 agents, solved by PIBT 予期せぬことが起きる可能性大

/123 76 代替手法の提案: Time-Independent Planning time-independent model を定義: 現実を状態遷移系としてモデリング Causal-PIBT: PIBT [Okumura+ IJCAI-19] のタイミング非依存化 offline MAPF plan + online execution by Causal-PIBT MAPF with Delay Probabilities [Ma+ AAAI-17] を使って評価 オンライン & 分散的 タイミングの仮定なし

/123 77 given agents (starts) graph goals termination execution model?

/123 78 Time-Independent Model 分散アルゴリズムの系の基本的な考え方: 同時性の排除 c.f., 良本 [Tel 00]

/123 79 agent transition system: 状態遷移系 reality 状態遷移系たちから成る状態遷移系 自発的に状態を遷移させる, e.g., 場所, 目的地, モード, 内部変数 エージェントのアトミックなアクションによって状態が遷移 i.e., agents state configuration

/123 80 Mode & Transition contracted requesting extended 専有されてなければ contracted

/123 81 configuration 𝛾 configuration 𝛾′ エージェントはアトミックなアクションを 同期なし・自発的に実行する Activation contracted requesting extended if unoccupied state 𝜎 state 𝜎′

/123 82 interaction アトミックに遷移 … … contracted requesting extended if unoccupied *通信はブラックボックス扱い 1台ずつアクティベート

/123 83 strong termination すべてのエージェントが目的地にいる状態 weak termination すべてのエージェントが目的地を一度は訪れた状態 weak termination strong termination c.f., reachability

/123 84 given agents (starts) graph goals termination execution チャレンジ: 起こりうるすべての アクション順序に耐えられる エージェントを設計する

/123 85 Algorithms, Agents

/123 86 Toy Example – GREEDY contracted requesting extended if unoccupied ゴールに一番近い隣接ノードに 移動を試みる deadlock もっと考える必要あり never back

/123 87 Causal-PIBT PIBT で拡張された GREEDY を実行 weak termination を保証

/123 88 Make PIBT Time-Independent 子 親 深さ優先探索木として解釈可能 根 move

/123 89 Causal-PIBT のコンセプト エージェント間の深さ優先探索木を作成しながら空いているノードを探す 根は局所的に優先順位が高いエージェント 優先順位継承によって親子関係が決まる 1. 根から空いているノードへのパスに沿ってエージェントを一歩ずつ動かす 2. 以下を繰り返す + 動的な優先順位割当 二重連結グラフでエージェント数がノード数より少ないなら weak termination を保証

/123 90 + reset params is activated – 1/5 Details: when +cut off parent & child contracted requesting extended if unoccupied

/123 91 priority inheritance high low high low as high parent child high low high low as high parent child is activated – 2/5 Details: when contracted requesting extended if unoccupied

/123 92 +cut off parent & child lower priority higher priority is activated – 3/5 Details: when contracted requesting extended if unoccupied

/123 93 deadlock resolution ancestor stuck parent child backtracking invalid case +prohibit to back to is activated – 4/5 Details: when +prohibit to back to contracted requesting extended if unoccupied

/123 94 stuck child parent &root cut off child +reset params is activated – 5/5 Details: when stuck activated cut off parent & child

/123 95 Planning 1 2 1 2 3 4 Execution Time-Independent Model Causal-PIBT enhance offline online

/123 96 Causal-PIBT は近視的 high low result ideal

/123 97 given agents (starts) graph termination execution goals + offline MAPF plan contracted requesting extended if unoccupied MAPF plan になるべく沿うような ノードを次ノードとして選択 MAPF Plan をヒントとして使う ゴールに一番近い隣接ノードに移動を試みる

/123 98 Evaluation エージェントが遅れる可能性を取り入れたモデルで評価

/123 99 MAPF-DP (with Delay Probabilities) [Ma+ AAAI-17] 1 − 𝑝! 𝑝 ! success fail 移動の失敗が確率的に起こる世界

/123 100 Time-Independent Model => MAPF-DP 1. extended を確率 1 − 𝑝! で アクティベート success fail 1 − 𝑝! 𝑝 ! 2. 安定状態になるまで: contracted / requesting をランダムにアクティベート 以下を1タイムステップとみなす

/123 101 upper bound of delay probabilities 𝑝! sum of costs x10^3 Fully Synchronous Policies Minimum Communication Policies Causal-PIBT Causal-PIBT +MAPF plan 32x32,20% obstacles 30 agents 100 repetitions MAPF plan by ECBS [Barer+ SoCS-14] Fix Agents

/123 102 agents sum of costs x10^3 Fully Synchronous Policies Minimum Communication Policies Causal-PIBT Causal-PIBT +MAPF plan 32x32,20% obstacles upper bound of delay prob. : 0.5 100 repetitions MAPF plan by ECBS [Barer+ SoCS-14] Fix Delay Prob.

/123 103 ハイライト – Time-Independence time-independent planning, Causal-PIBT 現実の非同期性を克服したい 狙い 手法 ターゲット グラフ上の移動エージェント群 今後の方向性 offline time-independent multi-agent path planning (OTIMAPP) 実ロボットへの適用, c.f., 次のトピック ongoing

/123 104 本日の構成 Multi-Agent Path Finding の紹介 環境による計算支援 Active Modular Environment Time-Independent Planning タイミング非依存な実行ポリシー Iterative Refinement Anytime アルゴリズム Priority Inheritance with Backtracking MAPF への柔軟なアプローチ execution planning

/123 105 Active Moduler Environment for Robot Navigation Shota Kameyama, Keisuke Okumura,Yasumasa Tamura & Xavier Défago to appear at ICRA-21, available at arXiv 環境による計算支援 *supported by NTT Facilities, アセンブリ手伝ってくれたラボメンにも感謝

/123 106 最終的にやりたい/やるべきこと Integration of Representation, Planning, and Execution for Multiple Moving Agents

/123 107 planning representation navigation そもそも“正しく”モデリングできてる? 外部環境≠内部表象 => “Use the world as its own model” [Brooks AIJ-91] ノイズ, 予期せぬ障害物, 不完全な実行, ロボット間での表象のずれ, etc

/123 108 内部表象の環境へのオフロード センサー・タグを環境にばら撒くことで実現 初期の自動運転は道路に埋め込まれたデバイスで誘導 c.f., [Bimbraw ICINCO-15] 環境にデプロイされたセンサーネットワークでロボットを誘導 e.g., [Verma+ PerCom-05, Kim&Chong T-ASE-08] 自然界ではスティグマジーという現象がある, e.g., 蟻の行列 ロボットのナビゲーションもよく使われる e.g., [Fujisawa+ Swarm Intell.-14, Khaliq&Saffiotti ICRA-15] 例えば 内部表象が必要ない

/123 109 プランニングも環境に オフロードできないか?

/123 110 機能分離 動的な環境への反応 マルチロボットのシナリオ 想定されるメリット

/123 111 Proof of Concept AFADA robot cell

/123 112 video https://dfg-lab.github.io/afada/

/123 113 経路の管理 トポロジの管理 物理レイヤー 簡易的な予約プロトコルで排他制御 +将来的にはアルゴリズム組みたい c.f. Time-Independent Planning [Okumura+ AAAI-21] 自己安定な分散ルーティング 複数の分散アルゴリズムを 階層的・並列に実行 *セル内で大量のタスク(e.g., 接続検知)を同時実行 Elements of AFADA

/123 114 Self-Stabilizing /自己安定性 c.f., イントロ本 [Altisen 19] 系の正常状態 系の異常状態 1. 正常状態に対して閉じている 2. どんな状態からでもいつか正常状態に遷移 *創始者はダイクストラ [Dijkstra Commun. ACM-74] 初期状態に依存せず, いつか正常状態に落ち着く システムに一時的な故障に対しての耐性を付与 様々な自己安定な分散アルゴリズムが提案されてきた e.g., 全域木の構築, 排他制御, プロセス間の同期

/123 115 AFADA のような分散システムでは “完璧” は見込めない e.g., 接触不良, メッセージロスト, 突然の再起動, 焦げた匂い (本当にあった話) 正常状態: ルーティングテーブルに従っているロボットはいつか目的地に到着 最初から “一時的な故障” を見込んで 自己安定な分散ルーティングアルゴリズムを採用 実行時にセルが増えても減っても故障しても (ルーティングは) 大丈夫！

/123 116 2つのセルを3往復 確率に従って 正常<=>故障 を遷移 故障時は通れない Single-robot Navigation in Dynamic Env. 0 20 40 60 80 100 120 正常状態の時間が 多い 少ない steps AFADA self-nav 30 repetitions

/123 117 ハイライト – Active Modular Environment AFADA; モジュール型環境による計算支援 マルチロボットのインフラとしてはたらく 内部表象&プランニングをロボットから環境へオフロード 中心的な考え Proof of Concept 課題 内部表象, プランニング, 実行のスムーズな統合 今後の方向性 セル駆動型のロバストな経路計画アルゴリズム 大きいロボットへの対応

/123 118 まとめ・今後の展望

/123 119 objective-1 Representation objective-2 Planning Who Plans? Huge Search Space Common Knowledge? Cooperation? (increased) Uncertainty Acting Multi-Agent Planning & Acting Multi-agent Planning Multi-robot Coordination Distributed Algorithms

/123 120 ハイライト Multi-Agent Path Finding の紹介 環境による計算支援 Active Modular Environment Time-Independent Planning タイミング非依存な実行ポリシー Iterative Refinement Anytime アルゴリズム Priority Inheritance with Backtracking MAPF への柔軟なアプローチ execution planning

/123 121 市街でロボット群が躍動するために *共同研究歓迎です 分野として(若者の戯言) 想像力: 数千台規模のロボットをリアルタイムに操れたら何ができる? 個人としての課題感 モーションプランニングとの統合 デプロイを簡易にするプラットフォーム; e.g., AFADA

/123 122 ご清聴ありがとうございました

/123 123 参考文献

/123 124 KO のワーク [Okumura+ 1JCAI-19] Okumura, K., Machida M., Défago, X. & Tamura, Y. “Priority Inheritance with Backtracking for Iterative Multi-agent Path Finding”. Proc. Intel. Joint Conf. on Artificial Intelligence (IJCAI). 2019. [Okumura+ WoMAPF-20] Okumura, K., Tamura, Y. & Défago, X. “winPIBT: Extended Prioritized Algorithm for Iterative Multi-agent Path Finding”. Proc. Workshop on Multi-Agent Path Finidng (WoMAPF). 2020. [Okumura+ 21, preprint] Okumura, K., Tamura, Y. & Défago, X. “Iterative Refinement for Real-Time Multi-Robot Path Planning”. arXiv preprint. 2021. [Okumura+ AAAI-21] Okumura, K., Tamura, Y. & Défago, X. “Time-Independent Planning for Multiple Moving Agents”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2021. [Kameyama+ ICRA-21] Kameyama, S., Okumura, K., Tamura, Y. & Défago, X. “Active Modular Environment for Robot Navigation”. to appear at ICRA-21, arXiv preprint. 2021. 便利サイト: https://kei18.github.io/

/123 125 MAPF のレビュー論文 Ma, H., Koenig, S., Ayanian, N., Cohen, L., Hönig, W., Kumar, T. K., Uras, T., Xu, H., Tovey, C. & Sharon, G. “Overview: Generalizations of Multi-Agent Path Finding to Real-World Scenarios”. Proc. Workshop on Multi-Agent Path Finding (WoMAPF). 2016. Felner, A., Stern, R., Shimony, S. E., Boyarski, E., Goldenberg, M., Sharon, G., Sturtevant, N., Wagner, G. & Surynek, P. “Search- based optimal solvers for the multi-agent pathfinding problem: Summary and challenges”. Proc. Annu. Symp. on Combinatorial Search (SoCS). 2017. Stern, R. “Multi-agent path finding – an overview”. Artif. Intell. (AIJ). 2019. Stern, R., Sturtevant, N., Felner, A., Koenig, S., Ma, H., Walker, T., Li, J., Atzmon, D., Cohen, L., Kumar, T. K. , Boyarski, E. & Barták, R. “Multi-Agent Pathfinding: Definitions, Variants, and Benchmarks”. Proc. Intl. Symp. on Combinatorial Search (SoCS). 2019. Salzman, O., Stern, R. “Research Challenges and Opportunities in Multi-Agent Path Finding and Multi-Agent Pickup and Delivery Problems”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2020. 便利サイト: http://mapf.info/

/123 126 応用例 [Wuman+ AI Magagine-08] Wurman, P. R., D'Andrea, R., & Mountz, M. “Coordinating hundreds of cooperative, autonomous vehicles in warehouses”. AI magazine. 2008 [Dresner&Stone JAIR-08] Dresner, K., & Stone, P. “A multiagent approach to autonomous intersection management”. J. Artif. Intell. Res. (JAIR). 2008. [Morris+ AAAI Workshop-16] Morris, R., Pasareanu, C. S., Luckow, K. S., Malik, W., Ma, H., Kumar, T. S., & Koenig, S. “Planning, Scheduling and Monitoring for Airport Surface Operations”. Proc. AAAI Workshop: Planning for Hybrid Systems. 2016. [Okoso+ ITSC-19] Okoso, A., Otaki, K., & Nishi, T. “Multi-agent path finding with priority for cooperative automated valet parking”. IEEE Proc. IEEE Intell. Transp. Syst. Conf. (ITSC). 2019 [Li+ AAMAS-20] Li, J., Sun, K., Ma, H., Felner, A., Kumar, T. S., & Koenig, S. “Moving agents in formation in congested environments”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2020.

/123 127 MAPF の複雑性について [Surynek AAAI-10] Surynek, P. “An optimization variant of multi-robot path planning is intractable”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2010. [Yu&LaValle AAAI-13] Yu, J., & LaValle, S. “Structure and intractability of optimal multi-robot path planning on graphs”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2013. [Yu RA-L-15] Yu, J. “Intractability of Optimal Multi-Robot Path Planning on Planar Graphs”. IEEE Robot. Autom. Lett. (RA- L). 2015. [Ma+ AAAI-16] Ma.,H., Tovey, C., Sharon, G., Kumar, T. S., & Koenig, S. “Multi- agent path finding with payload transfers and the package-exchange robot-routing problem,” Proc. AAAI Conf. on Artificial Intelligence. 2016. [Banfi+ RA-L-17] Banfi, J., Basilico, N., & Amigoni, F. “Intractability of time-optimal multirobot path planning on 2d grid graphs with holes”, IEEE Robot. Autom. Lett. (RA-L). 2017. [Röger&Helmert SoCS-12] Röger, G., & Helmert, M. “Non-optimal multi-agent pathfinding is solved (since 1984)”. Proc. Annu. Symp. on Combinatorial Search (SoCS). 2012. [Kornhauser 84] Kornhauser, D. M., Miller, G., & Spirakis, P. “Coordinating pebble motion on graphs, the diameter of permutation groups, and applications”. Master's thesis at M.I.T. 1984. [Nebel ICAPS-20] Nebel, B. “On the Computational Complexity of Multi-Agent Pathfinding on Directed Graphs”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2020.

/123 128 Prioritized Planning 関連 – 1/2 [Erdmann& Lozano-Perez Algorithmica-87] Erdmann, M., & Lozano-Perez, T. “On multiple moving objects”. Algorithmica. 1987. [Silver AIIDE-05] Silver, D. “Cooperative pathfinding”. Proc. AAAI Conf. on Artificial Intelligence and Interactive Digital Entertainment (AIIDE). 2005. [Cap+ T-ASE-15] Čáp, M., Novák, P., Kleiner, A., & Selecký, M. “Prioritized planning algorithms for trajectory coordination of multiple mobile robots”. IEEE Trans. Autom. Sci. Eng. (T-ASE). 2015 [Wang&Botea JAIR-11] Wang, K. H. C., & Botea, A. “MAPP: a scalable multi-agent path planning algorithm with tractability and completeness guarantees”. J. Artif. Intell. Res. (JAIR). 2011 [Bnaya&Felner ICRA-14] Bnaya, Z., & Felner, A. “Conflict-oriented windowed hierarchical cooperative A∗”. Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA). 2014.

/123 129 Prioritized Planning 関連 – 2/2 [Azarm&Schmidt ICRA-97] Azarm, K., & Schmidt, G. “Conflict-free motion of multiple mobile robots based on decentralized motion planning and negotiation”. Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA). 1997. [Bennewitz+ Robotics-02] Bennewitz, M., Burgard, W., & Thrun, S. “Finding and optimizing solvable priority schemes for decoupled path planning techniques for teams of mobile robots”. Robot. Auton. Syst. 2002. [Van Den Berg & Overmars ICRA-05] Van Den Berg, J. P., & Overmars, M. H. “Prioritized motion planning for multiple robots”. Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA). 2005. [Andreychuk& Yakovlev AAMAS-18] Andreychuk, A., & Yakovlev, K. “Two techniques that enhance the performance of multi-robot prioritized path planning”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2018. [Ma+ AAAI-19] Ma, H., Harabor, D., Stuckey, P. J., Li, J., & Koenig, S. “Searching with consistent prioritization for multi-agent path finding”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2019

/123 130 Conflict-based Search (CBS) とその派生 (他にもいっぱいあります… そして毎年たくさん出る…) - 1/2 [Shraon+ AIJ-15] Sharon, G., Stern, R., Felner, A., & Sturtevant, N. R. “Conflict-based search for optimal multi-agent pathfinding”. Artif. Intell. (AIJ). 2015. [Boyarski+ IJCAI-15] Boyarski, E., Felner, A., Stern, R., Sharon, G., Betzalel, O., Tolpin, D., & Shimony, E. “ICBS: improved conflict-based search algorithm for multi- agent pathfinding”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2015. [Boyarski+ AAAI-21] Boyarski, E., Felner, A., Le Bodic, P., Harabor, D., Stuckey, P. J., & Koenig, S. “f-Aware Conflict Prioritization & Improved Heuristics for Conflict-Based Search” [Felner+ ICAPS-18] Felner, A., Li, J., Boyarski, E., Ma, H., Cohen, L., Kumar, T. S., & Koenig, S. “Adding heuristics to conflict- based search for multi-agent path finding”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2018. [Li+ IJCAI-19] Li, J., Felner, A., Boyarski, E., Ma, H., & Koenig, S. “Improved Heuristics for Multi-Agent Path Finding with Conflict-Based Search”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2019. [Li+ AAAI-19] Li, J., Harabor, D., Stuckey, P. J., Ma, H., & Koenig, S. “Symmetry-breaking constraints for grid-based multi-agent path finding”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2019 [Li+ ICAPS-20] Li, J., Gange, G., Harabor, D., Stuckey, P. J., Ma, H., & Koenig, S. “New techniques for pairwise symmetry breaking in multi-agent path finding”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2020.

/123 131 Conflict-based Search (CBS) とその派生 (他にもいっぱいあります… そして毎年たくさん出る…) - 2/2 [Gange+ ICAPS-19] Gange, G., Harabor, D., & Stuckey, P. J. “Lazy CBS: Implicit conflict-based search using lazy clause generation”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2019. [Huang+ AAAI-21] Huang, T., Dilkina, B., & Koenig, S. “Learning to Resolve Conflicts for Multi-Agent Path Finding with Conflict-Based Search”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2021 [Boyarski+ IJCAI-20] Boyarski, E., Felner, A., Harabor, D., Stuckey, P. J., Cohen, L., Li, J., & Koenig, S. “Iterative-Deepening Conflict-Based Search”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2020. [Barer+ SoCS-14] Barer, M., Sharon, G., Stern, R., & Felner, A. “Suboptimal variants of the conflict-based search algorithm for the multi-agent pathfinding problem”. Proc. Annu. Symp. on Combinatorial Search (SoCS). 2014. [Li+ AAAI-21a] Li, J., Ruml, W., & Koenig, S. “EECBS: A Bounded-Suboptimal Search for Multi-Agent Path Finding”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2021.

/123 132 他の主流な探索ベースの optimal なソルバたち [Standley AAAI-10] Standley, T. “Finding optimal solutions to cooperative pathfinding problems”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2010. [Sharon+ AIJ-13] Sharon, G., Stern, R., Goldenberg, M., & Felner, A. “The increasing cost tree search for optimal multi-agent pathfinding”. Artif. Intell. (AIJ). 2013. [Goldenberg+ JAIR-14] Goldenberg, M., Felner, A., Stern, R., Sharon, G., Sturtevant, N., Holte, R. C., & Schaeffer, J. “Enhanced partial expansion A*”. J. Artif. Intell. Res. (JAIR). 2014 [Wagner&Choset AIJ-15] Wagner, G., & Choset, H. “Subdimensional expansion for multirobot path planning”. Artif. Intell. (AIJ). 2015. [Lam+ IJCAI-19] Lam, E., Le Bodic, P., Harabor, D. D., & Stuckey, P. J. “Branch-and-Cut-and-Price for Multi-Agent Pathfinding”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2019. [Lam&Le Bodic ICAPS-20] Lam, E., & Le Bodic, P. “New valid inequalities in branch-and-cut-and-price for multi-agent path finding”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2020.

/123 133 帰着ベースの optimal なソルバたち [Ryan ICRA-10] Ryan, M. “Constraint-based multi-robot path planning”. Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA). 2010 [Surynek PRICAI-12] Surynek, P. “Towards optimal cooperative path planning in hard setups through satisfiability solving”. Pacific Rim Intl. Conf. on Artificial Intelligence (PRICAI). 2012. [Surynek+ ECAI-16] Surynek, P., Felner, A., Stern, R., & Boyarski, E. “Efficient SAT approach to multi-agent path finding under the sum of costs objective”. Proc. European Conf. on Artificial Intelligence (ECAI-16). 2016 [Yu&LaValle T-RO-16] Yu, J., & LaValle, S. “Optimal multirobot path planning on graphs: Complete algorithms and effective heuristics”. IEEE Trans. on Robotics (T-RO). 2016 [Erdem+ IJCAI-13] Erdem, E., Kisa, D., Oztok, U., & Schüller, P. “A general formal framework for pathfinding problems with multiple agents”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2013.

/123 134 ルールベースな sub-optimal なソルバたち [Ryan JAIR-08] Ryan, M. R. K. “Exploiting subgraph structure in multi-robot path planning”. J. Artif. Intell. Res. (JAIR). 2008. [PeasgoodT-RO-08] Peasgood, M., Clark, C. M., & McPhee, J. “A complete and scalable strategy for coordinating multiple robots within roadmaps”. IEEE Trans. on Robotics (T-RO). 2008. [Surynek ICRA-09] Surynek, P. “A novel approach to path planning for multiple robots in bi-connected graphs”. Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA). 2009. [Surynek FLAIRS-09] Surynek, P. “Towards Shorter Solutions for Problems of Path Planning for Multiple Robots in Theta- like Environments”. Florida Artif. Intell. Res. Soc. Conf. (FLAIRS). 2009. [Botea+Surynek AAAI-15] Botea, A., & Surynek, P. “Multi-agent path finding on strongly biconnected digraphs”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2015. [Khorshid+ SoCS-11] Khorshid, M. M., Holte, R. C., & Sturtevant, N. R. “A Polynomial-Time Algorithm for Non-Optimal Multi-Agent Pathfinding”. Proc. Annu. Symp. on Combinatorial Search (SoCS). 2011. [Luna&Bekris IJCAI-11] Luna, R., & Bekris, K. E. “Push and swap: Fast cooperative path-finding with completeness guarantees”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2011. [de Wilde+ AAMAS-13] de Wilde, B., ter Mors, A. W., & Witteveen, C. “Push and rotate: cooperative multi-agent path planning”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2013. [Sajid+ SoCS-12] Sajid, Q., Luna, R., & Bekris, K. E. “Multi-Agent Pathfinding with Simultaneous Execution of Single-Agent Primitives.” Proc. Annu. Symp. on Combinatorial Search (SoCS). 2012

/123 135 Sampling-based なアプローチ (あまり見ない…) [Čáp+ AAMAS-13] Čáp, M., Novák, P., Vokřínek, J., & Pěchouček, M. “Multi-agent RRT*: Sampling-based cooperative pathfinding”. Proc. Intl. Joint Conf. on Autonomous Agents & Multia- gent Systems (AAMAS). 2013. マップにアノテーションする / 前処理頑張るアプローチ [Wang&Botea ICAPS-08] Wang, K. H. C., & Botea, A. “Fast and Memory-Efficient Multi-Agent Pathfinding”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2008. [Jansen& Sturtevant AIIDE-08] Jansen, M. R., & Sturtevant, N. R. “Direction Maps for Cooperative Pathfinding”. Proc. AAAI Conf. on Artificial Intelligence and Interactive Digital Entertainment (AIIDE). [Cohen+ IJCAI-16] Cohen, L., Uras, T., Kumar, T. S., Xu, H., Ayanian, N., & Koenig, S. “Improved Solvers for Bounded- Suboptimal Multi-Agent Path Finding”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2016. [Han&Yu RA-L-20] Han, S. D., & Yu, J. “DDM: Fast Near-Optimal Multi-Robot Path Planning Using Diversified-Path and Optimal Sub-Problem Solution Database Heuristics”. IEEE Robot. Autom. Lett. (RA-L). 2020.

/123 136 Anytime なソルバたち [Standley&Korf IJCAI-11] Standley, T., & Korf, R. “Complete algorithms for cooperative pathfinding problems”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2011. [Cohen+ IJCAI-18] Cohen, L., Greco, M., Ma, H., Hernández, C., Felner, A., Kumar, T. S., & Koenig, S. “Anytime Focal Search with Applications”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2018. [Vedder&Biswas AIJ-21] Vedder, K., & Biswas, J. “Anytime Multi-Agent Path Finding for Sparse Domains using Window-Based Iterative Repairs”. Artif. Intell. (AIJ). 2021. [Surynek IJAIT-13] Surynek, P. “Redundancy elimination in highly parallel solutions of motion coordination problems”. Int. J. on Artif. Intell. Tools (IJAIT). 2013

/123 137 ML とハイブリッドなアプローチ [Sartoretti+ RA-L-19] Sartoretti, G., Kerr, J., Shi, Y., Wagner, G., Kumar, T. S., Koenig, S., & Choset, H. “Primal: Pathfinding via reinforcement and imitation multi-agent learning”. IEEE Robot. Autom. Lett. (RA-L). 2019. [Damani+ RA-L-21] Damani, M., Luo, Z., Wenzel, E., & Sartoretti, G. “PRIMAL2: Pathfinding via Reinforcement and Imitation Multi-Agent Learning—Lifelong”. IEEE Robot. Autom. Lett. (RA-L). 2021 (recived) [Li+ IROS-20] Li, Q., Gama, F., Ribeiro, A., & Prorok, A. “Graph Neural Networks for Decentralized Multi-Robot Path Planning”. Proc. IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2020. [Kaduri+ ICAPS-20] Kaduri, O., Boyarski, E., & Stern, R. “Algorithm Selection for Optimal Multi-Agent Pathfinding”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2020. [Ren+ AAMAS-21] Ren, J., Sathiyanarayanan, V., Ewing, E., Senbaslar, B., & Ayanian, N. “MAPFAST: A Deep Algorithm Selector for Multi Agent Path Finding using Shortest Path Embeddings”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2021

/123 138 Decentralized なアプローチ [Velagapudi+ IROS-10] Velagapudi, P., Sycara, K., & Scerri, P. “Decentralized prioritized planning in large multirobot teams”. Intl. Conf. on Intelligent Robots and Systems (IROS). 2010. [Wiktor+ IROS-14] Wiktor, A., Scobee, D., Messenger, S., & Clark, C. “Decentralized and complete multi-robot motion planning in confined spaces”. Intl. Conf. on Intelligent Robots and Systems (IROS). 2010. [Wei+ IEA/AIE-14] Wei, C., Hindriks, K. V., & Jonker, C. M. “Multi-robot cooperative pathfinding: A decentralized approach”. Proc. Intl. Conf. Industrial, Engineering and Other Applications of Applied Intelligent Systems (IEA/AIE). 2014. [Chouhan& Niyogi AJCAI-15] Chouhan, S. S., & Niyogi, R. “DMAPP: A distributed multi-agent path planning algorithm”. Proc. Australasian Joint Conf. on Artificial Intelligence (AJCAI). 2015. [Zhang+ DARS-16] Zhang, Y., Kim, K., & Fainekos, G. “Discof: Cooperative pathfinding in distributed systems with limited sensing and communication range”. Proc. Distributed Autonomous Robotic Systems (DARS). 2016. [Wang& Rubenstein RA-L-20] Wang, H., & Rubenstein, M. “Walk, stop, count, and swap: decentralized multi-agent path finding with theoretical guarantees”. IEEE Robot. Autom. Lett. (RA-L). 2020.

/123 139 Target Assignment and Path Planning [Miklic+ IROS-09] Miklic, D., Bogdan, S., Nestic, S., & Fierro, R. “A discrete grid abstraction for formation control in the presence of obstacles”. Intl. Conf. on Intelligent Robots and Systems (IROS). 2010. [Yu&LaValle WAFR-13] Yu, J., & LaValle, S. M. “Multi-agent path planning and network flow”. Algorithmic foundations of robotics X. 2013. [Turpin+ Autonomous Robots-14] Turpin, M., Mohta, K., Michael, N., & Kumar, V. “Goal assignment and trajectory planning for large teams of interchangeable robots”. Autonomous Robots. 2014. [MacAlpine AAAI-15] MacAlpine, P., Price, E., & Stone, P. “SCRAM: Scalable collision-avoiding role assignment with minimal- makespan for formational positioning”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2015. [Adler+ WAFR-15] Adler, A., De Berg, M., Halperin, D., & Solovey, K. Efficient multi-robot motion planning for unlabeled discs in simple polygons. Algorithmic foundations of robotics XI. 2015. [Wagner+ SoCS-12] Wagner, G., Choset, H., & Ayanian, N. “Subdimensional Expansion and Optimal Task Reassignment”. Proc. Annu. Symp. on Combinatorial Search (SoCS). 2012. [Ma&Koenig AAMAS-16] Ma, H., & Koenig, S. “Optimal target assignment and path finding for teams of agents”. Proc. Intl. Joint Conf. on Autonomous Agents & Multia- gent Systems (AAMAS). 2016. [Hönig AAMAS-18] Hönig, W., Kiesel, S., Tinka, A., Durham, J., & Ayanian, N. “Conflict-based search with optimal task assignment”. Proc. Intl. Joint Conf. on Autonomous Agents & Multia- gent Systems (AAMAS). 2018. [Wang&Rubenstein T-RO-20] Wang, H., & Rubenstein, M. “Shape formation in homogeneous swarms using local task swapping”. IEEE Trans. Robot. (T-RO). 2020.

/123 140 Multi-agent Pickup & Delivery (MAPD) [Ma+ AAMAS-16] Ma, H., Li, J., Kumar, T. K., & Koenig, S. “Lifelong multi-agent path finding for online pickup and delivery tasks”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2016. [Nguyen+ IJCAI-17] Nguyen, V., Obermeier, P., Son, T. C., Schaub, T., & Yeoh, W. “Generalized Target Assignment and Path Finding Using Answer Set Programming”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2017. [Ma+ AAMAS-19] Ma, H., Hönig, W., Kumar, T. S., Ayanian, N., & Koenig, S. “Lifelong path planning with kinematic constraints for multi-agent pickup and delivery”. Proc. Intl. Joint Conf. on Autonomous Agents & Multia- gent Systems (AAMAS). 2019. [Liu+ AAMAS-19] Liu, M., Ma, H., Li, J., & Koenig, S. “Task and path planning for multi-agent pickup and delivery”. Proc. Intl. Joint Conf. on Autonomous Agents & Multia- gent Systems (AAMAS). 2019. [Li+ AAAI-21b] Li, J., Tinka, A., Kiesel, S., Durham, J. W., Kumar, T. K., & Koenig, S. “Lifelong multi-agent path finding in large- scale warehouses”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2021. Online MAPF [Švancara+ AAAI-19] Švancara, J., Vlk, M., Stern, R., Atzmon, D., & Barták, R. “Online multi-agent pathfinding”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2019. [Morag+ AAAI-workshop-21] Morag, J., Stern, R., Felner, A., Atzmon, D., & Boyarski, E. “Optimality in Online Multi-agent Path Finding”. Proc. AI for Urban Mobility Workshop. 2021. [Ma ICAPS-21] Ma, H. “A Competitive Analysis of Online Multi-Agent Path Finding”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2021.

/123 141 離散時間の仮定を緩めたい [Phillips& Likhachev ICRA-11] Phillips, M., & Likhachev, M. “Sipp: Safe interval path planning for dynamic environments”. Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA). 2011. [Kim+ CASE-15] Kim, K., Campbell, J., Duong, W., Zhang, Y., & Fainekos, G. “DisCoF+: Asynchronous DisCoF with flexible decoupling for cooperative pathfinding in distributed systems”. IEEE Intl. Conf. on Automation Science and Engineering (CASE). 2015. [Walker+ IJCAI-18] Walker, T. T., Sturtevant, N. R., & Felner, A. “Extended Increasing Cost Tree Search for Non-Unit Cost Domains”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2018. [Andreychuk+ IJCAI-19] Andreychuk, A., Yakovlev, K., Atzmon, D., & Stern, R. “Multi-agent pathfinding with continuous time”. Proc. Intl. Joint Conf. on Artificial Intelligence (IJCAI). 2019. [Surynek WoMAPF-20] Surynek, P. “Pushing the Envelope: From Discrete to Continuous Movements in Multi-Agent Path Finding via Lazy Encodings”. Proc. Workshop on Multi-Agent Path Finding (WoMAPF). 2020. [Andreychuk+ AAAI-21] Andreychuk, A., Yakovlev, K., Boyarski, E.,& Stern, R. “Improving Continuous-Time Conflict Based Search”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2021. [Ren+ CoRR-21] Ren, Z., Rathinam, S., & Choset, H. “Loosely Synchronized Search for Multi-agent Path Finding with Asynchronous Actions”. arXiv preprint. 2021.

/123 142 Execution, Delay-tolerant, Uncertainty - 1/2 [Hönig ICAPS-16] Hönig, W., Kumar, T. K., Cohen, L., Ma, H., Xu, H., Ayanian, N., & Koenig, S. “Multi-agent path finding with kinematic constraints”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2016. [Ma+ AAAI17] Ma, H., Kumar, T. S., & Koenig, S. “Multi-agent path finding with delay probabilities”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2017. [Hönig+ RA-L-19] Hönig, W., Kiesel, S., Tinka, A., Durham, J. W., & Ayanian, N. “Persistent and robust execution of MAPF schedules in warehouses”. IEEE Robot. Autom. Lett. (RA-L). 2019. [Atzmon+ ICAPS-20] Atzmon, D., Stern, R., Felner, A., Sturtevant, N. R., & Koenig, S. “Atzmon, D., Stern, R., Felner, A., Sturtevant, N. R., & Koenig, S. “Probabilistic robust multi-agent path finding”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2020. [Atzmon+ JAIR-20] Atzmon, D., Stern, R., Felner, A., Wagner, G., Barták, R., & Zhou, N. F. “Robust multi-agent path finding and executing”. J. Artif. Intell. Res. (JAIR). 2020. [Chen+ AAAI-21] Chen, Z., Harabor, D., Li, J., & Stuckey, P. J. “Symmetry Breaking for k-Robust Multi-Agent Path Finding”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2021. [Shahar+ JAIR-21] Shahar, T., Shekhar, S., Atzmon, D., Saffidine, A., Juba, B., & Stern, R. “Safe Multi-Agent Pathfinding with Time Uncertainty”. J. Artif. Intell. Res. (JAIR). 2021.

/123 143 Execution, Delay-tolerant, Uncertainty - 2/2 [Wagner&Choset ICAPS-17] Wagner, G., & Choset, H. “Path planning for multiple agents under uncertainty”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2017. [Peltzer+ CoRR-19] Peltzer, O., Brown, K., Schwager, M., Kochenderfer, M. J., & Sehr, M. “STT-CBS: A Conflict-Based Search Algorithm for Multi-Agent Path Finding with Stochastic Travel Times”. arXiv preprint. 2019. [Hawes+ AAMAS-20] Hawes, N., Street, C., Lacerda, B., & Mühlig, M. “Multi-robot planning under uncertainty with congestion-aware models”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2020. [Barták+ ICAP20] Barták, R., Švancara, J., Škopková, V., Nohejl, D., & Krasičenko, I. “Multi-agent path finding on real robots”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2020. Planning から Execution までのフレームワーク [Ma+ IEEE Intell. Syst.-17] Ma, H., Hönig, W., Cohen, L., Uras, T., Xu, H., Kumar, T. S., Ayanian, N., & Koenig, S. “Overview: A Hierarchical Framework for Plan Generation and Execution in Multirobot Systems”. IEEE Intelligent Systems. 2017. [HönigTR-O-18] Hönig, W., Preiss, J. A., Kumar, T. S., Sukhatme, G. S., & Ayanian, N. “Trajectory planning for quadrotor swarms”. IEEE Trans. on Robotics (TR-O). 2018.

/123 144 複数ゴール [Surynek AAAI-21] Surynek, P. “Multi-Goal Multi-Agent Path Finding via Decoupled and Integrated Goal Vertex Ordering”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2021. Any-angle [Yakovlev&Andreychuk ICAPS-17] Yakovlev, K., & Andreychuk, A. “Any-angle pathfinding for multiple agents based on SIPP algorithm”. Proc. Intl. Conf. on Automated Planning and Scheduling (ICAPS). 2017. Large Agents [Thomas+ IEEE Intell. Syst.-15] Thomas, S., Deodhare, D., & Murty, M. N. “Extended conflict-based search for the convoy movement problem”. IEEE Intelligent Systems. 2015. [Li+ AAAI-19] Li, J., Surynek, P., Felner, A., Ma, H., Kumar, T. S., & Koenig, S. “Multi-agent path finding for large agents”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2019. [Atzmon+ SoCS-19] Atzmon, D., Diei, A., & Rave, D. “Multi-Train Path Finding”. Proc. Intl. Symp. on Combinatorial Search (SoCS). 2019

/123 145 Economics な観点が入ったアプローチ [Bnaya SoCS-13] Bnaya, Z., Stern, R., Felner, A., Zivan, R., & Okamoto, S. “Multi-Agent Path Finding for Self Interested Agents”. Proc. Annu. Symp. on Combinatorial Search (SoCS). 2013. [Amir+ AAAI-15] Amir, O., Sharon, G., & Stern, R. “Multi-agent pathfinding as a combinatorial auction”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2015. 環境もプランニングの対象にしてしまう [Bellusci+ AAMAS-20] Bellusci, M., Basilico, N., & Amigoni, F. “Multi-Agent Path Finding in Configurable Environments”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2020. X-MAPF [Almagor&Lahijanian, AAMAS-20] Almagor, S., & Lahijanian, M. “Explainable multi agent path finding”. Proc. Intl. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS). 2020.

/123 146 Motion Planning (未言及, 勉強不足です, そこまで追ってない) [Hopcroft+ IJRR-84] Hopcroft, J. E., Schwartz, J. T., & Sharir, M. “On the Complexity of Motion Planning for Multiple Independent Objects; PSPACE-Hardness of the" Warehouseman's Problem”. Intl. J. of Robotics Research, [Spirakis&Yap Inf. Process. Lett.-84] Spirakis, P., & Yap, C. K. “Strong NP-hardness of moving many discs”. Information Processing Letters. 1984. [LaValle&Hutchinson IEEE Trans. Robot. Autom.-98] LaValle, S. M., & Hutchinson, S. A. “Optimal motion planning for multiple robots having independent goals”. IEEE Tans. on Robotics and Automation. 1998. [Dobson+ MRS-17] Dobson, A., Solovey, K., Shome, R., Halperin, D., & Bekris, K. E. “Scalable asymptotically-optimal multi- robot motion planning”. IEEE Intl. Symp. on Multi-robot and Multi-agent Systems (MRS). 2017. [Riviere+ RA-L-20] Riviere, B., Hönig, W., Yue, Y., & Chung, S. J. “Glas: Global-to-local safe autonomy synthesis for multi- robot motion planning with end-to-end learning”. IEEE Robot. Autom. Lett. (RA-L). 2020. [Chen+ AAAI-21] Chen, J., Li, J., Fan, C., & Williams, B. “Scalable and Safe Multi-Agent Motion Planning with Nonlinear Dynamics and Bounded Disturbances”. Proc. AAAI Conf. on Artificial Intelligence (AAAI). 2021.

/123 147 速度ベースな衝突回避 (未言及, 掘ればたくさん出てくる) [Fiorini&Shiller IJRR-98] Fiorini, P., & Shiller, Z. ”Motion planning in dynamic environments using velocity obstacles”. Intl. J.Robotics Research (IJRR). 1998. [Guy+ SCA-09] Guy, S. J., Chhugani, J., Kim, C., Satish, N., Lin, M., Manocha, D., & Dubey, P. “Clearpath: highly parallel collision avoidance for multi-agent simulation”. Proc. ACM SIGGR./Eurogr. Symp. Comput. Animat. (SCA). 2009. [Van Den Berg+ Robotics-11] Van Den Berg, J., Guy, S. J., Lin, M., & Manocha, D. “Reciprocal n-body collision avoidance”. Robotics Research. 2011. 予期せぬ動的な障害物も考慮 (未言及, 掘ればたくさん出てくるはずだが把握してない) [Bajcsy+ ICRA-19] Bajcsy, A., Herbert, S. L., Fridovich-Keil, D., Fisac, J. F., Deglurkar, S., Dragan, A. D., & Tomlin, C. J. “A scalable framework for real-time multi-robot, multi-human collision avoidance”. Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA). 2019. [Şenbaşlar+ DARS-19] Şenbaşlar, B., Hönig, W., & Ayanian, N. “Robust trajectory execution for multi-robot teams using distributed real-time replanning”. Proc. Distributed Autonomous Robotic Systems (DARS). 2019.

/123 148 そのほか言及したもの – 1/2 [Sha+ IEEE Trans Comput-90] Sha, L., Rajkumar, R., & Lehoczky, J. P. “Priority inheritance protocols: An approach to real- time synchronization”. IEEE Trans. on Computers. 1990. [Srinivasan+ ICCAD-90] Srinivasan, A., Ham, T., Malik, S., & Brayton, R. K. “Algorithms for discrete function manipulation”. IEEE Intl. Conf. on Computer-Aided Design (ICCAD). 1990 [Tel 00] Tel, G. “Introduction to distributed algorithms”. Cambridge university press. 2000. [Brooks AIJ-91] Brooks, R. A. “Intelligence without representation”. Artif. Intel. (AIJ). 1991. [Bimbraw ICINCO-15] Bimbraw, K. “Autonomous cars: Past, present and future a review of the developments in the last century, the present scenario and the expected future of autonomous vehicle technology”. Proc. IEEE Intl. Conf. on Informatics in Control, Automation and Robotics (ICINCO). 2015.

/123 149 そのほか言及したもの – 2/2 [Verma+ PerCom-05] Verma, A., Sawant, H. & Tan, J. “Selection and navigation of mobile sensor nodes using a sensor network”. Proc. IEEE Intl. Conf. on Pervasive Computing and Communications (PerCom). 2005. [Kim&ChongT-ASE-08] Kim, M.,K & Chong, N. Y. “Direction sensing rfid reader for mobile robot navigation,” IEEE Trans. Autom. Sci. Eng. (T-ASE). 2008. [Fujisawa+ Swarm Intell.-14] Fujisawa, R., Dobata, S., Sugawara K. & Matsuno, F. “Designing pheromone communication in swarm robotics: Group foraging behavior mediated by chemical substance”. Swarm Intelligence. 2014. [Khaliq&Saffiotti ICRA-15] Khaliq, A. A. & Saffiotti, A. “Stigmergy at work: Planning and navigation for a service robot on an rfid floor”. Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA). 2014. [Altisen+ 19] Altisen, K., Devismes, S., Dubois, S., & Petit, F. “Introduction to distributed self-stabilizing algorithms”. Synthesis Lectures on Distributed Computing Theory. 2019. [Dijkstra Commun. ACM-74] Dijkstra, E., W. “Self-stabilizing systems in spite of distributed control”. Commun. ACM. 1974.