株丹 亮 CoRL2021論文読み会 2021.12.11 論文を読んでみて分かったこと解説 5th Annual Conference on Robot Learning CoRL2021 「Structured deep generative models for sampling on constraint manifolds in sequential manipulation」

株丹 亮 Kabutan Ryo 九州工業大学 西田研究室 - 2017 産業用ロボットのためのパスプランニングアルゴリズムの研究に従事。 株式会社 安川電機 2017 – 現在 株式会社 エイアイキューブ 出向中 個人で ROS (Robot Operating System) Japan Users Groupでたまに発表しています。 主にMoveItというロボットアーム向けライブラリの解説など。 産業用ロボットのためのプランニング技術、最適化、異常検知などの知能化技術の開発に従事。 2 上記資料のURL: https://www.slideshare.net/RyoKabutan

最近やっていること 3 自宅で簡易的な実験システムの構築 UnityとROS(MoveIt)を連携させる

今日の発表内容 論文タイトル Structured deep generative models for sampling on constraint manifolds in sequential manipulation 論文の概要（3行で） • 所望のロボットの姿勢を効率的に発見したい（サンプリングと呼ぶ） → 組み立て作業などの過程で、 障害物と干渉しない姿勢、モノが持てる姿勢などを作りたい • しかし様々な制約条件がある中でのサンプリングは非常に難しい。 • よって深層生成モデル（GAN）と最適化手法を組み合わせて効率的に サンプリングする手法を提案。 4 逐次的なマニピュレーション 制約条件付き多様体上サンプリング 構造化された深層生成モデル

はじめに サンプリングとは？ ロボット（マニピュレータ）の分野では、 所望の姿勢を何らかの方策を元に抽出すること 例えば、干渉しない姿勢を作成したい ランダムに各関節の角度値を決定してみる → ランダムにサンプリングするというのも一種の方策 干渉しなかったサンプリング ＝成功したサンプリング 干渉するサンプリング ＝失敗したサンプリング 干渉するサンプリング ＝失敗したサンプリング

はじめに サンプリングとは？ ランダムでサンプリングする場合の手順（2つの関節を持ったロボットの場合） joint2 joint1 ランダムに サンプリング (𝜃1 , 𝜃2 ) y 𝜃1 x 𝜃2 関節空間 ユークリッド空間 サンプリング結果を 投影 できたら嬉しいこと（簡単にはできないこと） 𝜃1 x 𝜃2 ユークリッド空間 6 joint2 関節空間 y 実際に少しずつ角度 を変更しながら、干 渉しているかしてい ないかをすべて調べ ると 関節空間で、干渉マップが 構築できる 2軸ロボットなら そこまで大変でないが、 6、7軸ロボットであれば 各関節角度の組合わせが 膨大になる！ 実際にサンプリングした結果を ユークリッド空間で表現して CADモデル同士の干渉チェックを 行う joint1 有効な姿勢が見つかるまで ランダムサンプリングを 繰り返す

はじめに サンプリングとは？ 7 • 干渉しない姿勢をランダムにサンプリングし、その姿勢を一連の点列とし て構成するとモーションとして作ることができる。 • RRTやPRMなどのランダムサンプリング手法が有名 • 上記手法はMoveItなどのOSSで利用可能

はじめに サンプリングとは？ 箱を斜めにしないように手先姿勢を水平に保った姿勢群を作るというのも、 サンプリングを工夫することで実現可能 8

はじめに サンプリングとは？ 双腕型ロボットを使って部品を手渡しをするときの姿勢をサンプリングしたい。 • 2つの手先の位置の相対関係がしきい値以下である。 • 2つの手先の姿勢の相対関係がしきい値以下である。 などの制約を作る。すると下記のように様々な姿勢をサンプリングすることができる。 9

論文の話（やっと） 導入の話から、分かること • 所望の姿勢を無限にある姿勢から効率的にサンプリングするのは非常に 難しい • 制約が色々ある状況下では、さらにサンプリングは難しくなる 制約の例： 非干渉でなければならない、 手先姿勢は地面に対して水平でなければならない 2つのアームの手先姿勢が相対関係が一定でなければならない など… 10 上記のような状況下で、効率的にサンプリングするための手法が 提案されている

提案されている手法の概要 基本方針 ① 深層生成モデル（GAN）でなるべく制約を満たす （＝完全に満たしてなくてもOK）姿勢を生成する。 ② その生成した姿勢から完全に制約を満たす姿勢まで最適化手法で収束させる 11 もう少し知りたかったところ 良いと思ったところ 論文の感想 問題の部分解または全体解を直接予測するようにネットワークを学習するような手法は提案 されているが、あくまで予測であるため完全に制約を満たすかの保証がない。 それを本論文は②できちんと保証している。 ①の学習フェーズについて、どのようにデータを収集するのかの言及が少なかった。 シミュレーションベースでとにかくランダムでもよいので姿勢を作ってデータを作る？ ②の最適化手法について具体的にどのような手法を使ったのかがなかった。

提案されている手法（詳細） 基本方針 ① パラメータ𝜏で表現された多様体ℳ𝜏 を定義。推定した分布からサンプル෤ 𝑥を生成する 12 ② サンプルされた෤ 𝑥に近い𝑥を求める（制約条件を完全に満たす𝑥） ①、②のイメージ 制約条件を完全に満たす姿勢の集合体 ①で多様体ℳ𝜏 の推定モデルから サンプル෤ 𝑥を生成する ②の最適化で厳密解に収束させる （まだ真の解ではない）

提案されている手法（詳細） ①について補足 13 制約条件を数式化したもの 「はじめに」で話した障害物に干渉しないという制約条件の場合、 障害物とロボットの距離が0より大きい姿勢でなければならないという立式を行う。 基本的に制約関数は微分可能でなければならない。 開始 終了 学習したモデルで所望の姿勢を サンプリング 非線形最適化問題を解く 手法の疑似コード

提案されている手法（詳細） ハンドオーバー（手渡し）問題のモード切り替えの例 ロボットAがピック→ ロボットBに手渡し →ロボットBがプレイス。 提案手法では、上段シーンを条件として近似サンプルを生成する深層生成モデルと 制約多様体に投影する非線形最適化（下段）を組み合わせたものである。 14 条件付与 生成モデルで サンプリング 最適化で厳密解を導出 生成モデルで サンプリング Pick姿勢作成成功 Pick姿勢作成 HandOver姿勢作成 HandOver姿勢作成成功 Place姿勢作成 ① 深層生成 モデル ② 最適化 Place姿勢作成成功

深層生成モデルについて Wasserstein GANを使用 • 通常のGANは生成器 (generator) が似たようなデータしか出力しなくなる「モード崩壊」と呼ばれる現象が 起きやすい。モデルパラメータが発散してしまう。勾配消失現象が起きやすい。 → GANは不安定 • Wasserstein GANはこれらの問題を解決するアプローチをとっている。 15 実際に制約を満たした サンプリング (訓練データ) ＝本物 Generatorによって生成され たサンプリング(偽物データ) ＝偽物 本論文オリジナル部分 ො 𝑥は制約を満たす真の𝑥と 偽物のデータ෤ 𝑥の間のデータ そのデータをDiscriminatorのモデル の勾配に代入。-1をするのはなぜ？ 本物か偽物か際どいデータを入れて 評価をしている。 本論文オリジナル部分 Generatorによって生成され たサンプリングが制約式を満 たしているほど小さくなる。

さらなる工夫 一気に所望のサンプリング結果を求めるための分布を学習するのではなく、 各操作手順に従って分割して考える。 16 • 𝑝・・・把持対象物の最終位置（置き位置） • 𝑡・・・把持対象とエンドエフェクタの相対位置（把持位置） • 𝑞1 ・・・ピックする姿勢 • 𝑞2 ・・・プレイスする姿勢 ピックアンドプレイスの例 把持対象の最終位置を サンプリング 最終位置が与えられたときの把持位置を サンプリング 把持位置が与えられたときの ピック姿勢をサンプリング 把持位置と最終位置が与えられたときの プレイス姿勢をサンプリング

実験結果 手渡し問題（p.14）と組み立て問題（下図）を使って提案手法の ベンチマーク 17 2台の移動式ロボットがそれぞれ1つの物体を選び、それらを組み立てる。組付け位置は回転と位置に制約があり、 物体と物体は垂直に組み付ける必要がある。T字型になるように組み立てる。 提案手法以外の比較対象 • Rand・・・ランダムサンプリングで初期解を作って最適化手法で制約条件を満たす解に収束させる。 • Rand Data・・・訓練データセットからランダムにサンプルして、最適化手法で今の問題の制約条件を満たす解 に収束させる。初期点は同じ系列の別問題の実現可能なサンプル。多様な情報を持つ初期値を提供するため、 実際には強力なベースラインとなる。

実験結果 • 200回実験 • 1回の実験の中で、何回サンプルして有効な解が得られるかを集計。 • ただし10回超えても有効な解が得られない場合は、10回として表示 18 提案手法は 比較的少ないサンプリング数で 有効な解を発見できている 別の問題の有効解は 対象となる問題の初期解として 有効である 基準値を与えているものの 完全ランダムなので 有効解の発見は難しい 手渡し問題 組み立て問題

まとめ • 制約多様体上でサンプリングを行う新しいアプローチ。 • ロボットによる逐次的なマニピュレーション問題に取り組むためのもので ある。 • 提案のフレームワークは、深層生成サンプリングモデルと、非線形最適化 問題を組み合わせ、多様体上にサンプルを投影する。 • 問題のスケーラビリティを向上させるために、条件付き生成モデルのシー ケンスを学習することで、上記アプローチを拡張させた。 • その結果、学習した生成モデルが、ベースライン手法を上回ることが 確認された。 19

ご静聴ありがとうございました。 質問があれば、お気軽にどうぞ！！ 20