Upgrade to Pro — share decks privately, control downloads, hide ads and more …

#7【画像処理 & 機械学習】論文LT会!資料

pshiko
September 13, 2019

#7【画像処理 & 機械学習】論文LT会!資料

Video Object Segmentation using Teacher-Student Adaptation
in a Human Robot Interaction (HRI) Setting を題材にLTしました.

pshiko

September 13, 2019
Tweet

More Decks by pshiko

Other Decks in Research

Transcript

  1. Video Object Segmentation using Teacher-Student Adaptation in a Human Robot

    Interaction (HRI) Setting Mennatullah Siam, Chen Jiang, Steven Lu, Laura Petrich, Mahmoud Gamal, Mohamed Elhoseiny, Martin Jagersand https://msiam.github.io/ivos/ @p_shiko
  2. 一般的なセグメンテーションタスク DAVIS Challenge on Video Object Segmentation • Semi-Supervised Challenge

    最初のフレームがAnnotatoinされた状態から残りのフレームを Segmentation • Interactive Challenge 人のラフなAnnotation動作から全体をSegmentation • Unsupervised Challenge 情報なし⇐未知物体という意味でなく、どこが関心領域かが未知 何をセグメンテーションするべきか (関心領域はなにか)を推論するのは一つのチャレンジ Interactive Challenge train data [3]https://davischallenge.org/index.html
  3. 提案手法(Motion Adaptation) 1. Optical Flow とRGB Imageを入力とし、セグメンテーションを行うネットワークを学習とし教師ネッ トワークとする 2. 学習させた新規物体に関して、

    Optical FlowとRGB Imageを教師ネットワークに入力 疑似ラベル(セグメンテーション )を生成 3. RGB Imageのみで教師ネットワークの疑似ラベルを再現するように生徒ネットワークを学習させ る Source Target Teacher RGB + Motion 正解ラベル Student RGB Teacher出力
  4. 改めて提案手法の立ち位置 • Semi-Supervised Challenge 最初のフレームのみ • Interactive Challenge 人のラフなAnnotation動作 •

    Unsupervised Challenge Annotation情報なし Annotationラベルではなく対話的な動作で学習をさせる - ラベルがないという意味ではUnsupervised - しかし関心対象を明示する場合はSemi-Supervised?
  5. 実験 • DAVIS や IVOSで MOTAdapt の有効性を確認 • その他のSOTAなUnsupervisedな手法より高い性能を示す •

    IVOSデータセットにおいて , 視点変化に対しても頑健な Segmentationができていることを確認