Save 37% off PRO during our Black Friday Sale! »

CVPR 2020 Japan Deep Learning Association - 論文紹介 ビジネス応用例と絡めて

CVPR 2020 Japan Deep Learning Association - 論文紹介 ビジネス応用例と絡めて

『日本ディープラーニング協会主催 CVPR 2020 技術報告会』発表資料です。
https://jdla.connpass.com/event/177973/

CVPR 2020 Japan Deep Learning Association / 2020.7.15 16:00-17:30
論文紹介
ビジネス応用例と絡めて
・ViewAL: Active Learning With Viewpoint Entropy for Semantic Segmentation
・Self-Supervised Viewpoint Learning From Image Collections

#今こそ学ぼう #CVPR2020 #JDLA #AISCHOLAR

B16717ef4b7aab0b253d933c3934f280?s=128

mixi_engineers

July 15, 2020
Tweet

Transcript

  1. 7/15_CVPR2020_技術報告会 0

  2. 7/15_CVPR2020_技術報告会 1 登内 雅人(Tonouchi Masato) 株式会社ミクシィ みてね事業部 開発グループ MLエンジニア 20新卒エンジニア

    Twitter:@tono2700 得意領域 : • 画像系 • 大学院で船型形状の学習・評価 • ヘルスケア事業で姿勢推定 • みてねで顔認識等 • ML基盤構築 • 最近はKubeFlow触りだした • ハッカソン・コンペ • 学生時代は研究よりこっちにハマってたかも 趣味: • ハッカソンとかコンペ、サッカー、ボーリング、コーヒー 自己紹介 3
  3. 7/15_CVPR2020_技術報告会 2 今日話すこと • “アノテーションの辛さ、効率化” 及び “教師なし”という選択肢について • ViewAL: Active

    Learning With Viewpoint Entropy for Semantic Segmentation • Self-Supervised Viewpoint Learning From Image Collections • その他: 個人的に一番面白かった論文 • タイトル:Towards Backward-Compatible Representation Learning • 後方互換性のある表現学習 はじめに 3
  4. 7/15_CVPR2020_技術報告会 3 アノテーションが必要になる理由: 「公開されている学習済みモデルでは対応できないケースが多々」 • 顔認識系、人種・性別・年齢で精度が異なる、データに偏りがある • OpenPoseが特定の姿勢に弱い、黒い服だと精度が悪い など •

    最近バズってたQiita記事: 学習時と運用時の画像フォーマットが異なるケース アノテーションの辛み: • 人的リソース確保の問題 • アノテーションツールの開発も必要(大規模なデータセットを作るには効率必須) アノテーションについて ※引⽤元:https://qiita.com/daisukelab/items/55d2a2a04b86c0577954, https://github.com/CMU-Perceptual-Computing-Lab/openpose OpenPoseだと”png”→”jpeg” で体感20%ほど精度低下 3
  5. 7/15_CVPR2020_技術報告会 4 アノテーションコスト: 物体検出の場合:バウンディングボックスとラベルが必要 画像1枚平均6秒かかると見積もると、 Ø 1日(1営業日=8時間として):4,800枚 Ø 20日(1人月):96,000枚 Ø

    100万枚集めるには?? アノテーションについて 効率化や代替案を検討する必要がある ※引⽤元: https://arxiv.org/pdf/1512.02325.pdf 3
  6. 7/15_CVPR2020_技術報告会 5 アクティブラーニング(能動学習) • モデルの精度改善に効果的なデータを選んでアノテーション・学習するという戦略 • できるだけ少量のラベリング作業で、最大限の精度改善を目指す 精度改善に効果的なデータのサンプリング • 不確実性の高いデータを選ぶ

    等々… Ø ここが研究対象 アノテーション効率化について 正解が分からない 中でどう選ぶか? 精度改善に効果的 なデータとは? 過適合とかは 起きない? エントロピーを計算し、 値が大きいものを選択 ※引⽤元: http://burrsettles.com/pub/settles.activelearning.pdf 3
  7. 7/15_CVPR2020_技術報告会 6 タイトル: ViewAL: Active Learning With Viewpoint Entropy for

    Semantic Segmentation 著者: Yawar Siddiqui, Julien Valentin, Matthias Nießner(Google) 貢献: • セマンティックセグメンテーション(SS)のための新しいActive-Learning戦略を導入し、ラベル付け労力を 大幅に削減しつつ、最大性能と同等の性能を達成 • ラベリング作業自体の労力も軽減するスーパーピクセルベースのスコアリングとラベル取得手法を提案 紹介論文 ※引⽤元: htthttps://arxiv.org/pdf/1911.11789.pdf 3
  8. 7/15_CVPR2020_技術報告会 7 従来手法の課題: • 視点による予測の不確実性が考慮されていない • 苦手な視点も考慮してサンプリングしたい Ø このような視点の違いによる予測の不整合に着目 ➡

    学習効果に期待 紹介論文 左図の向きでは家具 と予測しているが、 右図の向きでは椅子 と予測している ※引⽤元: htthttps://arxiv.org/pdf/1911.11789.pdf 3
  9. 7/15_CVPR2020_技術報告会 8 提案手法 1. 視点エントロピーを用いた新たな能動学習戦略 • 視点の違いによる予測の不整合性に基づく不確実性 をスコアリングし、サンプリング戦略に使用 • View

    Entropy • View Divergence 2. 従来の矩形領域単位のラベリングよりも優れた スーパーピクセル単位でのラベリングを提案 紹介論文 ViewALの概要 具体的なスコアリング方法等の話は今回しません ⾊やテクスチャが類似する ピクセルをグルーピング した⼩領域のこと ※引⽤元: htthttps://arxiv.org/pdf/1911.11789.pdf 3
  10. 7/15_CVPR2020_技術報告会 9 紹介論文 応用: スーパーピクセル単位のラベリング ➡ アノテーションツールへの組み込み アクティブラーニング ➡ アノテーション量の削減・MLOps

    実験結果: • ユーザ調査により、スーパーピクセル単位での ラベリングで25%の時間を削減することに成功 • 提案手法の能動学習戦略と組み合わせることで、 13%の労力で、全データを使用した時の95%の 性能を達成 スーパーピクセルはほとんどのケースで単⼀オブジェクト クラスに関連づけられるため、矩形よりも優れている ※引⽤元: htthttps://arxiv.org/pdf/1911.11789.pdf 3
  11. 7/15_CVPR2020_技術報告会 10 jsbroks/coco-annotator アノテーションツールの紹介 ※引⽤元: https://github.com/jsbroks/coco-annotator • COCOデータセットのタスクに関するアノテーションは全部できる(クラス分類、検出、姿勢推定 etc…) •

    OSSでかつPython/FlaskとVue.js製 ➡ 比較的簡単に追加開発が可能 • 学習済みモデルによるアノテーションも可能 ➡ 人間のアノテータはその修正だけすれば良い 3
  12. 7/15_CVPR2020_技術報告会 11 それでもアノテーションはしたくない ※アノテーションツール開発などの工数は依然として残るので アノテーションについて 3

  13. 7/15_CVPR2020_技術報告会 12 それでもアノテーションはしたくない ※アノテーションツール開発などの工数は依然として残るので それ”教師なし”でできるよ アノテーションについて アノテーションした データは評価⽤や ファインチューニン グ⽤に全振りできる

    3
  14. 7/15_CVPR2020_技術報告会 13 タイトル : Self-Supervised Viewpoint Learning From Image Collections

    どんな論文 : • 教師なしで物体の向きを学習する手法 • 必要なのは画像のコレクションだけ! • Cycle Consistencyを使った学習 紹介論文 自分の担当しているMLプロジェクトが教師なしでできるようになっているかも? Ø エンジニアもアンテナを貼っておくと幸せになれるかも ※引⽤元: https://arxiv.org/pdf/2004.01793.pdf, https://ai-scholar.tech/articles/viewpoint/viewpoint-ssv-pascal3d-hologan-cycle-consistency 3
  15. 7/15_CVPR2020_技術報告会 14 エンジニアとして注目しているテーマ • 実際にサービスに組み込むことも考えた上での課題解決に向けた研究 • ただ精度を改善すればいいわけでなく、色々なことを考えないといけない • エンジニアリング・運用でカバーするものと考えてた部分のコストを削減するヒントになりそう 論文:Towards

    Backward-Compatible Representation Learning • Representation Learningセッションのoral論文 • 個人的に今回一番興味を持った、今後のこの分野の発展に期待 注目している研究テーマ 古いモデルの埋め込み をそのまま使えるよう に新モデルを学習可能 3