7/15_CVPR2020_技術報告会 0

7/15_CVPR2020_技術報告会 1 登内 雅人（Tonouchi Masato） 株式会社ミクシィ みてね事業部 開発グループ MLエンジニア 20新卒エンジニア Twitter：@tono2700 得意領域 : • 画像系 • 大学院で船型形状の学習・評価 • ヘルスケア事業で姿勢推定 • みてねで顔認識等 • ML基盤構築 • 最近はKubeFlow触りだした • ハッカソン・コンペ • 学生時代は研究よりこっちにハマってたかも 趣味： • ハッカソンとかコンペ、サッカー、ボーリング、コーヒー 自己紹介 3

7/15_CVPR2020_技術報告会 2 今日話すこと • “アノテーションの辛さ、効率化” 及び “教師なし”という選択肢について • ViewAL: Active Learning With Viewpoint Entropy for Semantic Segmentation • Self-Supervised Viewpoint Learning From Image Collections • その他: 個人的に一番面白かった論文 • タイトル：Towards Backward-Compatible Representation Learning • 後方互換性のある表現学習 はじめに 3

7/15_CVPR2020_技術報告会 3 アノテーションが必要になる理由: 「公開されている学習済みモデルでは対応できないケースが多々」 • 顔認識系、人種・性別・年齢で精度が異なる、データに偏りがある • OpenPoseが特定の姿勢に弱い、黒い服だと精度が悪い など • 最近バズってたQiita記事： 学習時と運用時の画像フォーマットが異なるケース アノテーションの辛み: • 人的リソース確保の問題 • アノテーションツールの開発も必要（大規模なデータセットを作るには効率必須） アノテーションについて ※引⽤元：https://qiita.com/daisukelab/items/55d2a2a04b86c0577954, https://github.com/CMU-Perceptual-Computing-Lab/openpose OpenPoseだと”png”→”jpeg” で体感20％ほど精度低下 3

7/15_CVPR2020_技術報告会 4 アノテーションコスト: 物体検出の場合：バウンディングボックスとラベルが必要 画像1枚平均6秒かかると見積もると、 Ø 1日（1営業日=8時間として）：4,800枚 Ø 20日（1人月）：96,000枚 Ø 100万枚集めるには？？ アノテーションについて 効率化や代替案を検討する必要がある ※引⽤元： https://arxiv.org/pdf/1512.02325.pdf 3

7/15_CVPR2020_技術報告会 5 アクティブラーニング（能動学習） • モデルの精度改善に効果的なデータを選んでアノテーション・学習するという戦略 • できるだけ少量のラベリング作業で、最大限の精度改善を目指す 精度改善に効果的なデータのサンプリング • 不確実性の高いデータを選ぶ 等々… Ø ここが研究対象 アノテーション効率化について 正解が分からない 中でどう選ぶか？ 精度改善に効果的 なデータとは？ 過適合とかは 起きない？ エントロピーを計算し、 値が大きいものを選択 ※引⽤元： http://burrsettles.com/pub/settles.activelearning.pdf 3

7/15_CVPR2020_技術報告会 6 タイトル： ViewAL: Active Learning With Viewpoint Entropy for Semantic Segmentation 著者： Yawar Siddiqui, Julien Valentin, Matthias Nießner（Google） 貢献: • セマンティックセグメンテーション（SS）のための新しいActive-Learning戦略を導入し、ラベル付け労力を 大幅に削減しつつ、最大性能と同等の性能を達成 • ラベリング作業自体の労力も軽減するスーパーピクセルベースのスコアリングとラベル取得手法を提案 紹介論文 ※引⽤元： htthttps://arxiv.org/pdf/1911.11789.pdf 3

7/15_CVPR2020_技術報告会 7 従来手法の課題: • 視点による予測の不確実性が考慮されていない • 苦手な視点も考慮してサンプリングしたい Ø このような視点の違いによる予測の不整合に着目 ➡ 学習効果に期待 紹介論文 左図の向きでは家具 と予測しているが、 右図の向きでは椅子 と予測している ※引⽤元： htthttps://arxiv.org/pdf/1911.11789.pdf 3

7/15_CVPR2020_技術報告会 8 提案手法 1. 視点エントロピーを用いた新たな能動学習戦略 • 視点の違いによる予測の不整合性に基づく不確実性 をスコアリングし、サンプリング戦略に使用 • View Entropy • View Divergence 2. 従来の矩形領域単位のラベリングよりも優れた スーパーピクセル単位でのラベリングを提案 紹介論文 ViewALの概要 具体的なスコアリング方法等の話は今回しません ⾊やテクスチャが類似する ピクセルをグルーピング した⼩領域のこと ※引⽤元： htthttps://arxiv.org/pdf/1911.11789.pdf 3

7/15_CVPR2020_技術報告会 9 紹介論文 応用: スーパーピクセル単位のラベリング ➡ アノテーションツールへの組み込み アクティブラーニング ➡ アノテーション量の削減・MLOps 実験結果： • ユーザ調査により、スーパーピクセル単位での ラベリングで25%の時間を削減することに成功 • 提案手法の能動学習戦略と組み合わせることで、 13％の労力で、全データを使用した時の95%の 性能を達成 スーパーピクセルはほとんどのケースで単⼀オブジェクト クラスに関連づけられるため、矩形よりも優れている ※引⽤元： htthttps://arxiv.org/pdf/1911.11789.pdf 3

7/15_CVPR2020_技術報告会 10 jsbroks/coco-annotator アノテーションツールの紹介 ※引⽤元： https://github.com/jsbroks/coco-annotator • COCOデータセットのタスクに関するアノテーションは全部できる（クラス分類、検出、姿勢推定 etc…） • OSSでかつPython/FlaskとVue.js製 ➡ 比較的簡単に追加開発が可能 • 学習済みモデルによるアノテーションも可能 ➡ 人間のアノテータはその修正だけすれば良い 3

7/15_CVPR2020_技術報告会 11 それでもアノテーションはしたくない ※アノテーションツール開発などの工数は依然として残るので アノテーションについて 3

7/15_CVPR2020_技術報告会 12 それでもアノテーションはしたくない ※アノテーションツール開発などの工数は依然として残るので それ”教師なし”でできるよ アノテーションについて アノテーションした データは評価⽤や ファインチューニン グ⽤に全振りできる 3

7/15_CVPR2020_技術報告会 13 タイトル : Self-Supervised Viewpoint Learning From Image Collections どんな論文 : • 教師なしで物体の向きを学習する手法 • 必要なのは画像のコレクションだけ！ • Cycle Consistencyを使った学習 紹介論文 自分の担当しているMLプロジェクトが教師なしでできるようになっているかも？ Ø エンジニアもアンテナを貼っておくと幸せになれるかも ※引⽤元： https://arxiv.org/pdf/2004.01793.pdf, https://ai-scholar.tech/articles/viewpoint/viewpoint-ssv-pascal3d-hologan-cycle-consistency 3

7/15_CVPR2020_技術報告会 14 エンジニアとして注目しているテーマ • 実際にサービスに組み込むことも考えた上での課題解決に向けた研究 • ただ精度を改善すればいいわけでなく、色々なことを考えないといけない • エンジニアリング・運用でカバーするものと考えてた部分のコストを削減するヒントになりそう 論文：Towards Backward-Compatible Representation Learning • Representation Learningセッションのoral論文 • 個人的に今回一番興味を持った、今後のこの分野の発展に期待 注目している研究テーマ 古いモデルの埋め込み をそのまま使えるよう に新モデルを学習可能 3