Upgrade to Pro — share decks privately, control downloads, hide ads and more …

日本ディープラーニング協会主催 CVPR 2021 技術報告会(登内)

Avatar for tonouchi510 tonouchi510
November 18, 2024
11

日本ディープラーニング協会主催 CVPR 2021 技術報告会(登内)

Avatar for tonouchi510

tonouchi510

November 18, 2024
Tweet

Transcript

  1. 自己紹介   登内 雅人(Masato Tonouchi)   株式会社ミクシィ    みてね事業部 開発グループ MLエンジニア

       AI-Scholar: 記事リンク, Twitter: @tono2700 経歴 ・2018年9月〜 2020年3月 株式会社ミクシィ 学生アルバイト ・2020年4月〜 株式会社ミクシィ エンジニア 趣味 ・運動、スポーツ観戦、YouTube、コーヒー アウトプット ・mixi tech note #5 ・日本ディープラーニング協会主催 CVPR 2020 技術報告会 ・今期の私は凄かったぞ!!! DSやMLはビジネスに役立つ!
  2. 論文を読むメリット 去年の取り組み • モデル改善における課題 ◦ モデル更新における関連作業に、 チームの半年分の工数が必要という 見積もりに ◦ 今後も更新作業は複数回ある

    • 最新論文サーベイにより解決 https://www.slideshare.net/ssuser995b9a1/ml-245520906 論文:Towards Backward-Compatible Representation Learning 著者:Yantao Shen, Yuanjun Xiong, Wei Xia, Stefano Soatto 出典:CVPR 2020 as oral ※一つ目の紹介論文の先行研究になっている手法
  3. 今日話すこと 1. Compatibility-Aware Heterogeneous Visual Search ◦ 表現学習モデルのニューラルアーキテクチャサーチ( NAS) ◦

    先行研究であるBackward-Compatible Training(BCT)を応用し、 互換性のあるアーキテクチャ探索を実現する 2. Composing Photos Like a Photographe ◦ プロの写真家が行っている美的構成を自動化するためのトリミング位置予測 ◦ 写真の美的構図ルールを明示的にモデリング
  4. 論文2 タイトル:Composing Photos Like a Photographer 著者:Chaoyi Hong, Shuaiyuan Du,

    Ke Xian, Hao Lu, Zhiguo Cao, Weicai Zhong 概要 • プロの写真家が行っている美的構成を自動化するための切り出し位置予測 • 写真の美的構図ルールを明示的にモデリング
  5. Image Croppingの基礎技術 1. Attention-Guided Image Cropping ◦ Saliency Mapやenergy functionsによって推定する

    ◦ 顕著なオブジェクトや情報のある領域を残せることが, 
 良い画像切り出しであるという考え 
 ◦ サムネイル画像などの用途でよく使われる 
 
 2. Aesthetics-Informed Image Cropping ◦ 美しさに基づいた手法 ◦ アノテーションされた美的ラベルで学習 ▪ クラス分類、ランキング学習など ◦ モデルが美的構成について獲得できることを期待 引用元: https://openaccess.thecvf.com/content/CVPR2021/html/Hong_Composing_Photos_Like_a_Photographer_CVPR_2021_paper.html     https://arxiv.org/pdf/1702.00503.pdf < ランキング学習 ※順序関係を利用して学習
  6. 既存研究 • VFN ◦ プロの写真家がとった写真から、切り出し候補を作成 ◦ ◦ 損失関数  を全てのペア候補で算出し、 総和を最小化

    • DIP ◦ SaliencyMapで候補ビューを絞り込む • VPN ◦ 蒸留を用いて推論を高速化 • GAIC ◦ グリッドアンカーを設計して候補の検索空間を削減 引用元: https://openaccess.thecvf.com/content/CVPR2021/html/Hong_Composing_Photos_Like_a_Photographer_CVPR_2021_paper.html
  7. Composing Photos Like a Photographer • 良い写真において「構図」が重要 • 構図ルールを明示的にモデルに組み込む手法を提案 どんな理由で選ばれたのか分かる

    良い写真・良い構図という曖昧な予測 問題に対し、解釈性を与える 引用元: https://openaccess.thecvf.com/content/CVPR2021/html/Hong_Composing_Photos_Like_a_Photographer_CVPR_2021_paper.html
  8. Composition Branch • 構図ルールを予測するClassificationモデルを学習 ◦ composition dataset [2]を使用 ◦ 次ページの9つの構図ルール

    • 要素の識別により、画像切り出しに合理的で信頼できる手がかりを 与えることができる 引用元: https://openaccess.thecvf.com/content/CVPR2021/html/Hong_Composing_Photos_Like_a_Photographer_CVPR_2021_paper.html
  9. KCM 1. 各構図ルールに対応する CAMを作成 2. 各CAMを結合してKCMを作成 3. KCMを入力画像サイズに UpSumpling 画像が一つ以上の構図ルールに従うことを考慮する必要がある

    例えば、海辺に立つ人物の画像は, Hor.の規則と RoT.の規則の両方に従う可能性がある 引用元: https://openaccess.thecvf.com/content/CVPR2021/html/Hong_Composing_Photos_Like_a_Photographer_CVPR_2021_paper.html