Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
Search
sz_dr
October 19, 2016
Technology
0
250
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
TokyoTech LT (2016/10/19)で発表した資料です
sz_dr
October 19, 2016
Tweet
Share
More Decks by sz_dr
See All by sz_dr
Vespaを利用したテクいベクトル検索
szdr
3
600
ヤフーにおける機械学習検索ランキングの取り組み
szdr
11
16k
RecSys 2019 論文読み会 発表資料
szdr
1
1.2k
E-Commerce検索におけるランキング研究
szdr
1
840
ランク学習と偽負例化合物を用いたバーチャルスクリーニング
szdr
0
520
Other Decks in Technology
See All in Technology
mruby(PicoRuby)で ファミコン音楽を奏でる
kishima
2
490
AWSで推進するデータマネジメント
kawanago
0
770
Webアクセシビリティ入門
recruitengineers
PRO
3
1.5k
クラウドセキュリティを支える技術と運用の最前線 / Cutting-edge Technologies and Operations Supporting Cloud Security
yuj1osm
2
250
AI時代にPdMとPMMはどう連携すべきか / PdM–PMM-collaboration-in-AI-era
rakus_dev
0
240
今!ソフトウェアエンジニアがハードウェアに手を出すには
mackee
1
200
個人CLAUDE.md紹介と設定から学んだこと/introduce-my-claude-md
shibayu36
0
160
「守る」から「進化させる」セキュリティへ ~AWS re:Inforce 2025参加報告~ / AWS re:Inforce 2025 Participation Report
yuj1osm
1
180
進捗
ydah
2
230
kubellが考える戦略と実行を繋ぐ活用ファーストのデータ分析基盤
kubell_hr
0
120
スプリントレトロスペクティブはチーム観察の宝庫? 〜チームの衝突レベルに合わせたアプローチ仮説!〜
electricsatie
1
140
異業種出身エンジニアが気づいた、転向して十数年経っても変わらない自分の武器とは
macnekoayu
0
260
Featured
See All Featured
Optimizing for Happiness
mojombo
379
70k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
830
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Speed Design
sergeychernyshev
32
1.1k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Transcript
東京工業大学 大学院情報理工学研究科 計算工学専攻 秋山研究室 鈴木 翔吾 Convolutional Neural Networkと RankNetを用いた画像の順序予測
TokyoTech LT 2016/10/19
お前誰よ? 2 鈴木翔吾 / Shogo D. Suzuki @sz_dr • 東京工業大学
大学院情報理工学研究科 計算工学専攻 秋山研究室 • ケモインフォマティクス・機械学習 • メインはPython,たまにC++
今日のお話 3 ♥ 研究でやってること A B C A ≻ B
≻ C A ≻ C ≻ B 化合物 タンパク質 機械学習で順序を予測
今日のお話 4 ♥ 研究でやってること A B C A ≻ B
≻ C A ≻ C ≻ B 化合物 タンパク質 機械学習で順序を予測 今日お話すること A B C 画像 ♥ @sz_dr A ≻ B ≻ C A ≻ C ≻ B 機械学習で順序を予測
アイデア 5 好み関数 0.9 画像 スコア これが求まると嬉しい 0.5 0.6 0.9
≺ ≺ スコアでソートした結果
好み関数のモデル化 6 好み関数 0.9 画像 スコア (RGB, W, H) =
(3, 80, 80) Convolutional Neural Network : ℝ1×2×3 → ℝ 画像認識の分野で広く用いられているモデル [LeCun+ 98] ※話すと長くなる部分なので, 知らない方は各自調べてみてください
好み関数の最適化 7 好み関数 : ℝ1×2×3 → ℝ @sz_drの好みを反映するように 好み関数のパラメータを学習する 訓練データ
: 9 : 8 ⋮ : 1 損失関数 を最小化するように学習 (Rank Net) ※ と を近づけていくイメージ 好み関数がAをBよりも高く ランク付けする確率 好み関数による画像A, Bの予測スコア Aの方が好きなとき1 Bの方が好きなとき0 同じくらい好きなとき0.5 [Burges+ 05]
学習の流れ 8 Lantisちゃんねるから『TVアニメ「ラブライブ!」先行発表PV』を取得 OpenCVを用いて 顔部分をクリッピング (277枚の顔画像を生成) 各画像にスコアを割り当て(つらい) 9 8 7
6 5 4 3 2 1 Chainer(Deep Learningフレームワーク)を用いて学習
訓練データの予測結果 9 好み関数を正しく学習できているか確認 9 8 7 6 5 4 3
2 1
訓練データの予測結果 10 好み関数を正しく学習できているか確認 9 8 7 6 5 4 3
2 1
テストデータの予測 11 訓練データ : 9 : 8 ⋮ : 1
テストデータ 『ラブライブ!』 『ラブライブ!サンシャイン!!』 ※訓練データにテストデータの画像は含まれていないことに注意
テストデータの予測 12 @sz_drによる好み順序 訓練 データ テスト データ
テストデータの予測 13 @sz_drによる好み順序 CNN+RankNetによる予測結果 訓練 データ テスト データ
テストデータの予測 14 CNN+RankNetによる予測結果 ☺ 似ている画像は同じような順位にきている ☹ 予測結果は正しい好み順序をあまり反映していない (訓練データとテストデータで順序傾向が異なるため?)
まとめ 15 やったこと Convolutional Neural NetworkとRankNetを用いた画像の順序予測 応用先は? 漫画の表紙買いとか…広告画像の最適化とか…?? できてないこと •
訓練データを集めるのが大変 (人手による評価が必要) • 評価値のバラエティの考慮 (9段階も必要…?Excellent・Good・Badくらいで良い??) • CNNでは見た目しか考慮できない (キャラクターの性格等をどうやって考慮する…??)