Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
Search
sz_dr
October 19, 2016
Technology
0
220
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
TokyoTech LT (2016/10/19)で発表した資料です
sz_dr
October 19, 2016
Tweet
Share
More Decks by sz_dr
See All by sz_dr
Vespaを利用したテクいベクトル検索
szdr
3
360
ヤフーにおける機械学習検索ランキングの取り組み
szdr
11
15k
RecSys 2019 論文読み会 発表資料
szdr
1
1.1k
E-Commerce検索におけるランキング研究
szdr
1
800
ランク学習と偽負例化合物を用いたバーチャルスクリーニング
szdr
0
430
Other Decks in Technology
See All in Technology
元旅行会社の情シス部員が教えるおすすめなre:Inventへの行き方 / What is the most efficient way to re:Invent
naospon
2
270
スクラムチームを立ち上げる〜チーム開発で得られたもの・得られなかったもの〜
ohnoeight
2
290
Microsoft Intune アプリのトラブルシューティング
sophiakunii
1
400
Lambdaと地方とコミュニティ
miu_crescent
2
220
今、始める、第一歩。 / Your first step
yahonda
2
680
製造現場のデジタル化における課題とPLC Data to Cloudによる新しいアプローチ
hamadakoji
0
200
フルカイテン株式会社 採用資料
fullkaiten
0
40k
dev 補講: プロダクトセキュリティ / Product security overview
wa6sn
0
1.6k
Oracle Cloud Infrastructureデータベース・クラウド:各バージョンのサポート期間
oracle4engineer
PRO
28
12k
組み込みLinuxの時系列
puhitaku
4
1k
Spring Frameworkの新標準!? ~ RestClientとHTTPインターフェース入門 ~
ogiwarat
2
260
エンジニアが一生困らない ドキュメント作成の基本
naohiro_nakata
2
140
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
93
13k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
42
2.2k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Faster Mobile Websites
deanohume
305
30k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
329
21k
Done Done
chrislema
181
16k
Agile that works and the tools we love
rasmusluckow
327
21k
What's new in Ruby 2.0
geeforr
343
31k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
Transcript
東京工業大学 大学院情報理工学研究科 計算工学専攻 秋山研究室 鈴木 翔吾 Convolutional Neural Networkと RankNetを用いた画像の順序予測
TokyoTech LT 2016/10/19
お前誰よ? 2 鈴木翔吾 / Shogo D. Suzuki @sz_dr • 東京工業大学
大学院情報理工学研究科 計算工学専攻 秋山研究室 • ケモインフォマティクス・機械学習 • メインはPython,たまにC++
今日のお話 3 ♥ 研究でやってること A B C A ≻ B
≻ C A ≻ C ≻ B 化合物 タンパク質 機械学習で順序を予測
今日のお話 4 ♥ 研究でやってること A B C A ≻ B
≻ C A ≻ C ≻ B 化合物 タンパク質 機械学習で順序を予測 今日お話すること A B C 画像 ♥ @sz_dr A ≻ B ≻ C A ≻ C ≻ B 機械学習で順序を予測
アイデア 5 好み関数 0.9 画像 スコア これが求まると嬉しい 0.5 0.6 0.9
≺ ≺ スコアでソートした結果
好み関数のモデル化 6 好み関数 0.9 画像 スコア (RGB, W, H) =
(3, 80, 80) Convolutional Neural Network : ℝ1×2×3 → ℝ 画像認識の分野で広く用いられているモデル [LeCun+ 98] ※話すと長くなる部分なので, 知らない方は各自調べてみてください
好み関数の最適化 7 好み関数 : ℝ1×2×3 → ℝ @sz_drの好みを反映するように 好み関数のパラメータを学習する 訓練データ
: 9 : 8 ⋮ : 1 損失関数 を最小化するように学習 (Rank Net) ※ と を近づけていくイメージ 好み関数がAをBよりも高く ランク付けする確率 好み関数による画像A, Bの予測スコア Aの方が好きなとき1 Bの方が好きなとき0 同じくらい好きなとき0.5 [Burges+ 05]
学習の流れ 8 Lantisちゃんねるから『TVアニメ「ラブライブ!」先行発表PV』を取得 OpenCVを用いて 顔部分をクリッピング (277枚の顔画像を生成) 各画像にスコアを割り当て(つらい) 9 8 7
6 5 4 3 2 1 Chainer(Deep Learningフレームワーク)を用いて学習
訓練データの予測結果 9 好み関数を正しく学習できているか確認 9 8 7 6 5 4 3
2 1
訓練データの予測結果 10 好み関数を正しく学習できているか確認 9 8 7 6 5 4 3
2 1
テストデータの予測 11 訓練データ : 9 : 8 ⋮ : 1
テストデータ 『ラブライブ!』 『ラブライブ!サンシャイン!!』 ※訓練データにテストデータの画像は含まれていないことに注意
テストデータの予測 12 @sz_drによる好み順序 訓練 データ テスト データ
テストデータの予測 13 @sz_drによる好み順序 CNN+RankNetによる予測結果 訓練 データ テスト データ
テストデータの予測 14 CNN+RankNetによる予測結果 ☺ 似ている画像は同じような順位にきている ☹ 予測結果は正しい好み順序をあまり反映していない (訓練データとテストデータで順序傾向が異なるため?)
まとめ 15 やったこと Convolutional Neural NetworkとRankNetを用いた画像の順序予測 応用先は? 漫画の表紙買いとか…広告画像の最適化とか…?? できてないこと •
訓練データを集めるのが大変 (人手による評価が必要) • 評価値のバラエティの考慮 (9段階も必要…?Excellent・Good・Badくらいで良い??) • CNNでは見た目しか考慮できない (キャラクターの性格等をどうやって考慮する…??)