Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
Search
sz_dr
October 19, 2016
Technology
0
230
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
TokyoTech LT (2016/10/19)で発表した資料です
sz_dr
October 19, 2016
Tweet
Share
More Decks by sz_dr
See All by sz_dr
Vespaを利用したテクいベクトル検索
szdr
3
500
ヤフーにおける機械学習検索ランキングの取り組み
szdr
11
15k
RecSys 2019 論文読み会 発表資料
szdr
1
1.2k
E-Commerce検索におけるランキング研究
szdr
1
810
ランク学習と偽負例化合物を用いたバーチャルスクリーニング
szdr
0
470
Other Decks in Technology
See All in Technology
Pwned Labsのすゝめ
ken5scal
2
520
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
3
340
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
2
1.5k
クラウド食堂とは?
hiyanger
0
120
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
14
5.3k
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
780
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
960
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
9
1.8k
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
170
大規模アジャイルフレームワークから学ぶエンジニアマネジメントの本質
staka121
PRO
3
1.4k
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
280
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
99
5.4k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Navigating Team Friction
lara
183
15k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Making Projects Easy
brettharned
116
6k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
GraphQLの誤解/rethinking-graphql
sonatard
69
10k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Transcript
東京工業大学 大学院情報理工学研究科 計算工学専攻 秋山研究室 鈴木 翔吾 Convolutional Neural Networkと RankNetを用いた画像の順序予測
TokyoTech LT 2016/10/19
お前誰よ? 2 鈴木翔吾 / Shogo D. Suzuki @sz_dr • 東京工業大学
大学院情報理工学研究科 計算工学専攻 秋山研究室 • ケモインフォマティクス・機械学習 • メインはPython,たまにC++
今日のお話 3 ♥ 研究でやってること A B C A ≻ B
≻ C A ≻ C ≻ B 化合物 タンパク質 機械学習で順序を予測
今日のお話 4 ♥ 研究でやってること A B C A ≻ B
≻ C A ≻ C ≻ B 化合物 タンパク質 機械学習で順序を予測 今日お話すること A B C 画像 ♥ @sz_dr A ≻ B ≻ C A ≻ C ≻ B 機械学習で順序を予測
アイデア 5 好み関数 0.9 画像 スコア これが求まると嬉しい 0.5 0.6 0.9
≺ ≺ スコアでソートした結果
好み関数のモデル化 6 好み関数 0.9 画像 スコア (RGB, W, H) =
(3, 80, 80) Convolutional Neural Network : ℝ1×2×3 → ℝ 画像認識の分野で広く用いられているモデル [LeCun+ 98] ※話すと長くなる部分なので, 知らない方は各自調べてみてください
好み関数の最適化 7 好み関数 : ℝ1×2×3 → ℝ @sz_drの好みを反映するように 好み関数のパラメータを学習する 訓練データ
: 9 : 8 ⋮ : 1 損失関数 を最小化するように学習 (Rank Net) ※ と を近づけていくイメージ 好み関数がAをBよりも高く ランク付けする確率 好み関数による画像A, Bの予測スコア Aの方が好きなとき1 Bの方が好きなとき0 同じくらい好きなとき0.5 [Burges+ 05]
学習の流れ 8 Lantisちゃんねるから『TVアニメ「ラブライブ!」先行発表PV』を取得 OpenCVを用いて 顔部分をクリッピング (277枚の顔画像を生成) 各画像にスコアを割り当て(つらい) 9 8 7
6 5 4 3 2 1 Chainer(Deep Learningフレームワーク)を用いて学習
訓練データの予測結果 9 好み関数を正しく学習できているか確認 9 8 7 6 5 4 3
2 1
訓練データの予測結果 10 好み関数を正しく学習できているか確認 9 8 7 6 5 4 3
2 1
テストデータの予測 11 訓練データ : 9 : 8 ⋮ : 1
テストデータ 『ラブライブ!』 『ラブライブ!サンシャイン!!』 ※訓練データにテストデータの画像は含まれていないことに注意
テストデータの予測 12 @sz_drによる好み順序 訓練 データ テスト データ
テストデータの予測 13 @sz_drによる好み順序 CNN+RankNetによる予測結果 訓練 データ テスト データ
テストデータの予測 14 CNN+RankNetによる予測結果 ☺ 似ている画像は同じような順位にきている ☹ 予測結果は正しい好み順序をあまり反映していない (訓練データとテストデータで順序傾向が異なるため?)
まとめ 15 やったこと Convolutional Neural NetworkとRankNetを用いた画像の順序予測 応用先は? 漫画の表紙買いとか…広告画像の最適化とか…?? できてないこと •
訓練データを集めるのが大変 (人手による評価が必要) • 評価値のバラエティの考慮 (9段階も必要…?Excellent・Good・Badくらいで良い??) • CNNでは見た目しか考慮できない (キャラクターの性格等をどうやって考慮する…??)