Lock in $30 Savings on PRO—Offer Ends Soon! ⏳
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習を用いた見栄えのいい料理画像抽出をサービスに活かすための取り組み
Search
johshisha
November 01, 2018
0
4.3k
機械学習を用いた見栄えのいい料理画像抽出をサービスに活かすための取り組み
Cookpad Tech Kitchen #19 R&Dにおけるサービス開発者の仕事
https://cookpad.connpass.com/event/104459/
johshisha
November 01, 2018
Tweet
Share
More Decks by johshisha
See All by johshisha
Cookpad Summer Internship 2022 15-day Tech Course ~サーバーサイド編~
johshisha
0
4k
Rustで作る機械学習を用いた画像クロッピングシステム
johshisha
2
2.6k
レシピの画像検索
johshisha
1
1k
サービスに寄り添った研究開発部にするための取り組み
johshisha
0
530
Featured
See All Featured
Speed Design
sergeychernyshev
25
650
A better future with KSS
kneath
238
17k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
Automating Front-end Workflow
addyosmani
1366
200k
The Pragmatic Product Professional
lauravandoore
32
6.3k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
0
18
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
770
The Power of CSS Pseudo Elements
geoffreycrofte
73
5.4k
Building Your Own Lightsaber
phodgson
103
6.1k
Transcript
機械学習を用いた見栄えのいい料理画像抽出を サービスに活かすための取り組み 2018/11/01 Cookpad Tech Kitchen #19 R&Dにおけるサービス開発者の仕事 三條智史 (
Satoshi Sanjo ) 1
自己紹介 三條智史 @johshisha • 2018年新卒入社 • 研究開発部 機械学習グループ • やっていること
◦ タスク発見 ◦ モデル作成 ◦ サービス導入の準備 • カルピスが好き 2
機械学習をサービスで活用するために どう評価したか 実験時のモデルの評価とサービスのモデルの評価には ギャップがある 3 今日話すこと
• 多数のレシピの中から特に見栄えの いい料理画像を抽出する • サムネイル画像の自動選択 ◦ 「見栄え」とその他要素(トレンド等)を考慮し て自動で選択 • 機械学習を用いて推定
見栄えのいい料理写真抽出 4
5 サービスでやりたいこと 今バナーで表示されている画像を,もっと 見栄えのいい画像にしたい ぼく 他部署の人 ぜひこのモデルを使ってください!
6 既存の画像リスト 機械学習 新しい画像リスト 普通の画像 特に見栄えのいい画像 要望:画像リストを今よりも見栄えのいい画像にしたい ※ 写真はすべて三條が撮影
前より見栄えのいい画像が表示できているか検証 7 作業者 社内の人3名 検証方法:人が見栄えがいいと思う順番に並び替える 見栄え順に 並び替える 高 モデルで選んだ画像 既存のルールで
選んだ画像 が上位にきていれば より見栄えのいい写真を選べて いると言えそう パスタの写真
前より見栄えのいい画像が表示できているか検証 8 作業者 社内の人3名 検証方法:人が見栄えがいいと思う順番に並び替える 見栄え順に 並び替える 高 モデルで選んだ画像 既存のルールで
選んだ画像 が上位にきていれば より見栄えのいい写真を選べて いると言えそう パスタの写真 うまく評価できなかった
評価できなかった原因 9 • 評価の基準がそれぞれで異なってしまった ◦ Aさん:画質重視 ◦ Bさん:構図重視 • 異なる意味を持つ順位付けになってしまっていた
◦ 順位による比較ができなくなった 見栄えの基準は人それぞれ ※ 三條が撮影
• 順位は個々人の基準に依存するのであまり意味がなさそう ◦ 見栄えがいいかどうかはわかるが,どちらがより見栄えがいいかは基準による ◦ 見栄えがいいかどうかの判断はある程度一致していそう • 既存のルールは結構優秀そう ◦ 既存のままのほうがいいこともわりとあった(正しいかわからないが)
とはいえわかったこと 10
「どちらの画像リストのほうが見栄えがいいか」 ⬇ 既存のルールは優秀なので 「既存の画像リストに手を加えてより見栄えのいい画像リストにできるか」 ⬇ 順位に意味がないので 「既存の画像リストに手を加えて見栄えのいい画像の割合を増やせるか」 既存のルールが優秀で,順位に意味がないなら 問題設定を以下のように捉えることができる 11
問題設定の変更
検証方法:各手法で選んだ画像に含まれる 見栄えのいい画像の割合を調査 既存のルールで選んだ画像に対して「この画像は見栄えしますか?」の質問に答 えてもらう 全員が「はい」と答えたものを「見栄えのいい料理写真」とする モデルでどれだけ「見栄えのいい料理写真」だけを抽出できるか 作業者 社内の人3名 既存の画像リストに手を加えて 見栄えのいい画像の割合を増やせるか検証
12
13 検証結果 既存のルールだけ 既存のルール+モデル 89% 97% 既存の画像リストに手を加えて 見栄えのいい画像の割合を増やせるか 既存のルールとモデルを組み合わせることで より見栄えのいい画像を表示することができそう
まとめ • 見栄えのいい料理写真抽出の紹介 • 機械学習の実験としてうまくいったモデルでも,サービスでう まくいくとは限らないので,サービスに合わせた評価をする 必要がある • 機械学習モデルは作れば終わりじゃなくてサービスにどう利 用すれば有効活用できるか考える必要がある
14