機械学習を用いた見栄えのいい料理画像抽出を サービスに活かすための取り組み 2018/11/01 Cookpad Tech Kitchen #19 R&Dにおけるサービス開発者の仕事 三條智史 ( Satoshi Sanjo ) 1

自己紹介 三條智史 @johshisha ● 2018年新卒入社 ● 研究開発部 機械学習グループ ● やっていること ○ タスク発見 ○ モデル作成 ○ サービス導入の準備 ● カルピスが好き 2

機械学習をサービスで活用するために どう評価したか 実験時のモデルの評価とサービスのモデルの評価には ギャップがある 3 今日話すこと

● 多数のレシピの中から特に見栄えの いい料理画像を抽出する ● サムネイル画像の自動選択 ○ 「見栄え」とその他要素（トレンド等）を考慮し て自動で選択 ● 機械学習を用いて推定 見栄えのいい料理写真抽出 4

5 サービスでやりたいこと 今バナーで表示されている画像を，もっと 見栄えのいい画像にしたい ぼく 他部署の人 ぜひこのモデルを使ってください！

6 既存の画像リスト 機械学習 新しい画像リスト 普通の画像 特に見栄えのいい画像 要望：画像リストを今よりも見栄えのいい画像にしたい ※ 写真はすべて三條が撮影

前より見栄えのいい画像が表示できているか検証 7 作業者 社内の人3名 検証方法：人が見栄えがいいと思う順番に並び替える 見栄え順に 並び替える 高 モデルで選んだ画像 既存のルールで 選んだ画像 が上位にきていれば より見栄えのいい写真を選べて いると言えそう パスタの写真

前より見栄えのいい画像が表示できているか検証 8 作業者 社内の人3名 検証方法：人が見栄えがいいと思う順番に並び替える 見栄え順に 並び替える 高 モデルで選んだ画像 既存のルールで 選んだ画像 が上位にきていれば より見栄えのいい写真を選べて いると言えそう パスタの写真 うまく評価できなかった

評価できなかった原因 9 ● 評価の基準がそれぞれで異なってしまった ○ Aさん：画質重視 ○ Bさん：構図重視 ● 異なる意味を持つ順位付けになってしまっていた ○ 順位による比較ができなくなった 見栄えの基準は人それぞれ ※ 三條が撮影

● 順位は個々人の基準に依存するのであまり意味がなさそう ○ 見栄えがいいかどうかはわかるが，どちらがより見栄えがいいかは基準による ○ 見栄えがいいかどうかの判断はある程度一致していそう ● 既存のルールは結構優秀そう ○ 既存のままのほうがいいこともわりとあった（正しいかわからないが） とはいえわかったこと 10

「どちらの画像リストのほうが見栄えがいいか」 ⬇ 既存のルールは優秀なので 「既存の画像リストに手を加えてより見栄えのいい画像リストにできるか」 ⬇ 順位に意味がないので 「既存の画像リストに手を加えて見栄えのいい画像の割合を増やせるか」 既存のルールが優秀で，順位に意味がないなら 問題設定を以下のように捉えることができる 11 問題設定の変更

検証方法：各手法で選んだ画像に含まれる 見栄えのいい画像の割合を調査 既存のルールで選んだ画像に対して「この画像は見栄えしますか？」の質問に答 えてもらう 全員が「はい」と答えたものを「見栄えのいい料理写真」とする モデルでどれだけ「見栄えのいい料理写真」だけを抽出できるか 作業者 社内の人3名 既存の画像リストに手を加えて 見栄えのいい画像の割合を増やせるか検証 12

13 検証結果 既存のルールだけ 既存のルール＋モデル 89% 97% 既存の画像リストに手を加えて 見栄えのいい画像の割合を増やせるか 既存のルールとモデルを組み合わせることで より見栄えのいい画像を表示することができそう

まとめ ● 見栄えのいい料理写真抽出の紹介 ● 機械学習の実験としてうまくいったモデルでも，サービスでう まくいくとは限らないので，サービスに合わせた評価をする 必要がある ● 機械学習モデルは作れば終わりじゃなくてサービスにどう利 用すれば有効活用できるか考える必要がある 14