Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20171115_Cookpad_TechKitchen_#13

yoppe
November 15, 2017

 20171115_Cookpad_TechKitchen_#13

yoppe

November 15, 2017
Tweet

More Decks by yoppe

Other Decks in Technology

Transcript

  1. 画像分析による
    レシピのカテゴリ分類
    クックパッド株式会社
    研究開発部
    菊田 遥平
    Cookpad Tech Kitchen #13
    2017/11/15

    View Slide

  2. 発表者紹介
    ● 名前
    菊田 遥平(きくた ようへい)
    ● 所属
    研究開発部
    ● 肩書
    リサーチサイエンティスト
    博士(理学)
    ● 専門
    画像分析、推薦アルゴリズム
    ● 好きな食べ物
    焼き餃子、寿司、Dr Pepper
    @yohei_kikuta
    2 / 16

    View Slide

  3. やりたいこと
    3 / 16
    機械学習を活用して
    より良いサービスを創る

    View Slide

  4. やりたいこと
    4 / 16
    機械学習を活用して
    より良いサービスを創る
    ※本発表では画像分析のみに注目
    ユーザの毎日の料理が楽しみになる

    View Slide

  5. 実現への一つの方向性
    5 / 16
    ユーザの持つ豊富な画像データ
    携帯端末には料理に関係する大量の画像データが存在
    料理の写真のみを抽出(料理きろく)
    自動で食事の記録が出来て、振り返りやつくれぽが容易
    各料理写真にレシピカテゴリの情報を付与(料理カテゴリ)
    食事の傾向などより細かい粒度で食事の振り返りが可能
    付与された情報に基づき更にサービスを発展
    パーソナライズされたレコメンド、食事の偏りの推定、...
    ...

    View Slide

  6. 実現への一つの方向性
    6 / 16
    ユーザの持つ豊富な画像データ
    携帯端末には料理に関係する大量の画像データが存在
    料理の写真のみを抽出(料理きろく)
    自動で食事の記録が出来て、振り返りやつくれぽが容易
    プレスリリース
    https://info.cookpad.com/pr/news/press_2017_0928
    料理きろくの詳細
    - モデル
    http://techlife.cookpad.com/entry/2017/09/14/161756
    - バックエンド
    http://techlife.cookpad.com/entry/2017/11/08/132538
    2017年11月12日現在
    ・利用ユーザ数:14.6万人以上
    ・料理写真枚数:1,310万枚以上

    View Slide

  7. 実現への一つの方向性
    7 / 16
    ユーザの持つ豊富な画像データ
    携帯端末には料理に関係する大量の画像データが存在
    料理の写真のみを抽出(料理きろく)
    自動で食事の記録が出来て、振り返りやつくれぽが容易
    各料理写真にレシピカテゴリの情報を付与(料理カテゴリ)
    食事の傾向などより細かい粒度で食事の振り返りが可能
    付与された情報に基づき更にサービスを発展
    パーソナライズされたレコメンド、食事の偏りの推定、...
    ...
    今日の話

    View Slide

  8. 今回リリースしたもの
    8 / 16
    本発表ではこれを実現する機械学習モデルの部分のみに着目

    View Slide

  9. 問題設計
    9 / 16
    ● 解くべき問題はオーソドックスな分類問題
    ● 料理きろくにより入力画像は(ほぼ)全て料理画像
    料理と判定されて記録された画像のみを対象にしている
    モデルの役割は料理画像に対して適切なタグをつけるというもの
    すごい
    モデル
    サラダ
    パスタ
    肉野菜炒め
    ...

    View Slide

  10. アプローチ
    10 / 16
    ● 我々は Convolutional Neural Network (CNN) を知っている
    ● 適当なモデルを選んで画像を集めれば余裕なのでは?
    巷では画像分類の問題は解けたと言われてるし...
    Ref: http://image-net.org/challenges/LSVRC/

    View Slide

  11. 困難な点
    11 / 16
    ● Open set problem
    学習時には現れないカテゴリのデータがテスト時に与えられる
    ● 困るところ
    単純な多値分類では precision が非常に低くなってしまう
    「その他」を作って寄せることも難しい(多様過ぎる)
    softmax の値で閾値を調整するのも難しい(自信満々に間違える)
    学習データのカテゴリは必ずしも画像分類に適したものではない
    すごい
    モデル
    サラダ?
    パスタ?
    肉野菜炒め?
    アルゴビというカテゴリを知らない...
    → 普通の分類器は既知のカテゴリで予測
     (しかも多くの場合高い confidence で)
    → 例えば肉野菜炒めと予測
    → ぜんぜん違うものなのに!

    View Slide

  12. アプローチ
    12 / 16
    ● モデルとしては多段 binary classification を構築
    precision を高くするようにモデルを作りたい意図
    特徴量を抽出した後に cascading で適用していく
    良い点:個々のカテゴリの判別性能に合わせて柔軟に設計可能
    悪い点:順番や閾値など hand crafted な部分も少なくない
    feature
    extractor
    料理画像で事前学習した
    InceptionV3 など
    サラダ or NOT
    パスタ or NOT
    肉料理 or NOT
    除外
    サラダ
    パスタ
    肉料理
    1
    0
    0
    0
    1
    1

    View Slide

  13. アプローチ
    13 / 16
    ● 対象とするカテゴリを分類器による類似度ベースで統廃合
    サービスが有するデータは必ずしも画像分類には適していない
    ○ 視覚情報と必ずしも結びついていない
    ○ 粒度が揃っていない
    ○ MECEでない
    以下の手順で対象カテゴリを構築
    1. メタデータとして使えるカテゴリを取得
    → クックパッドのレシピなら1,000くらいのカテゴリ数
    2. 視覚的でないものや数が少なすぎるものを除外
    → 「大皿・メイン料理」や数十しか画像がないもの
    3. サービスにおいて有用そうなものを人力で抽出
    4. 分類器での予測精度に基いた類似度でカテゴリを統合
    → モデルにとって似ているものはまとめて取り扱いたい
    → 特徴量平均の距離などに基づくカテゴリ類似度はイマイチ
    → モデルの誤認識数をベースに類似度を定めたものが有用

    View Slide

  14. どうやって評価するか?
    14 / 16
    ● open set problem はそもそも汎化性能の評価が困難
    学習時とテスト時でデータの分布が大きく異なる
    学習時の valid error などは参考に過ぎないので本番で確認したい
    ● しかし我々は本番運用してもユーザの画像にはアクセスできない
    プライバシー保護の観点
    ● 採用しているアプローチ
    ○ ユーザからのフィードバックを得られるようにした
    誤認識しやすいカテゴリなどが明らかになってきている
    ○ オフラインである程度信頼できる評価可能なデータを準備
    研究開発部で annotator の人材を雇って鋭意作成中

    View Slide

  15. 今後
    15 / 16
    ユーザの持つ豊富な画像データ
    携帯端末には料理に関係する大量の画像データが存在
    料理の写真のみを抽出(料理きろく)
    自動で食事の記録が出来て、振り返りやつくれぽが容易
    各料理写真にレシピカテゴリの情報を付与(料理カテゴリ)
    食事の傾向などより細かい粒度で食事の振り返りが可能
    付与された情報に基づき更にサービスを発展
    パーソナライズされたレコメンド、食事の偏りの推定、...
    ...
    今日の話
    付与する情報をより rich にして有効活用していきたい!

    View Slide

  16. ● 我々のやりたいこと
    機械学習を活用してユーザにとってより良いサービスを創る
    ● 実サービスにおける画像分析の難しさ
    Open set の問題などの困難により解けてない問題は多い
    ● レシピのカテゴリ分類で取り組んでいること
    問題設計
    binary classification の組み合わせ
    パラメタ調整やユーザからのフィードバックの仕組み
    ● その他取り組んでいること
    料理/非料理分類、物体検出、料理写真の魅力度推定、...
    16 / 16
    まとめ

    View Slide