Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20171115_Cookpad_TechKitchen_#13

yoppe
November 15, 2017

 20171115_Cookpad_TechKitchen_#13

yoppe

November 15, 2017
Tweet

More Decks by yoppe

Other Decks in Technology

Transcript

  1. 発表者紹介 • 名前 菊田 遥平(きくた ようへい) • 所属 研究開発部 •

    肩書 リサーチサイエンティスト 博士(理学) • 専門 画像分析、推薦アルゴリズム • 好きな食べ物 焼き餃子、寿司、Dr Pepper @yohei_kikuta 2 / 16
  2. 実現への一つの方向性 6 / 16 ユーザの持つ豊富な画像データ 携帯端末には料理に関係する大量の画像データが存在 料理の写真のみを抽出(料理きろく) 自動で食事の記録が出来て、振り返りやつくれぽが容易 プレスリリース https://info.cookpad.com/pr/news/press_2017_0928

    料理きろくの詳細 - モデル http://techlife.cookpad.com/entry/2017/09/14/161756 - バックエンド http://techlife.cookpad.com/entry/2017/11/08/132538 2017年11月12日現在 ・利用ユーザ数:14.6万人以上 ・料理写真枚数:1,310万枚以上
  3. アプローチ 10 / 16 • 我々は Convolutional Neural Network (CNN)

    を知っている • 適当なモデルを選んで画像を集めれば余裕なのでは? 巷では画像分類の問題は解けたと言われてるし... Ref: http://image-net.org/challenges/LSVRC/
  4. 困難な点 11 / 16 • Open set problem 学習時には現れないカテゴリのデータがテスト時に与えられる •

    困るところ 単純な多値分類では precision が非常に低くなってしまう 「その他」を作って寄せることも難しい(多様過ぎる) softmax の値で閾値を調整するのも難しい(自信満々に間違える) 学習データのカテゴリは必ずしも画像分類に適したものではない すごい モデル サラダ? パスタ? 肉野菜炒め? アルゴビというカテゴリを知らない... → 普通の分類器は既知のカテゴリで予測  (しかも多くの場合高い confidence で) → 例えば肉野菜炒めと予測 → ぜんぜん違うものなのに!
  5. アプローチ 12 / 16 • モデルとしては多段 binary classification を構築 precision

    を高くするようにモデルを作りたい意図 特徴量を抽出した後に cascading で適用していく 良い点:個々のカテゴリの判別性能に合わせて柔軟に設計可能 悪い点:順番や閾値など hand crafted な部分も少なくない feature extractor 料理画像で事前学習した InceptionV3 など サラダ or NOT パスタ or NOT 肉料理 or NOT 除外 サラダ パスタ 肉料理 1 0 0 0 1 1
  6. アプローチ 13 / 16 • 対象とするカテゴリを分類器による類似度ベースで統廃合 サービスが有するデータは必ずしも画像分類には適していない ◦ 視覚情報と必ずしも結びついていない ◦

    粒度が揃っていない ◦ MECEでない 以下の手順で対象カテゴリを構築 1. メタデータとして使えるカテゴリを取得 → クックパッドのレシピなら1,000くらいのカテゴリ数 2. 視覚的でないものや数が少なすぎるものを除外 → 「大皿・メイン料理」や数十しか画像がないもの 3. サービスにおいて有用そうなものを人力で抽出 4. 分類器での予測精度に基いた類似度でカテゴリを統合 → モデルにとって似ているものはまとめて取り扱いたい → 特徴量平均の距離などに基づくカテゴリ類似度はイマイチ → モデルの誤認識数をベースに類似度を定めたものが有用
  7. どうやって評価するか? 14 / 16 • open set problem はそもそも汎化性能の評価が困難 学習時とテスト時でデータの分布が大きく異なる

    学習時の valid error などは参考に過ぎないので本番で確認したい • しかし我々は本番運用してもユーザの画像にはアクセスできない プライバシー保護の観点 • 採用しているアプローチ ◦ ユーザからのフィードバックを得られるようにした 誤認識しやすいカテゴリなどが明らかになってきている ◦ オフラインである程度信頼できる評価可能なデータを準備 研究開発部で annotator の人材を雇って鋭意作成中
  8. • 我々のやりたいこと 機械学習を活用してユーザにとってより良いサービスを創る • 実サービスにおける画像分析の難しさ Open set の問題などの困難により解けてない問題は多い • レシピのカテゴリ分類で取り組んでいること

    問題設計 binary classification の組み合わせ パラメタ調整やユーザからのフィードバックの仕組み • その他取り組んでいること 料理/非料理分類、物体検出、料理写真の魅力度推定、... 16 / 16 まとめ