20170216_TechKitchen_FoodImage_Classification

by yoppe

Slide 1

Slide 1 text

Food Image Object Detection and Classification Challenges and Solutions

Slide 2

Slide 2 text

Part 2: classification

Slide 3

Slide 3 text

自己紹介研究開発部　菊田遥平好きな食べ物・焼き餃子・寿司・ハンバーグ好きな確率分布・ポアソン分布

Slide 4

Slide 4 text

サービス紹介：料理きろく 41,000人以上のユーザー 850,000枚以上の料理写真 (20170207現在) ・Deep Learningを使った初プロダクト・端末中の画像から料理画像を自動抽出・自分の料理の記録を一望できる・201612に全体公開

Slide 5

Slide 5 text

アーキテクチャ（概略） Client API server DB 料理/非料理判別非同期な画像処理 Android, iOS EC2 SQS S3 enqueue dequeue images results

Slide 6

Slide 6 text

料理/非料理判別問題赤ちゃんの画像はパブリックドメインの画像から取得 http://www.publicdomainpictures.net/

Slide 7

Slide 7 text

簡単な問題？

Slide 8

Slide 8 text

簡単な問題？否！ ● 誤判別を引き起こしやすい画像の存在 → 画像は多様性が大きく判別が難しいものも多い ● 適合率と再現率のバランス → サービス上の有用性と危険性を考慮する必要性がある ● 真のデータ分布にアクセス不可 → 規約上ユーザがアップした画像をチェックすることができない ● 対象は動的に変化し続けるもの → ユーザが増えれば画像も増え、その傾向も変わっていくもの

Slide 9

Slide 9 text

最初のモデル AlexNet-like model ● 迅速なサービスデプロイのために選択 → 研究開発部ができて間もない頃にプロジェクトがスタート ● シンプルな料理/非料理判定モデル → 料理と非料理の2クラス分類として問題を定式化 ● 適合率は悪くないが、再現率は良くない → 非料理を料理と判断される方が問題が多いためにこのように調整

Slide 10

Slide 10 text

間違えやすい画像の存在非料理 ☓ 料理 ☓ AlexNet-like model

Slide 11

Slide 11 text

モデル改善のアプローチ ● より高度なモデルを検証 → CNNの発展をキャッチアップして、その性能を検証 ● 多クラス問題への拡張 → 間違えやすいクラスに対する明示的な対処として、クラスを追加 ● テストデータセットの拡充 → ローカル環境での性能判断を正確にするために、データを拡充 ● 他のアプローチの併用 → 性能向上の可能性を追求するために、物体検出などの併用も模索 ● ...

Slide 12

Slide 12 text

より高度なモデルを検証様々なモデルを比較 ● Network In Network ● VGG19 ● ResNet ● Inception v3 ● ...

Slide 13

Slide 13 text

より高度なモデルを検証 ● Network In Network : https://arxiv.org/abs/1312.4400 ・畳み込み層として多層パーセプトロンを採用・全結合層でなくglobal poolingを用いることで、少ないパラメタでロバストなモデルを実現・精度は他のstate-of-the-artには劣るが、サイズが小さく優秀なモデルが作れる

Slide 14

Slide 14 text

より高度なモデルを検証 ● VGG19 : https://arxiv.org/abs/1409.1556 ・基本的な要素で構成されたモデル・単純ではあるが高い性能を発揮・モデルサイズは比較的大きい

Slide 15

Slide 15 text

より高度なモデルを検証 ● ResNet : https://arxiv.org/abs/1512.03385 ・ネットワークのパスを分岐して、残差を学習するResidual unitを導入・誤差信号が2つのパスの組み合わせとなるため消失しづらく、深い構造を効率的に学習・高い精度を発揮（2015年のILSVRCで優勝）

Slide 16

Slide 16 text

より高度なモデルを検証 ● Inception v3 : https://arxiv.org/abs/1512.00567 ・複数フィルタを並列に適用　異なるサイズとパターンを検出・高い精度を発揮　前身は2014年のILSVRCで優勝・様々な亜種が提案　Inception-ResNet など

Slide 17

Slide 17 text

多クラス問題への拡張 food ≠ non-food ● どちらも限られたデータから学習したもの → 全集合は扱えないため、非料理は非料理らしさをデータから学習 → 学習した非料理らしさに当てはまらないデータは予測が難しい ● 判定が微妙なもの適切なクラスに導きたい → 2値判別ではうまくいかなかったものを新しいクラスとして扱う ● 間違えやすい赤ちゃんクラスなどを追加 → 試行錯誤の結果として発見した間違えやすいクラスを追加

Slide 18

Slide 18 text

多クラス問題への拡張 food ≠ non-food 確率密度画像の種類料理非料理非料理1 非料理2 料理 2クラスでは判定が難しい非料理画像を追加クラスでカバー

Slide 19

Slide 19 text

モデルの改善料理 ◯ 非料理 ◯ Inception v3-like model + 多クラス学習

Slide 20

Slide 20 text

一番大事なことは継続 ● トライ＆エラーを繰り返し続ける ● 発信し続ける ● 状況の変化に適応し続ける柔軟性を持つ様々なチャレンジを継続しています！

Slide 21

Slide 21 text

告知

Slide 22

Slide 22 text

AIチャレンジコンテスト ● https://deepanalytics.jp/compe/31 ● 先端的な人工知能技術開発を競う場 ● 料理画像の画像認識アルゴリズムの作成 ILSVRCにもある物体検出と分類の2タスククックパッドは料理画像データを提供 ● 主催人工知能技術戦略会議、内閣府、文科省

Slide 23

Slide 23 text

AIチャレンジコンテスト締切 : 20170309 物体検出タスク - 20170208時点

Slide 24

Slide 24 text

AIチャレンジコンテスト締切 : 20170309 分類タスク - 20170208時点

Slide 25

Slide 25 text

質問等ありましたら下記までお問い合わせ下さい [email protected]