20170216_TechKitchen_FoodImage_Classification

Transcript

1. Food Image Object Detection and Classification Challenges and Solutions

2. Part 2: classification

3. 自己紹介 研究開発部　菊田遥平 好きな食べ物 ・焼き餃子 ・寿司 ・ハンバーグ 好きな確率分布 ・ポアソン分布

4. サービス紹介：料理きろく 41,000人以上のユーザー 850,000枚以上の料理写真 (20170207現在) ・Deep Learningを使った初プロダクト ・端末中の画像から料理画像を自動抽出 ・自分の料理の記録を一望できる ・201612に全体公開

5. アーキテクチャ（概略） Client API server DB 料理/非料理 判別 非同期な画像処理 Android, iOS

   EC2 SQS S3 enqueue dequeue images results

6. 料理/非料理 判別問題 赤ちゃんの画像はパブリックドメインの画像から取得 http://www.publicdomainpictures.net/

7. 簡単な問題？

8. 簡単な問題？ 否！ • 誤判別を引き起こしやすい画像の存在 → 画像は多様性が大きく判別が難しいものも多い • 適合率と再現率のバランス → サービス上の有用性と危険性を考慮する必要性がある

   • 真のデータ分布にアクセス不可 → 規約上ユーザがアップした画像をチェックすることができない • 対象は動的に変化し続けるもの → ユーザが増えれば画像も増え、その傾向も変わっていくもの

9. 最初のモデル AlexNet-like model • 迅速なサービスデプロイのために選択 → 研究開発部ができて間もない頃にプロジェクトがスタート • シンプルな料理/非料理判定モデル →

   料理と非料理の2クラス分類として問題を定式化 • 適合率は悪くないが、再現率は良くない → 非料理を料理と判断される方が問題が多いためにこのように調整

10. 間違えやすい画像の存在 非料理 ☓ 料理 ☓ AlexNet-like model

11. モデル改善のアプローチ • より高度なモデルを検証 → CNNの発展をキャッチアップして、その性能を検証 • 多クラス問題への拡張 → 間違えやすいクラスに対する明示的な対処として、クラスを追加 •

    テストデータセットの拡充 → ローカル環境での性能判断を正確にするために、データを拡充 • 他のアプローチの併用 → 性能向上の可能性を追求するために、物体検出などの併用も模索 • ...

12. より高度なモデルを検証 様々なモデルを比較 • Network In Network • VGG19 • ResNet

    • Inception v3 • ...

13. より高度なモデルを検証 • Network In Network : https://arxiv.org/abs/1312.4400 ・畳み込み層として多層パーセプトロンを採用 ・全結合層でなくglobal poolingを用いることで、少ないパラメタでロバストなモデルを実現

    ・精度は他のstate-of-the-artには劣るが、サイズが小さく優秀なモデルが作れる

14. より高度なモデルを検証 • VGG19 : https://arxiv.org/abs/1409.1556 ・基本的な要素で構成されたモデル ・単純ではあるが高い性能を発揮 ・モデルサイズは比較的大きい

15. より高度なモデルを検証 • ResNet : https://arxiv.org/abs/1512.03385 ・ネットワークのパスを分岐して、残差を学習するResidual unitを導入 ・誤差信号が2つのパスの組み合わせとなるため消失しづらく、深い構造を効率的に学習 ・高い精度を発揮（2015年のILSVRCで優勝）

16. より高度なモデルを検証 • Inception v3 : https://arxiv.org/abs/1512.00567 ・複数フィルタを並列に適用 　異なるサイズとパターンを検出 ・高い精度を発揮 　前身は2014年のILSVRCで優勝

    ・様々な亜種が提案 　Inception-ResNet など

17. 多クラス問題への拡張 food ≠ non-food • どちらも限られたデータから学習したもの → 全集合は扱えないため、非料理は非料理らしさをデータから学習 → 学習した非料理らしさに当てはまらないデータは予測が難しい

    • 判定が微妙なもの適切なクラスに導きたい → 2値判別ではうまくいかなかったものを新しいクラスとして扱う • 間違えやすい赤ちゃんクラスなどを追加 → 試行錯誤の結果として発見した間違えやすいクラスを追加

18. 多クラス問題への拡張 food ≠ non-food 確率密度 画像の種類 料理 非料理 非料理1 非料理2

    料理 2クラスでは判定が難しい非料理画像を追加クラスでカバー

19. モデルの改善 料理 ◯ 非料理 ◯ Inception v3-like model + 多クラス学習

20. 一番大事なことは継続 • トライ＆エラーを繰り返し続ける • 発信し続ける • 状況の変化に適応し続ける柔軟性を持つ 様々なチャレンジを継続しています！

21. 告知

22. AIチャレンジコンテスト • https://deepanalytics.jp/compe/31 • 先端的な人工知能技術開発を競う場 • 料理画像の画像認識アルゴリズムの作成 ILSVRCにもある物体検出と分類の2タスク クックパッドは料理画像データを提供 •

    主催 人工知能技術戦略会議、内閣府、文科省

23. AIチャレンジコンテスト 締切 : 20170309 物体検出タスク - 20170208時点

24. AIチャレンジコンテスト 締切 : 20170309 分類タスク - 20170208時点

25. 質問等ありましたら 下記までお問い合わせ下さい yohei-kikuta@cookpad.com