やってみっか、ディープラーニング / Let's try Deep Learning

2018年5月19日開催のあたつく組合ITセミナー第1回「機械学習について」の資料です.

Transcript

1. やってみっか、 ディープラーニング ２０１８/5/19 Moonlight 明日香
2. 自己紹介 Moonlight 明日香 鶴田 彰 外資系メーカー勤務 昔は, ・パターン認識(音声, 文字, etc) ・ユーザ適応(レコメンド, etc) なども・・・ 最近は, 週末プログラマとして また機械学習に再チャレンジ中! Facebook 鶴田 彰 Twitter @moonlight_aska Blog：みらいテックラボ http://mirai-tec.hatenablog.com Wiki : Androidプログラマへの道 ~Moonlight 明日香～ http://seesaawiki.jp/w/moonlight_aska/
3. 本日はこの2つ １．Deep Learningどう始める ２．事例紹介
4. １．Deep Learningどう始める まずはさわってみる ・チュートリアル ・初学者向け解説本
5. STEP1：ツールは何を選べばいい? 個人的には、Keras + TensorFlowがおススメ!! - 本やWeb記事など、参考になるものが多い - モバイルアプリやWebサービスで利用しやすい
6. STEP1：どんな本がおすすめ
7. STEP1：チュートリアルやってみる 画像認識系なら 1) MNIST --- 手書き数字認識 2) CIFAR-10 --- 一般物体認識 Fashion-MNISTなる データセットもある CIFAR-100
8. STEP1：GPUって必要? 画像やビッグデータ扱うならGPU必要!! 私の開発環境 ・Linuxマシン(Core i7-7700+16GBRAM+GTX-1060 6GB) ・AWS P2インスタンス(スポットで) Google CoLaboratory ・機械学習の環境構築がほぼ不要 (TensorFlow, Keras, PyTorch, Chainer) ・GPUを含めて無料で利用可能（連続12hrまで) ・Google Driveと連携
9. １．Deep Learningどう始める まずはさわってみる ・チュートリアル ・初学者向け解説本 独自タスクに挑戦 ・趣味から ・身近なデータ
10. STEP2：チュートリアルから１歩先へ 紹介１：アイドルまっしぐら＠すぎゃーん TensorFlowによるディープラーニングで、アイドルの顔を識別する（2016.1.12） http://memo.sugyan.com/entry/20160112/1452558576 ・各メンバー約200枚のデータ ・CIFAR-10ベースで
11. STEP2：チュートリアルから１歩先へ 紹介2：農家を営む小池さん 個人農家がディープラーニングを使った「きゅうり仕分け機」を開発！（2016.8.31） https://tabi-labo.com/image/275263/43626
12. STEP2：チュートリアルから１歩先へ 紹介３：私の場合 TensorFlowで文字認識にチャレンジ(1)～(9) (2016.5.29～7.11) 後の事例で少し説明
13. １．Deep Learningどう始める まずはさわってみる ・チュートリアル ・初学者向け解説本 独自タスクに挑戦 ・趣味から ・身近なデータ スキルアップ ・コンテスト ・アプリで利用
14. STEP3：さらにスキルアップ 認識精度を上げるには、常套手段がある ・ ファインチューニング ・ アンサンブル学習 ・ データオーグメンテーション ・ モデル構造 ・ ハイパーパラメータ調整 ： わりと容易にできる!
15. STEP3：さらにスキルアップ ファインチューニング(Fine Tuning) ・ 既存の学習済モデル(VGG16等)の重みデータを再学習する ⇒ 少ないデータから効率よく・高精度な学習をさせることが可能 例) 一般物体データで学習 料理データで 再学習
16. STEP3：さらにスキルアップ アンサンブル学習(Ensemble learning) ・ 個々に学習したモデルを統合して、汎化能力を向上させる ⇒ 複数のモデルの結果から多数決をとる （三人寄れば文殊の知恵） 例） Model 1 Model 2 Model n ・ ・ ・ 統 合 分類結果 入 力
17. STEP3：さらにスキルアップ データオーグメンテーション(Data Augmentation) ・ 画像データに画像処理を施し、疑似データを作成する ⇒ 疑似データを用いることで、過学習を防ぎロバストなモデルに 例) オリジナル 回転(6) 射影(4) ガンマ補正(2) 平滑化(2) ノイズ付加(3) 1枚の画像 ⇒ 88パターンの画像に
18. STEP3：さらにスキルアップ コンテストサイト 1) SIGNATE（旧Deep Analytics) 初心者向け 2) Kaggle 世界中のデータサイエンティストが参加 https://signate.jp/ https://www.kaggle.com/competitions
19. STEP3：さらにスキルアップ アプリやサービスでの活用  TensorFlow Lite (2017.11.15 DP版公開) - モバイル向けのTensorFlowサブセット  TensorFlow.js (2018.3.30発表/公開) - Webブラウザ上で実行可能な機械学習ﾗｲﾌﾞﾗﾘ  ML Kit for Firebase(2018.5.8発表/公開) Feature On-device Cloud テキスト認識 〇 〇 顔検出 〇 バーコードスキャン 〇 画像のラベル付け 〇 〇 ランドマーク認識 〇
20. 事例紹介１：日本語手書き認識 特徴点抽出と表現 1) 変化点の抽出 2) 文字の重心を求め, 重心が文字中央になるように文字データを拡大/縮小変換 3) 所定のピッチで特徴点を抽出. ただし, できるだけ変化点は残すように. 特徴ベクトル
21. 事例紹介１：日本語手書き認識 入力表現 128 d10 d11 d12 d13 d10 ' d11 ' d12 ' d13 ' d20 d21 d22 d23 d20 ' d21 ' d22 ' d23 ' : : : : : : : : dN0 dN1 dN2 dN3 dN0 ' dN1 ' dN2 ' dN3 ' 0 0 0 0 0 0 0 0 : : : : : : : : 0 0 0 0 0 0 0 0 特徴点1 特徴点2 特徴点N Zero Padding ONストローク情報 OFFストローク情報
22. 事例紹介１：日本語手書き認識 モデル構造 評価 方式 対象 1位 累積(5位) 筆点列 方式 ひらがな 97.56% 99.95% 漢字 95.95% 98.93% 画像方式 ひらがな 95.37% 99.80% 漢字 95.71% 99.13%
23. 事例紹介２：洋服の「色」分類 第1回FR FRONTIER: ファッション画像における洋服の「色」分類 内容；24色のどれかに分類 例えば、Green こんなのもGreen White Off White Light Gray Gray Dark Gray ：
24. 事例紹介２：洋服の「色」分類 モデル構造 評価 モデル 入力画像 精度 2入力CNN RGB+hist画像 0.666 VGG19 RGB画像 0.655 Hist画像 0.670
25. 最後に  機械学習でどんなことができるかを知り, 自分は何を やりたいかを見つけることが大事. ここが見つからないとなかなかチュートリアルから先 へ進めない.  Deep Learningを簡単に試してみたいなら, Cloud API(Google Cloud Vision/Speech API等)を利用す るのもあり. Deep Learning始めてみましょう!
26. ご清聴ありがとうございました! 事例についてもう少し詳しく知りたい方は はてなブログ「みらいテックラボ」をご覧ください。 http://mirai-tec.hatenablog.com/