Googleがめざす、誰もが使える機械学習

ニューラルネットワークとは何か？　ディープラーニングはなぜ注目を集めているのか？　実開発での利用の課題は？　このセッションでは、これらの疑問について議論し、さらにGoogleフォトやAndroid、Google検索等で利用されているGoogleにおける大規模なニューラルネットワーク導入事例を紹介します。また後半では、Cloud Vision API、Speech API、TensorFlow、CloudMLなど、Googleが提供するスケーラブルでフルマネージドのクラウドサービスについて解説し、Googleの機械学習技術を活用する方法を紹介します。

Transcript

1. Googleがめざす、誰もが使える機械学習
2. +Kazunori Sato @kazunori_279 佐藤　一憲 クラウドプラットフォーム デベロッパーアドボケイト データ＆分析チーム テックリード
3. 今日のトピック ニューラルネットワークとディープラーニング Googleサービスを支える機械学習 誰もが使える機械学習サービス オープンソースの機械学習ライブラリTensorFlow TensorFlowで誰もが使えるディープラーニングへ Googleクラウドによる大規模分散学習
4. ニューラルネットワークと ディープラーニング
5. ニューラルネットワーク＝学習できる関数
6. どう分類する？
7. 認識のかなめとなるデータの特徴を探しだす
8. どう分類する？
9. ディープラーニングによる認識の階層化
10. From: mNeuron: A Matlab Plugin to Visualize Neurons from Deep Models, Donglai Wei et. al.
11. Googleサービスを支える 機械学習
12. 12 過去2年以上の ランク品質改善で 最大の成果 Google検索 machine learning for search engines RankBrain: ディープラーニングによる検索ランキング
14. WaveNet by Google DeepMind
15. 15 [glacier] Googleフォト 15
16. 16 Gmailの スマートリプライ コンテキストから自動生成 モバイルアプリからの返信のうち 10%
17. http://googleresearch.blogspot.com/2016/05/announcing-syntaxnet-worlds-most.html
18. データセンター冷却コストが40%低下 データセンター電力効率（PUE）が15%改善
19. 19 Android Apps Gmail Maps Photos Speech Search Translation YouTube その他多数 利用サービス： 2012 2013 2014 2015 Googleでのディープラーニングの利用増加
20. 誰でも使える 機械学習サービス
21. TensorFlow Cloud Machine Learning 機械学習API 簡単・使いやすい・一般エンジニア向け カスタマイズ可能・機械学習エンジニア向け 機械学習サービスのラインナップ
22. 画像認識の学習済みモデルを提供 画像をAPIに送るだけ、機械学習の知識は不要 $2.50 / 1,000 認識 （無償* で試用可能） 一般公開済み Cloud Vision API * Google Cloud Platform のプロジェクト内で使用したリソースのコストは別途発生します。
24. 24 24 デモ
25. 音声認識の学習済みモデルを提供 音声をAPIに送るだけ、機械学習の知識は不要 80か国語以上に対応 Public Beta版 - cloud.google.com/speech Cloud Speech API
26. 26 26 デモ
27. 自然言語処理の学習済みモデルを提供 テキストをAPIに送るだけ、機械学習の知識は不要 英語、日本語、スペイン語に対応 形態素解析、構文解析、固有表現抽出、感情分析 Public Beta版 - cloud.google.com/nl Cloud Natural Language API
28. 28 28 デモ
29. 特定用途向けの認識を行いたい • 医療のCT・MRI画像からの病変部所の検知 • クルマの画像から車種判定 • 工場の製品画像からの異物・異常検知 画像や音声以外のさまざまなデータ分析 • ゲームログ分析、製造、流通、IoTなど →　専用のニューラルネットワークの設計と学習が必要 機械学習APIが適さない用途
30. オープンソースの機械学習 ライブラリTensorFlow
31. Googleが開発したオープンソースの機 械学習ライブラリ tensorflow.org を2015年11月に公開 Googleの多くのプロジェクトで利用 TensorFlowとは？
32. Googleの機械学習技術を誰でも使いやすく リポジトリ （GitHubの機械学習カ テゴリ） #1
33. # define the network import tensorflow as tf x = tf.placeholder(tf.float32, [None, 784]) W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x, W) + b) # define a training step y_ = tf.placeholder(tf.float32, [None, 10]) xent = -tf.reduce_sum(y_*tf.log(y)) step = tf.train.GradientDescentOptimizer(0.01).minimize(xent) ネットワークを プレハブのように 簡単設計 学習アルゴリズムを 呼び出すだけ
34. ポータブルで、実開発と実運用が容易 学習環境 Mac/Windows GPUマシン クラウドのGPUクラスタ 実行環境 Android、iOS、 RasPi
35. TensorBoard：デバッグを容易にする可視化ツール
36. TensorFlow以前 データサイエンティストを採用 ↓ 教科書の数理モデルを理解 ↓ プログラミング言語で実装 ↓ 単体マシンで学習 ↓ 分散システム開発 ↓ 分散システムで分散学習 ↓ 学習結果の実運用環境を開発 スマホやIoTは別途に開発 TensorFlow以降 TensorFlowで簡単設計 ↓ 単体マシンで学習 ↓ クラウドで分散学習 ↓ 学習結果をクラウドで実運用 スマホ・IoT展開も容易 とても 困難
37. TensorFlowで誰もが使える ディープラーニングへ
38. TensorFlowによる からあげロボット From: http://www.rt-net.jp/karaage1/
39. TensorFlowによるキュウリ仕分け機 From: http://workpiles.com/2016/02/tensorflow-cnn-cucumber/
40. TensorFlowによる RasPiカーの 自動運転 From: https://github.com/zxzhijia/GoPiGo-Driven-by-Te nsorflow
41. アイドル顔認識 （95%の認識精度） From: http://memo.sugyan.com/entry/2016/06/14/220624
42. From: http://otoro.net/ TensorFlowによる自動生成アート
43. TensorFlow＋ RasPiで ゴミの分別 From: https://techcrunch.com/2016/09/13/auto-trash-sorts-gar bage-automatically-at-the-techcrunch-disrupt-hackathon/
44. TensorFlow＋ドローンで 車両台数のカウント From: http://www.brainpad.co.jp/news/2016/09/02/3454
45. Googleクラウドによる 大規模分散学習
46. ディープラーニング普及の課題：計算パワー 数十万枚、数百万枚の 画像による学習 1台のGPUサーバに 収まらない大規模モデル 各種設定・アルゴリズムを 変えての試行錯誤 ↓ 学習に数日間〜数週間が必要
47. ナノ秒で動くGPUの並列化に不可欠なのは マイクロ秒で動くスパコン並のネットワーク
49. Enterprise Googleクラウド　＝ The Datacenter as a Computer
50. Jupiterネットワーク 10 GbE x 100 K = 1 Pbps サーバ間を マイクロ秒で結ぶ
51. Borg Google独自のコンテナ技術 1〜2万台単位で プログラムを分散実行 CPU・メモリ・HDD等の リソース配分を最適化
52. Googleクラウド＋TensorFlowによる分散学習 画像認識モデル：50 GPUで1/40の時間短縮 RankBrainモデル：500 台で1/300の時間短縮
53. フルマネージドの分散学習と分散実行サービス TensorFlowによるニューラルネットワーク設計 Limited Preview版： cloud.google.com/ml Cloud Machine Learning (Cloud ML)
54. 54 54 機械学習API TensorFlowによる カスタムモデル Cloud Vision API Cloud Speech API Cloud Translate API Cloud Machine Learning Google BigQuery Stay Tuned…. Cloud Storage Cloud Datalab NEW Alpha GA Beta GA Alpha GA GA
55. Tensor Processing Unit TensorFlow専用LSI Googleによる設計 10倍の電力性能比 ニューラルネットに 特化した演算処理
56. TPU導入事例 AlphaGo Googleフォト 音声認識 その他
57. Thank you!
58. リンク集 Large Scale Distributed Systems for Training Neural Networks, Jeff Dean and Oriol Vinals Cloud Vision API: cloud.google.com/vision Cloud Speech API: cloud.google.com/speech TensorFlow: tensorflow.org Cloud Machine Learning: cloud.google.com/ml