Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TensorFlowとGCPの簡単な紹介
Search
Norihiro Shimoda
April 01, 2017
Technology
3
4.4k
TensorFlowとGCPの簡単な紹介
IoT ALGYANでの発表
https://algyan.connpass.com/event/52494/
Norihiro Shimoda
April 01, 2017
Tweet
Share
More Decks by Norihiro Shimoda
See All by Norihiro Shimoda
ぼくのかんがえたさいきょうの機械学習プロジェクト進行法(PoC/デモ編)
rindai87
10
19k
FindYourCandyでの転移学習の話
rindai87
4
14k
Google I/O 報告会(ML)担当
rindai87
3
9.4k
最近のTensorFlowの話
rindai87
1
1.4k
TensorFlowの基礎
rindai87
2
4.3k
TFv1.0の概要+HighLevelAPI/Keras
rindai87
4
2.1k
How should engineers survive during AI era
rindai87
5
27k
Let's stand up against "Do Artificial Intelligence" with proper knowledge
rindai87
6
1.8k
Talk about ML and DL for happy engineer's life
rindai87
40
15k
Other Decks in Technology
See All in Technology
PREEMPT_RT over the years
ennael
PRO
0
360
LINEヤフー新卒採用 コーディングテスト解説 アルゴリズム問題編
lycorp_recruit_jp
0
13k
Binary Hacks Rebooted 私選ハック集
nullpo_head
1
140
Oracle Database 23ai 新機能#4 Application Continuity
oracle4engineer
PRO
0
120
分析者起点の企画を成功させた連携面の工夫
lycorptech_jp
PRO
1
250
山手線一周のパフォーマンス改善
suzukahr
0
160
KubeVirt Networking ONIC 2024
orimanabu
3
250
【shownet.conf_】クロージングセッション
shownet
PRO
0
300
tenntennはなんでnewmoにnew社したの? - YAPC::Hakodate 2024
tenntenn
PRO
0
220
O'Reilly Superstream: Building a RAG App to Chat with Your Data
pamelafox
0
120
【shownet.conf_】ネットワークテストの最適化と利便性の追求
shownet
PRO
0
330
How CERN serves 1EB of data via FUSE
ennael
PRO
0
16k
Featured
See All Featured
The Brand Is Dead. Long Live the Brand.
mthomps
53
38k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.3k
Being A Developer After 40
akosma
84
590k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
Unsuck your backbone
ammeep
668
57k
Visualization
eitanlees
143
15k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.8k
Designing for humans not robots
tammielis
249
25k
The Invisible Side of Design
smashingmag
297
50k
YesSQL, Process and Tooling at Scale
rocio
167
14k
What's in a price? How to price your products and services
michaelherold
243
11k
Intergalactic Javascript Robots from Outer Space
tanoku
268
27k
Transcript
TensorFlowとGCPの話 By Norihiro Shimoda 1
⾃自⼰己紹介 • 下⽥田倫倫⼤大(@rindai87) • データ分析専業の企業のエンジニアマネージャー • TensorFlow User Group(TFUG)主催者 •
最近GDE(Google Developer Expert)のML Expertになりました
本⽇日のAgenda • TFUG(TensorFlow User Group)のご紹介 • TensorFlowのご紹介 • GCPでのデータ分析/機械学習環境のご紹介 3
TFUGのご紹介 by Norhiro Shimoda 4
What is TFUG ? • 分散機械学習フレームワークであるTensorFlow のコミュニティです。 • 2016年年10⽉月に⽴立立ち上がりました。 公開⽤用では顔写真が⼊入ってるので割愛
Meetup • ⽉月に⼀一度度程度度のペースでミートアップイベント を開催しています。 公開⽤用では顔写真が⼊入ってるの で割愛
# of our members 7
地域TFUGも • TFUG AIZU(2016年年末に始動) • TFUG KANSAI(5⽉月始動) • その他も増えるかも。。。? 8
公開⽤用では顔写真が⼊入ってるので割愛
How to join? グループ名:TensorFlow User Group Tokyo イベント情報を管理理しています。 https://tfug-‐‑‒tokyo.connpass.com/ グループ名:TensorFlow
User Group 各種情報交換の場として利利⽤用されています。 https://www.facebook.com/groups/17855923 5921208/
TensorFlow概要 by Norhiro Shimoda 10
TensorFlowとは? • Googleによって2015年年11⽉月に公開されたオー プンソース – Google内部で多数の使⽤用実績があるらしい Google Photo 画像の⾃自動分類 Google
翻訳 翻訳の⾃自動学習 Gmail スパムフィルタ OK Google ⾳音声認識識 11
TensorFlowの歴史
Googleトレンドで⽐比較 13
TensorFlowのモデル 1. 学習モデルをグラフと して定義する 2. 学習を実際にどう⾏行行う かも定義する – 学習の評価⽅方法 –
最適化の⽅方法 – CPU or GPU – スタンドアロン or 分散 3. 定義に従って計算処理理 をデバイス上で実⾏行行さ せる
いろんなデバイスで動きます 15 CPU GPU Android iOS RasberryPi etc…
⽉月刊Interfaceでも特集されてます 16 https://www.amazon.co.jp/dp/B01MQT4OS8
TensorBoardなどのツール
18 きゅうりの規格の⾃自動仕分け From: http://workpiles.com/2016/02/tensorflow-‐cnn-‐cucumber/
空撮写真からの⾞車車両カウント 19 From: http://www.brainpad.co.jp/news/2016/09/02/3454
技術的な部分も もっと知りたいという⽅方は 20 From: https://goo.gl/7cgzwR
ここまでのまとめ • TensorFlowは全世界的に⼤大⼈人気 – Googleが使ってるものが使える! – AlphaGOのインパクト! • TensorFlowに関わる⼈人もいろいろ –
研究で使ってる学⽣生、先⽣生 – 趣味の延⻑⾧長で触っているWeb系開発者 – ディープラーニングを案件として扱う分析外⾞車車 – Android/iOS等のモバイルアプリの開発者 – 組み込み系のハードウェア寄りの開発者 – etc… 21
GCP上の機械学習環境 22
GCPのコンポーネントのアイコン 23 https://goo.gl/WOR5ej
VisionAPIデモ 24 VisionAPIのお試しができます https://goo.gl/HpyrUH
機械学習いけそう!というイメージ 出典:https://cloud.google.com/products/ 超すごいGoogleの ⼈人⼯工知能の要素技術である 機械学習をクラウドで 簡単に使えそうな雰囲気! 25
結果、こういう流流れが できつつあります 26
クラウドで 機械学習のAPI あるじゃない ↓ APIを使ってみる ↓ ビジネスニーズに 微妙にフィットしない ↓ スクラッチでやるしか
↓ 機械学習むずい \(^o^)/ 27
焦ってもすぐに機械学習⾃自体は 理理解できるようなりませんので、 かわりにデータ分析(機械学習 含む)の環境としてのGCPにつ い⾒見見てみましょう 28
データ分析環境の前提 世の中には⾊色んな考え⽅方がありますが、、、 • 分析者が複数⼈人(それなりの数)いる • 分析するテーマがある程度度多岐に及んでいる – 当然、複数⼈人で1つのテーマの分析作業を⾏行行ったりする • 計算リソースが必要な分析も⾏行行う
– ディープラーニングとか ディープラーニング登場以前/以後でも考え⽅方が少 し変わります 29
30 分析環境第1世代 • 各⼈人が⼿手元にそれぞ れの環境を構築する • データもそれぞれが 勝⼿手にとってきて⼿手 元のマシンに置いて いる状態
31 分析環境第2世代 • データソースは⼀一元 化しましょう、とい う流流れ • データを加⼯工するた めのDWHも導⼊入しま しょう、となりがち
32 分析環境第3世代 • そろそろ開発環境も 揃えたい、となって くる – 皆で作業分担するには 同じ環境じゃないとね 的な
• ⼿手順書⽤用意したり、 VM配ったり、 Dockerを導⼊入したり
ディープラーニング登場以後 ここまではディープラーニング登場以前の話でした。 ディープラーニングにはGPUが⽋欠かせませんので、 1. クラウドのGPU環境を使う – まだ黎黎明期のため、少々お⾼高い印象 – もちろんこっちでも良良い 2.
オンプレでGPU環境を使う – 実験的に導⼊入するのであれば、ビデオカード分への投 資(⾼高々数万〜~⼗十数万円規模)でトライできる サービスに使う前のお試しの場合は2を選んでいる ⼈人(会社)が多い印象 33
34 分析環境第4世代 GPUのリソースは 限られているので 共⽤用の環境となる
問題1:クソクエリ問題 • みんなが同時にDWHを叩くと⼤大抵クソクエリが 発⽣生して、DWH管理理者と、作業しようとしてい た⼈人が影響を受けてしまいます 35 DWH管理理者 作業したかった⼈人 クソクエリに やられたDWH
問題点2:GPU借りまーす問題 • GPUを共⽤用で使うので、「借りまーす」「返し まーす」というやり取りが始まる • ⼀一度度借りるとなかなか返せない • 使いたい時はだいたい重なる 36
つまり分析環境には何が必要か? • 無尽蔵で可⽤用性がある安価なストレージ • 前処理理のための⾼高性能かつ⼿手がかからないDWH • 計算リソース – 特にディープラーニングならGPUインスタンス •
共通の作業環境を提供できる仕組み – AMIとか、コンテナとか、デプロイの⾃自動化とか 37
進⾏行行の都合上 おもむろにコマンドを 叩きます 38 $ jupyter notebook $ datalab create
datalab-‐‑‒test
揃ってますよ、GCPならね 対応するものがちゃんと揃ってます。 • ストレージ:Google Cloud Storage(GCS) • DWH:BigQuery • 計算リソース:Google
Compute Engine(GCE) 39 この中で他のクラウドと⽐比較して特筆すべきは BigQueryですが、本⽇日の本論論ではないので 別の資料料などを参照してください
Cloud Datalab • JupyterをベースとしたGCP特化の分析環境 – Jupyterはデータサイエンティストに⼈人気のある notebookという形態のブラウザで作業できる分析環境 • Dockerイメージと周辺便便利利ツールの集合体 –
Githubで公開されている(https://goo.gl/aEefim) • 発表から⻑⾧長らくBetaだったが、最近GAになった 40 From: https://cloud.google.com/datalab/
Cloud Datalabの仕組み 41 GCE (instance) GCE (disk) ①GCEにインスタンスを⽴立立てる 永続化⽤用にディスクも付ける ネットワーク周りも設定
Cloud Datalabの仕組み 42 GCE (instance) GCE (disk) datalab (docker) ②DatalabのDocker
imageを 起動させる
Cloud Datalabの仕組み 43 GCE (instance) GCE (disk) GCS datalab (docker)
③GCSにバックアップも作られる
Cloud Datalabの仕組み 44 GCE (instance) GCE (disk) GCS datalab (docker)
BigQuery ④datalabからBigQueryが使える
Cloud Datalabの仕組み 45 GCE (instance) GCE (disk) GCS datalab (docker)
BigQuery ⑤GCEのインスタンスのスペックは上げ下げできる
46
47 ???
Cloud Datalabの仕組み 48 GCE (instance) GCE (disk) GCS datalab (docker)
BigQuery CloudML Engine ⑥CloudML Engineも使える
Cloud ML Engineとは? • マネージドでスケーラブルな機械学習サービス – ??? • TensorFlowの動作環境をオンデマンドで提供 –
distributedなTensorFlowも動かせる – GPUでのTensorFlowも動かせる • ⼤大規模にTensorFlowを使いたい時は⾮非常にあり がたいサービス – 逆に⼩小規模に試したいよってレベルだとあまり必要 ないかも。。。 49
Cloud Datalabで全てうまく いきそう!いい感じ! とうまくいかないのが 世の常でして。。。 50
惜しいよDatalab! • DatalabはGPUインスタンスに対応していませ ん。。。 • Pythonは2系のみ。。。 引き続き注⽬目です 51
詳しい話はQiitaにあげてます 52 From: https://goo.gl/VncKTa
とはいえGCPは⾯面⽩白い • 時間の都合で話しきれませんが、Google内部で 使われているテクノロジーがクラウドサービス として使えるようにしたものが多いので、⼤大変 ⾯面⽩白いサービスが多いです。 • データ分析周りで⾔言うと、、、 – Cloud
DataFlow – Cloud BigTable – Cloud Spanner – Cloud Dataprep などが個⼈人的には⾮非常に⾯面⽩白そうです。 53
本⽇日のまとめ • TensorFlowは世界中で注⽬目されています – 気になったらTFUGにジョインしましょう! • GCPもここ最近で⼀一気に⾯面⽩白くなっています – 気になったらGCPUGにジョインしましょう! 54
55 Thank You!