GCPUG-Osaka#8 [Let' also use BQ. Let's BBQ.]

Copyright © 2018 Cavity.LLC All Rights Reserved.
Googleのデータ解析サービス
「BigQuery」の凄さ
2018/09/25(tue) GCPUG Osaka #8

View Slide

Let’s BBQ
2018/09/25(tue) GCPUG Osaka #8

View Slide

すみか：ビッグデータ解析のコンサル会社経営（副業）
　　　　Cavity LLC. Co-Founder (Principal)
GCP歴：２年弱(= BQ暦 )
しゅみ：分析解析での失敗 / アボカド育てて食う
Who am I ?
中田祐樹 / Yuki Nakata
○ 本業はGMOクラウド(株)のプリセールス
○ 組込プログラマからSIerでSEを経て、BigQueryにはまる
○ 計算社会科学が好きだけど、無免許データエンジニア

View Slide

About us
➢ 社名　　　：　Cavity合同会社（英：Cavity.LLC）
➢ 本社　　　：　滋賀県東近江市林町
➢ 代表社員　：　中田　祐樹(youkey:CEO/CTO)・小野　寛徳(nickson:COO)
➢ 設立　　　：　平成30年4月20日
➢ 資本金　　：　10円
➢ 事業内容　：　ビッグデータコンサルティング事業
　　　　　　　　　　・　IaaSを用いたデータ活用コンサルティング
　　　　　　　　　　・　イベント運営、コミュニティ形成支援
　　　　　　　　　　・　その他上記付帯事業、各種営業代行

View Slide

Mission　Statement
企業に眠るデータ資産を
「溜めるだけ」から「価値を生み出すもの」に変換す
る支援を行います。
あらゆる人がデータ活用を「当たり前に」行う社会へ
の発展に貢献します。

View Slide

Event (In Osaka)
9/27(thu) BBQ-WG #0
BBQ活動を促進するため、GCPや
Alibaba CloudにあるBigdata系
サービスを使い倒す会です。
公開イベントはまだだけど、グループ
にJoinするとクローズド会に参加
10/2(tue) 19:00 AI-WG #2
AIの実利用を促進するため、Cloud系
AIをビジネスシーンに広げる活動をし
ている会です。
今はAlibaba Cloud ETbrainメイン
ですが、できればGCP visionなどを
加えていきたい
https://connpass.com/event/102534/

View Slide

AliEaters Osaka #2
2018/10/04(thu) 19:00 GMO yours大阪支社( B23F )
・東京や札幌、福岡始まった
　Alibaba Cloud UGの大阪版
・CavityはDataVで(大人の事情)
・非エンジニアもOK
・中国ＴＣＣツアー報告

View Slide

データ可視化・分析してますか？

View Slide

やりたかった事
非エンジニアが全くといっていいほど、分析をしない環境
ＤＢって見づらいよね？を言い訳に、分析してもらえない環境
サーバのログで業務部隊に資料を作って貰おうとしたら、拒否

View Slide

やりたかった事
非エンジニアが全くといっていいほど、分析をしない環境
ＤＢって見づらいよね？を言い訳に、分析してもらえない環境
サーバのログで業務部隊に資料を作って貰おうとしたら、拒否
これを打破したい
(無理な形であっても)

View Slide

だが、正直難しい
データウェアハウスやBIはプロダクト差がえぐい・・・

View Slide

あげく、
学習コスト
高い

View Slide

せめて、勉強は
統計分析のみで

View Slide

なので
非エンジニアは
使わない

View Slide

仕方なく
E○celで渡すと
壊す

View Slide

そうだ、
Platformに頼ろう

View Slide

そうすれば
データ解析は
標準スキルとなる

View Slide

BBQ : Business Big Query
単一の商材としてではなく、ビジネスパーソンの標準スキルセットとして「ビッグデー
タ解析」がある世の中を創造していきたい。
ビッグデータにまつわるツールがオフィスソフトレベルで浸透し、誰もが簡単に使え
る社会を実現する
※海岸の肉焼きリア充やモンハンの身内こんがり肉作成タイムじゃないっす
この活動に名前をつける

View Slide

Event (In Osaka)
9/27(thu) BBQ-WG #0
BBQ活動を促進するため、GCPや
Alibaba CloudにあるBigdata系
サービスを使い倒す会です。
公開イベントはまだだけど、グループ
にJoinするとクローズド会に参加
10/2(tue) 19:00 AI-WG #2
AIの実利用を促進するため、Cloud系
AIをビジネスシーンに広げる活動をし
ている会です。
今はAlibaba Cloud ETbrainメイン
ですが、できればGCP visionなどを
加えていきたい
https://connpass.com/event/102534/
コレ

View Slide

本日はBigQueryの話です

View Slide

GCP ？
Googleが提供するプラットフォーム上にあるサービス群。
何がすごいって・・・
Read document !
僕は関係あるとこだけ

View Slide

GCP de データ解析
Produce
Move
Store
Preprocess
Analyze
Watch over
next

View Slide

GCP de データ解析
Produce
Move
Store
Preprocess
Analyze
Watch over
next
パイプライン

View Slide

パイプライン？
複数のサービスをつなぎ、目的のビジネスロジックを完成させる
ex.) GCE + Pub/Sub + Cloud storage
ex.) Bigtable + Dataproc + Bigquery + 3rd-party BI product
手段は選びません

View Slide

便利なものは何でも使う

View Slide

Dataflowもpipeline serviceだけど
ここでは便宜上、
パイプライン = データパイプライン

View Slide

BigQuery　？
高速かつ高スケーラビリティでコスト効率に優れた
エンタープライズ向け、フルマネージドデータウェアハウス
#最近UIが急に統合され、戸惑う人多数でしたが...
何も考えなくていい、
　　　　データウェアハウス

View Slide

BigQuery　？
分析基盤を準備する必要が無いので、早く始められます
毎月、1TBの分析が無料枠があるけど、中々減りません
毎月、10GBのデータ保存が無料枠があり、練習用には楽々
あとは、Not Bigでも自分のデータがあればＯＫ
まずはBQでデータ解析が学べます

View Slide

BigQuery　？
ドキュメントは公式（特に【概念】がおすすめ）
クラウド屋さんのドキュメントも読んでいいかも
ただQiita含めた軽めの記事は、古いと使えないものが多い
Qwiklabsですら、画面仕様とか古いままだったりする
読むより、使え

View Slide

データウェアハウス？
● ＤＢとの決定的な違いは
○ トランザクションレベルでの性能は期待しない
○ 更新しない（する場合は追加、もしくはコピーで再度マート化
○ 削除なし（する場合はデータセットもろとも削除
マート化
Earnings
データマートＤＷＨ
ＢＩ
加工・集約
Products
Stock

View Slide

データ解析系のGCPサービス
● Cloud Storage
● Bigtable
● Spanner
● Cloud Pub/Sub
● Cloud ML Engine
● Google Drive
● Google Marketing Platform
● Google Ads
● Youtube
● BigQuery
● Dataflow
● Dataproc
● Dataprep
● Datastudio
● Google Spread sheet

View Slide

Simple try&error.
Cannot break.
This is Happy.

View Slide

パイプライン例 1
複数の仮想マシンログの集約

View Slide

サーバからコマンドログを収集
Architecture: Script log > BigQuery : Direct stored into BigQuery
Preprocessing
Cloud Dataprep
Query
BiqQuery
Analyze
Datastudio
Data producer
Compute Engine
Others source
Virtual Machine
Others source
Virtual Machine
Others source
Virtual Machine
Survey logger
Python script
Unstructured
Spreadsheet

View Slide

パイプライン例 2
データパイプラインのミニマム構成

View Slide

Data source
Cloud Storage
Webサイトの表をBBQしてみる
Architecture: Unstructured Data > Dataprep and BiqQuery with Datastudio - BBQ
Preprocessing
Cloud Dataprep
Query
BiqQuery
Analyze
Datastudio
csv / tsv
Google Sheets
Unstructured
Spreadsheet

View Slide

データリフト
おまけの話

View Slide

データリフト
社内や倉庫眠る紙媒体の業務データを全てクラウドへリフト
→ダークデータのクラウドリフト
売上伝票
日報
クレーム
対応結果
仕入伝票
Cavity

View Slide

Scan
Scanner
Payment log
Dark Data
Data source
Cloud Storage
ダークデータのリフト
Architecture: Unstructured Data > Cloud Storage and BiqQuery - DataLift
Query
BiqQuery
Analyze
Datastudio
csv / tsv
Google Sheets
Excel/csv/tsv
Excel
Receipt
Dark Data
behavior
Dark Data
human log
Dark Data

View Slide

Let’s BBQ with us !

View Slide

GCPUG-Osaka#8 [Let' also use BQ. Let's BBQ.]

GCPUG-Osaka#8 [Let' also use BQ. Let's BBQ.]

Youkey

More Decks by Youkey

Other Decks in Technology

Featured

Transcript