Googleのデータ解析サービス「BigQuery」の凄さ

Let`s BBQ

Transcript

1. Copyright © 2018 Cavity.LLC All Rights Reserved. Googleのデータ解析サービス 「BigQuery」の凄さ 2018/08/25(sat) GCPUG Wakayama x Osaka #1
2. Copyright © 2018 Cavity.LLC All Rights Reserved. Let’s BBQ 2018/08/25(sat) GCPUG Wakayama x Osaka #1
3. すみか：ビッグデータ解析のコンサル会社経営（副業） 　　　　Cavity LLC. Co-Founder (Principal) GCP歴： １年半(= BQ暦 ) しゅみ：分析解析での失敗 / アボカド育てて食う Who am I ? 中田 祐樹 / Yuki Nakata ◦ 本業はGMOクラウド(株)のプリセールス ◦ 組込プログラマからSIerでSEを経て、BigQueryにはまる ◦ 計算社会科学が好きだけど、無免許データエンジニア
4. Copyright © 2018 Cavity.LLC All Rights Reserved. About us ➢ 社名　　　：　Cavity合同会社（英：Cavity.LLC） ➢ 本社　　　：　滋賀県東近江市林町 ➢ 代表社員　：　中田　祐樹(youkey:CEO/CTO)・小野　寛徳(nickson:COO) ➢ 設立　　　：　平成30年4月20日 ➢ 資本金　　：　10円 ➢ 事業内容　：　ビッグデータコンサルティング事業 　　　　　　　　　　・　IaaSを用いたデータ活用コンサルティング 　　　　　　　　　　・　イベント運営、コミュニティ形成支援 　　　　　　　　　　・　その他上記付帯事業、各種営業代行
5. Copyright © 2018 Cavity.LLC All Rights Reserved. Mission　Statement 企業に眠るデータ資産を 「溜めるだけ」から「価値を生み出すもの」に変換す る支援を行います。 あらゆる人がデータ活用を「当たり前に」行う社会へ の発展に貢献します。
6. Copyright © 2018 Cavity.LLC All Rights Reserved. AliEaters Osaka #2 2018/10/04(thu) 19:00 GMO yours大阪支社( B23F ) ・東京や札幌、福岡始まった 　Alibaba Cloud UGの大阪版 ・CavityはDataVで(大人の事情) ・非エンジニアもOK ・中国市場の話とか満載
7. Copyright © 2018 Cavity.LLC All Rights Reserved. データ可視化・分析してますか？
8. Copyright © 2018 Cavity.LLC All Rights Reserved. やりたかった事 非エンジニアが全くといっていいほど、分析をしない環境 ＤＢって見づらいよね？を言い訳に、分析してもらえない環境 サーバのログで業務部隊に資料を作って貰おうとしたら、拒否
9. Copyright © 2018 Cavity.LLC All Rights Reserved. やりたかった事 非エンジニアが全くといっていいほど、分析をしない環境 ＤＢって見づらいよね？を言い訳に、分析してもらえない環境 サーバのログで業務部隊に資料を作って貰おうとしたら、拒否 これを打破したい (無理な形であっても)
10. Copyright © 2018 Cavity.LLC All Rights Reserved. モチベーションは、 　　　　　　　　　　無理やり
11. Copyright © 2018 Cavity.LLC All Rights Reserved. そう、皆が 分析が出来ると So Happy
12. Copyright © 2018 Cavity.LLC All Rights Reserved. だが、正直難しい データウェアハウスやBIはプロダクト差がえぐい・・・
13. Copyright © 2018 Cavity.LLC All Rights Reserved. あげく、遅い
14. Copyright © 2018 Cavity.LLC All Rights Reserved. なので 非エンジニアは 使わない
15. Copyright © 2018 Cavity.LLC All Rights Reserved. 仕方なく E◦celで渡すと 壊す
16. Copyright © 2018 Cavity.LLC All Rights Reserved. せめて、勉強は 統計分析のみ
17. Copyright © 2018 Cavity.LLC All Rights Reserved. そうだ、 Platformに頼ろう
18. Copyright © 2018 Cavity.LLC All Rights Reserved. そうすれば データ解析だけで 生きていける
19. Copyright © 2018 Cavity.LLC All Rights Reserved. BBQ : Business Big Query 単一の商材としてではなく、ビジネスパーソンの標準スキルセットとして「ビッグデー タ解析」がある世の中を創造していきたい。 ビッグデータにまつわるツールがオフィスソフトレベルで浸透し、誰もが簡単に使え る社会を実現する ※海岸の肉焼きリア充やモンハンの身内こんがり肉作成タイムじゃないっす この活動に名前をつける
20. Copyright © 2018 Cavity.LLC All Rights Reserved. 本日はBigQueryの話です
21. Copyright © 2018 Cavity.LLC All Rights Reserved. GCP ？ Googleが提供するプラットフォーム上にあるサービス群。 何がすごいって・・・ 公式ドキュメント　　参照！ 僕は関係あるとこだけ
22. Copyright © 2018 Cavity.LLC All Rights Reserved. GCP de データ解析 Produce Move Store Preprocess Analyze Watch over next
23. Copyright © 2018 Cavity.LLC All Rights Reserved. GCP de データ解析 Produce Move Store Preprocess Analyze Watch over next パイプライン
24. Copyright © 2018 Cavity.LLC All Rights Reserved. パイプライン？ 複数のサービスをつなぎ、目的のビジネスロジックを完成させる ex.) GCE + Pub/Sub + Cloud storage ex.) Bigtable + Dataproc + Bigquery + 3rd-party BI product 手段は選びません
25. Copyright © 2018 Cavity.LLC All Rights Reserved. パイプライン？ 複数のサービスをつなぎ、目的のビジネスロジックを完成させる ex.) GCE + Pub/Sub + Cloud storage ex.) Bigtable + Dataproc + Bigquery + 3rd-party BI product 便利なものは何でも使う
26. Copyright © 2018 Cavity.LLC All Rights Reserved. パイプライン？ 複数のサービスをつなぎ、目的のビジネスロジックを完成させる ex.) GCE + Pub/Sub + Cloud storage ex.) Bigtable + Dataproc + Bigquery + 3rd-party BI product Dataflowもpipeline serviceだけど ここでは便宜上、 パイプライン = データパイプライン
27. Copyright © 2018 Cavity.LLC All Rights Reserved. BigQuery　？ 高速かつ高スケーラビリティでコスト効率に優れた エンタープライズ向け、フルマネージドデータ ウェアハウス #最近UIが急に統合され、戸惑う人多数でしたが... 何も考えなくていい、 　　　　データウェアハウス
28. Copyright © 2018 Cavity.LLC All Rights Reserved. BigQuery　？ 分析基盤を準備する必要が無いので、早く始められます 毎月、1TBの分析が無料枠があるけど、中々減りません 毎月、10GBのデータ保存が無料枠があり、練習用には楽々 あとは、Not Bigでも自分のデータがあればＯＫ まずはBQでデータ解析が学べます
29. Copyright © 2018 Cavity.LLC All Rights Reserved. BigQuery　？ ドキュメントは公式（特に【概念】がおすすめ） クラウド屋さんのドキュメントも読んでいいかも ただQiita含めた軽めの記事は、古いと使えないものが多い Qwiklabsですら、画面仕様とか古いままだったりする 読むより、使え
30. Copyright © 2018 Cavity.LLC All Rights Reserved. データウェアハウス？ • データの倉庫で、何らかの判断や分析材料として利用が主目的 • SAP/Oracleなどが代表格で、専門のSEが運用することも多い • データマイニングツールと呼ばれる分析ツールの利用 • データマートと呼ばれる利用目的別のＤＢを作るケースも多い （顧客情報(CRM) + 自社売上管理DB　など）
31. Copyright © 2018 Cavity.LLC All Rights Reserved. データウェアハウス？ • ＤＢとの決定的な違いは ◦ トランザクションレベルでの性能は期待しない ◦ 更新しない（する場合は追加、もしくはコピーで再度マート化 ◦ 削除なし（する場合はデータセットもろとも削除
32. データ解析系のGCPサービス • Cloud Storage • Bigtable • Spanner • Cloud Pub/Sub • Cloud ML Engine • Google Drive • Google Marketing Platform • Google Ads • Youtube • BigQuery • Dataflow • Dataproc • Dataprep • Datastudio • Google Spread sheet
33. Copyright © 2018 Cavity.LLC All Rights Reserved. Easy try&error. Cannot break. This is Happy.
34. パイプライン例 1 複数の仮想マシンログの集約
35. サーバからコマンドログを収集 Architecture: Script log > BigQuery : Direct stored into BigQuery Preprocessing Cloud Dataprep Query BiqQuery Analyze Datastudio Data producer Compute Engine Others source Virtual Machine Others source Virtual Machine Others source Virtual Machine Survey logger Python script Unstructured Spreadsheet
36. パイプライン例 2 データパイプラインのミニマム構成
37. Data source Cloud Storage Webサイトの表をBBQしてみる Architecture: Unstructured Data > Dataprep and BiqQuery with Datastudio - BBQ Preprocessing Cloud Dataprep Query BiqQuery Analyze Datastudio csv / tsv Google Sheets Unstructured Spreadsheet
38. https://github.com/wakayama-pref-org
39. データリフト おまけの話
40. データリフト 社内や倉庫眠る紙媒体の業務データを全てクラウドへリフト →ダークデータのクラウドリフト 売上伝票 日報 クレーム 対応結果 仕入伝票 Cavity
41. Scan Scanner Payment log Dark Data Data source Cloud Storage ダークデータのリフト Architecture: Unstructured Data > Cloud Storage and BiqQuery - DataLift Query BiqQuery Analyze Datastudio csv / tsv Google Sheets Excel/csv/tsv Excel Receipt Dark Data behavior Dark Data human log Dark Data
42. Let’s BBQ with us !
43. Thank you !