GCPUG-Osaka#8 [Let' also use BQ. Let's BBQ.]

Transcript

1. Copyright © 2018 Cavity.LLC All Rights Reserved. Googleのデータ解析サービス 「BigQuery」の凄さ 2018/09/25(tue) GCPUG Osaka #8
2. Copyright © 2018 Cavity.LLC All Rights Reserved. Let’s BBQ 2018/09/25(tue) GCPUG Osaka #8
3. すみか：ビッグデータ解析のコンサル会社経営（副業） 　　　　Cavity LLC. Co-Founder (Principal) GCP歴： ２年弱(= BQ暦 ) しゅみ：分析解析での失敗 / アボカド育てて食う Who am I ? 中田 祐樹 / Yuki Nakata ◦ 本業はGMOクラウド(株)のプリセールス ◦ 組込プログラマからSIerでSEを経て、BigQueryにはまる ◦ 計算社会科学が好きだけど、無免許データエンジニア
4. Copyright © 2018 Cavity.LLC All Rights Reserved. About us ➢ 社名　　　：　Cavity合同会社（英：Cavity.LLC） ➢ 本社　　　：　滋賀県東近江市林町 ➢ 代表社員　：　中田　祐樹(youkey:CEO/CTO)・小野　寛徳(nickson:COO) ➢ 設立　　　：　平成30年4月20日 ➢ 資本金　　：　10円 ➢ 事業内容　：　ビッグデータコンサルティング事業 　　　　　　　　　　・　IaaSを用いたデータ活用コンサルティング 　　　　　　　　　　・　イベント運営、コミュニティ形成支援 　　　　　　　　　　・　その他上記付帯事業、各種営業代行
5. Copyright © 2018 Cavity.LLC All Rights Reserved. Mission　Statement 企業に眠るデータ資産を 「溜めるだけ」から「価値を生み出すもの」に変換す る支援を行います。 あらゆる人がデータ活用を「当たり前に」行う社会へ の発展に貢献します。
6. Copyright © 2018 Cavity.LLC All Rights Reserved. Event (In Osaka) 9/27(thu) BBQ-WG #0 BBQ活動を促進するため、GCPや Alibaba CloudにあるBigdata系 サービスを使い倒す会です。 公開イベントはまだだけど、グループ にJoinするとクローズド会に参加 10/2(tue) 19:00 AI-WG #2 AIの実利用を促進するため、Cloud系 AIをビジネスシーンに広げる活動をし ている会です。 今はAlibaba Cloud ETbrainメイン ですが、できればGCP visionなどを 加えていきたい https://connpass.com/event/102534/
7. Copyright © 2018 Cavity.LLC All Rights Reserved. AliEaters Osaka #2 2018/10/04(thu) 19:00 GMO yours大阪支社( B23F ) ・東京や札幌、福岡始まった 　Alibaba Cloud UGの大阪版 ・CavityはDataVで(大人の事情) ・非エンジニアもOK ・中国ＴＣＣツアー報告
8. Copyright © 2018 Cavity.LLC All Rights Reserved. データ可視化・分析してますか？
9. Copyright © 2018 Cavity.LLC All Rights Reserved. やりたかった事 非エンジニアが全くといっていいほど、分析をしない環境 ＤＢって見づらいよね？を言い訳に、分析してもらえない環境 サーバのログで業務部隊に資料を作って貰おうとしたら、拒否
10. Copyright © 2018 Cavity.LLC All Rights Reserved. やりたかった事 非エンジニアが全くといっていいほど、分析をしない環境 ＤＢって見づらいよね？を言い訳に、分析してもらえない環境 サーバのログで業務部隊に資料を作って貰おうとしたら、拒否 これを打破したい (無理な形であっても)
11. Copyright © 2018 Cavity.LLC All Rights Reserved. だが、正直難しい データウェアハウスやBIはプロダクト差がえぐい・・・
12. Copyright © 2018 Cavity.LLC All Rights Reserved. あげく、 学習コスト 高い
13. Copyright © 2018 Cavity.LLC All Rights Reserved. せめて、勉強は 統計分析のみで
14. Copyright © 2018 Cavity.LLC All Rights Reserved. なので 非エンジニアは 使わない
15. Copyright © 2018 Cavity.LLC All Rights Reserved. 仕方なく E◦celで渡すと 壊す
16. Copyright © 2018 Cavity.LLC All Rights Reserved. そうだ、 Platformに頼ろう
17. Copyright © 2018 Cavity.LLC All Rights Reserved. そうすれば データ解析は 標準スキルとなる
18. Copyright © 2018 Cavity.LLC All Rights Reserved. BBQ : Business Big Query 単一の商材としてではなく、ビジネスパーソンの標準スキルセットとして「ビッグデー タ解析」がある世の中を創造していきたい。 ビッグデータにまつわるツールがオフィスソフトレベルで浸透し、誰もが簡単に使え る社会を実現する ※海岸の肉焼きリア充やモンハンの身内こんがり肉作成タイムじゃないっす この活動に名前をつける
19. Copyright © 2018 Cavity.LLC All Rights Reserved. Event (In Osaka) 9/27(thu) BBQ-WG #0 BBQ活動を促進するため、GCPや Alibaba CloudにあるBigdata系 サービスを使い倒す会です。 公開イベントはまだだけど、グループ にJoinするとクローズド会に参加 10/2(tue) 19:00 AI-WG #2 AIの実利用を促進するため、Cloud系 AIをビジネスシーンに広げる活動をし ている会です。 今はAlibaba Cloud ETbrainメイン ですが、できればGCP visionなどを 加えていきたい https://connpass.com/event/102534/ コレ
20. Copyright © 2018 Cavity.LLC All Rights Reserved. 本日はBigQueryの話です
21. Copyright © 2018 Cavity.LLC All Rights Reserved. GCP ？ Googleが提供するプラットフォーム上にあるサービス群。 何がすごいって・・・ Read document ! 僕は関係あるとこだけ
22. Copyright © 2018 Cavity.LLC All Rights Reserved. GCP de データ解析 Produce Move Store Preprocess Analyze Watch over next
23. Copyright © 2018 Cavity.LLC All Rights Reserved. GCP de データ解析 Produce Move Store Preprocess Analyze Watch over next パイプライン
24. Copyright © 2018 Cavity.LLC All Rights Reserved. パイプライン？ 複数のサービスをつなぎ、目的のビジネスロジックを完成させる ex.) GCE + Pub/Sub + Cloud storage ex.) Bigtable + Dataproc + Bigquery + 3rd-party BI product 手段は選びません
25. Copyright © 2018 Cavity.LLC All Rights Reserved. パイプライン？ 複数のサービスをつなぎ、目的のビジネスロジックを完成させる ex.) GCE + Pub/Sub + Cloud storage ex.) Bigtable + Dataproc + Bigquery + 3rd-party BI product 便利なものは何でも使う
26. Copyright © 2018 Cavity.LLC All Rights Reserved. パイプライン？ 複数のサービスをつなぎ、目的のビジネスロジックを完成させる ex.) GCE + Pub/Sub + Cloud storage ex.) Bigtable + Dataproc + Bigquery + 3rd-party BI product Dataflowもpipeline serviceだけど ここでは便宜上、 パイプライン = データパイプライン
27. Copyright © 2018 Cavity.LLC All Rights Reserved. BigQuery　？ 高速かつ高スケーラビリティでコスト効率に優れた エンタープライズ向け、フルマネージドデータ ウェアハウス #最近UIが急に統合され、戸惑う人多数でしたが... 何も考えなくていい、 　　　　データウェアハウス
28. Copyright © 2018 Cavity.LLC All Rights Reserved. BigQuery　？ 分析基盤を準備する必要が無いので、早く始められます 毎月、1TBの分析が無料枠があるけど、中々減りません 毎月、10GBのデータ保存が無料枠があり、練習用には楽々 あとは、Not Bigでも自分のデータがあればＯＫ まずはBQでデータ解析が学べます
29. Copyright © 2018 Cavity.LLC All Rights Reserved. BigQuery　？ ドキュメントは公式（特に【概念】がおすすめ） クラウド屋さんのドキュメントも読んでいいかも ただQiita含めた軽めの記事は、古いと使えないものが多い Qwiklabsですら、画面仕様とか古いままだったりする 読むより、使え
30. Copyright © 2018 Cavity.LLC All Rights Reserved. データウェアハウス？ • ＤＢとの決定的な違いは ◦ トランザクションレベルでの性能は期待しない ◦ 更新しない（する場合は追加、もしくはコピーで再度マート化 ◦ 削除なし（する場合はデータセットもろとも削除 マート化 Earnings データマート ＤＷＨ ＢＩ 加工・集約 Products Stock
31. データ解析系のGCPサービス • Cloud Storage • Bigtable • Spanner • Cloud Pub/Sub • Cloud ML Engine • Google Drive • Google Marketing Platform • Google Ads • Youtube • BigQuery • Dataflow • Dataproc • Dataprep • Datastudio • Google Spread sheet
32. Copyright © 2018 Cavity.LLC All Rights Reserved. Simple try&error. Cannot break. This is Happy.
33. パイプライン例 1 複数の仮想マシンログの集約
34. サーバからコマンドログを収集 Architecture: Script log > BigQuery : Direct stored into BigQuery Preprocessing Cloud Dataprep Query BiqQuery Analyze Datastudio Data producer Compute Engine Others source Virtual Machine Others source Virtual Machine Others source Virtual Machine Survey logger Python script Unstructured Spreadsheet
35. パイプライン例 2 データパイプラインのミニマム構成
36. Data source Cloud Storage Webサイトの表をBBQしてみる Architecture: Unstructured Data > Dataprep and BiqQuery with Datastudio - BBQ Preprocessing Cloud Dataprep Query BiqQuery Analyze Datastudio csv / tsv Google Sheets Unstructured Spreadsheet
37. データリフト おまけの話
38. データリフト 社内や倉庫眠る紙媒体の業務データを全てクラウドへリフト →ダークデータのクラウドリフト 売上伝票 日報 クレーム 対応結果 仕入伝票 Cavity
39. Scan Scanner Payment log Dark Data Data source Cloud Storage ダークデータのリフト Architecture: Unstructured Data > Cloud Storage and BiqQuery - DataLift Query BiqQuery Analyze Datastudio csv / tsv Google Sheets Excel/csv/tsv Excel Receipt Dark Data behavior Dark Data human log Dark Data
40. Let’s BBQ with us !