Googleのデータ解析サービス「BigQuery」の凄さ

by Youkey

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

すみか：ビッグデータ解析のコンサル会社経営（副業）　　　　Cavity LLC. Co-Founder (Principal) GCP歴：１年半(= BQ暦 ) しゅみ：分析解析での失敗 / アボカド育てて食う Who am I ? 中田祐樹 / Yuki Nakata ○ 本業はGMOクラウド(株)のプリセールス ○ 組込プログラマからSIerでSEを経て、BigQueryにはまる ○ 計算社会科学が好きだけど、無免許データエンジニア

Slide 4

Slide 4 text

Copyright © 2018 Cavity.LLC All Rights Reserved. About us ➢ 社名　　　：　Cavity合同会社（英：Cavity.LLC） ➢ 本社　　　：　滋賀県東近江市林町 ➢ 代表社員　：　中田　祐樹(youkey:CEO/CTO)・小野　寛徳(nickson:COO) ➢ 設立　　　：　平成30年4月20日 ➢ 資本金　　：　10円 ➢ 事業内容　：　ビッグデータコンサルティング事業　　　　　　　　　　・　IaaSを用いたデータ活用コンサルティング　　　　　　　　　　・　イベント運営、コミュニティ形成支援　　　　　　　　　　・　その他上記付帯事業、各種営業代行

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright © 2018 Cavity.LLC All Rights Reserved. BBQ : Business Big Query 単一の商材としてではなく、ビジネスパーソンの標準スキルセットとして「ビッグデータ解析」がある世の中を創造していきたい。ビッグデータにまつわるツールがオフィスソフトレベルで浸透し、誰もが簡単に使える社会を実現する ※海岸の肉焼きリア充やモンハンの身内こんがり肉作成タイムじゃないっすこの活動に名前をつける

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Copyright © 2018 Cavity.LLC All Rights Reserved. データウェアハウス？ ● データの倉庫で、何らかの判断や分析材料として利用が主目的 ● SAP/Oracleなどが代表格で、専門のSEが運用することも多い ● データマイニングツールと呼ばれる分析ツールの利用 ● データマートと呼ばれる利用目的別のＤＢを作るケースも多い（顧客情報(CRM) + 自社売上管理DB　など）

Slide 31

Slide 31 text

Slide 32

Slide 32 text

データ解析系のGCPサービス ● Cloud Storage ● Bigtable ● Spanner ● Cloud Pub/Sub ● Cloud ML Engine ● Google Drive ● Google Marketing Platform ● Google Ads ● Youtube ● BigQuery ● Dataflow ● Dataproc ● Dataprep ● Datastudio ● Google Spread sheet

Slide 33

Slide 33 text

Slide 34

Slide 34 text

パイプライン例 1 複数の仮想マシンログの集約

Slide 35

Slide 35 text

サーバからコマンドログを収集 Architecture: Script log > BigQuery : Direct stored into BigQuery Preprocessing Cloud Dataprep Query BiqQuery Analyze Datastudio Data producer Compute Engine Others source Virtual Machine Others source Virtual Machine Others source Virtual Machine Survey logger Python script Unstructured Spreadsheet

Slide 36

Slide 36 text

パイプライン例 2 データパイプラインのミニマム構成

Slide 37

Slide 37 text

Data source Cloud Storage Webサイトの表をBBQしてみる Architecture: Unstructured Data > Dataprep and BiqQuery with Datastudio - BBQ Preprocessing Cloud Dataprep Query BiqQuery Analyze Datastudio csv / tsv Google Sheets Unstructured Spreadsheet

Slide 38

Slide 38 text

https://github.com/wakayama-pref-org

Slide 39

Slide 39 text

データリフトおまけの話

Slide 40

Slide 40 text

データリフト社内や倉庫眠る紙媒体の業務データを全てクラウドへリフト →ダークデータのクラウドリフト売上伝票日報クレーム対応結果仕入伝票 Cavity

Slide 41

Slide 41 text

Scan Scanner Payment log Dark Data Data source Cloud Storage ダークデータのリフト Architecture: Unstructured Data > Cloud Storage and BiqQuery - DataLift Query BiqQuery Analyze Datastudio csv / tsv Google Sheets Excel/csv/tsv Excel Receipt Dark Data behavior Dark Data human log Dark Data