Tableau & Snowflake ハンズオン～データコラボレーションをぷち体験しよう～

Slide 1

Slide 1 text

中部Tableauユーザー会 & SnowVillage共催 Tableau & Snowflake ハンズオン～データコラボレーションをぷち体験しよう～ 2023-09-25 AKIHIRO HORIKAWA 1

Slide 2

Slide 2 text

自己紹介名前： Akihiro Horikawa 所属：東邦ガス株式会社（東海地方の総合エネルギー企業） ※ 本発表は登壇者個人の見解であり、所属企業の公式見解ではありません役割：社内データ分析チームのリーダー Tableau歴：約3年半、DATA Saber Snowflake歴：約2年 X（Twitter）：ほーりー @holywater044 コミュニティ：中部Tableauユーザー会（幹事）、 SnowVillage（村人）、ほか 2 TECHPLAY 中部Tableauユーザー会 https://techplay.jp/com munity/tableau-chubu SnowVillage YOUTUBE みんなのSQL講座 https://www.youtube.com /watch?v=NFKjCWzlS7o

Slide 3

Slide 3 text

本ハンズオンの目的データコラボレーションの魅力の一端を感じていただくこと。 • Snowflakeで、利用者（アカウント）間のデータ共有、販売データの購入が簡単にできることを体験 • Tableauで、「サンプルスーパーストア」に「Snowflakeで取得したデータ」を組合せることでデータコラボレーションによる新たなインサイト発掘を体験 3

Slide 4

Slide 4 text

目次１．本日のハンズオンの概要２．Snowflakeに接続してみよう３．データ共有体験４．データ活用体験５．まとめ 4

Slide 5

Slide 5 text

１．本日のハンズオンの概要 5

Slide 6

Slide 6 text

「Snowflakeに接続してみよう」 • 本ハンズオンでは、２つの方法でSnowflakeを利用するので、問題なく実行できるか試してみる ➢ SnowflakeのWebUI "Snowsight" で接続して、SQLを実行 ➢ Tableau Desktop でSnowflakeに接続して、グラフ＆地図を作成 6 Snowsight Tableau Desktop

Slide 7

Slide 7 text

「データ共有体験」その１ • 参加者間で、東海三県の「市区町村人口データ」をデータ共有する 7 主催者参加者【奇数番号】参加者【偶数番号】岐阜県三重県愛知県

Slide 8

Slide 8 text

• 参加者間で、東海三県の「市区町村人口データ」をデータ共有する「データ共有体験」その１ 8 主催者参加者【奇数番号】参加者【偶数番号】

Slide 9

Slide 9 text

「データ共有体験」その２ • Snowflakeマーケットプレイスで「カレンダーデータ」（無料）を購入する 9 Snowflake マーケットプレイス

Slide 10

Slide 10 text

「データ活用体験」 • サンプルスーパーストアと共有データを組合せた、可視化を行う 10 可視化２祝日・祝日以外の売上の違い（カレンダーデータ）可視化１市区町村人口と売上の比較（市区町村人口データ）

Slide 11

Slide 11 text

２．Snowflakeに接続してみよう 11

Slide 12

Slide 12 text

2-1 Snowsight から接続 12

Slide 13

Slide 13 text

Snowsight: WebUI にサインイン • 接続情報リストを見て、WebUIのURLに、ブラウザでアクセス • 接続情報リスト記載の、ユーザー名、パスワードを入力して、サインイン ⇒ Snowsight の画面が表示される 13

Slide 14

Slide 14 text

Snowsight: SQLワークシートを開く • メインメニューの「ワークシート」をクリック • ワークシートの一覧から、「20230925ハンズオン」をクリック 14

Slide 15

Slide 15 text

Snowsight: 手持ちのデータを確認する • 「データベース」タグで、ツリーを順にクリック HO_DB → PUBLIC → TABLE → MY_CITY_01 ⇒ 左下に列リストが表示される • 列リストの「・・・」から、「データのプレビュー」をクリック ⇒ データプレビューウィンドウが開く 15 データベース： HO_DB スキーマ： PUBLIC テーブル： MY_CITY_01 参考：Snowflakeのデータオブジェクトの階層

Slide 16

Slide 16 text

① ワークシートの 2-1 のSQL文にカーソルを合わせる select count(*) from HO_DB.PUBLIC.MY_CITY_01; ② 右上のボタンをクリック ⇒ ワークシートの下半分に、SQLの結果が表示される Snowsight: SQL実行の練習 16 【奇数番号】と【偶数番号】で結果が違います

Slide 17

Slide 17 text

2-1 Tableauから接続 17

Slide 18

Slide 18 text

Tableau: 接続画面１ 18

Slide 19

Slide 19 text

Tableau: 接続画面２ 19

Slide 20

Slide 20 text

Tableau: 接続設定メニュー • 認証方法を「ユーザー名とパスワード」に変更 • 接続情報リスト記載のサーバー、ユーザー名、パスワードを入力 ※ セキュリティが高い環境では、これだけでは繋がらないことがありえます 20

Slide 21

Slide 21 text

Tableau: データソース画面 • Snowflakeで使うサーバーやデータを設定する 21 アカウント: lkzqobg-ha★★ ウェアハウス（処理サーバ） COMPUTE_WH データベース： HO_DB スキーマ： PUBLIC テーブル： MY_CITY_01 参考： Snowfalkeのオブジェクト構成

Slide 22

Slide 22 text

Tableau: データ件数の確認 1. シートに移動 2. ”MY_CITY_01（カウント）”を、行シェルフにドロップ 3. 上部のボタンを押す ⇒ データ件数が表示されるたらOKです！ 22 T 【奇数番号】【偶数番号】

Slide 23

Slide 23 text

Tableau: データの中身の確認 1. シートを追加 2. ”市区町村名”の左側の abc をクリック、地理的役割 → 郡をクリック注： ”市区町村”ではなく、”郡”です！ 3. ”市区町村”をダブルクリック 4. 「表示形式」をクリックして、2段目真ん中の地図のアイコンをクリックして、閉じる注：左ではなく、真ん中の地図です！ 5. ”人口”を色にドロップ 23

Slide 24

Slide 24 text

Tableau: データの中身の確認 ⇒ 市区町村の人口地図が表示されたらOKです！ 24 【奇数番号】岐阜県【偶数番号】三重県

Slide 25

Slide 25 text

３．データ共有体験 25

Slide 26

Slide 26 text

3-1 前置き企業間のデータ共有について 26

Slide 27

Slide 27 text

企業間のデータ共有について • 企業のDBに入っているデータを、他社に共有するのは、結構大変です • 一般に、提供側のDBに、利用側のユーザーを直接アクセスさせるのは、各種セキュリティやNW構成、ライセンス面などで、難しいためです 27 提供側利用側 • このため、ファイル連携やAPI連携での実現がよく見られますテーブル ×

Slide 28

Slide 28 text

ざっくりイメージ：ファイル連携 28 テーブル抽出処理転送処理（日次バッチなど）更新処理提供側利用側転送サーバ抽出サーバ転送サーバ更新サーバテーブル差分ファイル差分ファイル

Slide 29

Slide 29 text

ざっくりイメージ：ファイル連携 29 テーブル抽出処理転送処理（日次バッチなど）更新処理提供側利用側 • PG開発とサーバ構築、維持保守が必要（途中でコケたらリカバリ、など） • 提供側の差分抽出がまあまあ大変（かといって毎回全件連携もキツイ） • 提供側テーブルと、利用側テーブルが本当に一致しているか謎転送サーバ抽出サーバ転送サーバ更新サーバテーブル本当に一致？差分ファイル差分ファイル悩み

Slide 30

Slide 30 text

ざっくりイメージ： API連携 30 テーブルデータ処理 APIコール提供側利用側 API APIサーバ Webアプリサーバ URLコール

Slide 31

Slide 31 text

ざっくりイメージ： API連携 31 テーブルデータ処理 APIコール提供側利用側 • PG開発とサーバ構築、維持保守が必要 • 基本的にAPIで定義した用途にしか応えられない（汎用的でない） • APIコールが急増すると、提供側サーバ性能が不足するリスクあり API APIサーバ Webアプリサーバ URLコール悩み

Slide 32

Slide 32 text

ざっくりイメージ： Snowflakeのデータシェアリング 32 テーブルテーブルデータシェアリング提供側Snowflakeアカウント利用側Snowflakeアカウント • テーブル/ビューそのものを共有、常に最新状態 • ストレージは、提供側の負担（利用側はゼロ） • 処理サーバは、利用側の負担（提供側はゼロ）ウェアハウス先程の様々な悩みがまとめて解決！！提供側も、利用側も、 win-win！！コピーではなく、レンタルしてる感じシェア設定

Slide 33

Slide 33 text

• 3種類があります ➢ ダイレクトシェアアカウント１：１の共有 ➢ データエクスチェンジグループ内のアカウント間での共有 ➢ マーケットプレイス販売での共有（有料・無料あり） Snowflakeのデータシェアリングの種類 33 アカウントグループダイレクトシェアデータエクスチェンジマーケットプレイス提供側アカウント（プロバイダー）利用側アカウント（コンシューマー）本日はこの２つを試します！

Slide 34

Slide 34 text

3-2 ダイレクトシェア／利用側 34

Slide 35

Slide 35 text

データ共有の段取り • 提供側の共有手続き（①～⑤）と、利用側の取得手続き（⑥）を行います 35 ⑤”シェア”の使用を利用型アカウントに許可 HO_SHARE ②DB使用権データベース： PROVIDER_DB スキーマ： PUBLIC テーブル： AICHI_CITY_01 データベース： LKZQOBG_XU52167_HO_SHARE スキーマ： PUBLIC テーブル： AICHI_CITY_01 ③スキーマ使用権 ④テーブル参照権提供側アカウント（主催者） lkzqobg-xu52167 利用側アカウント（参加者） lkzqobg-ha★★ ①”シェア” オブジェクトの作成 ⑥共有されたデータを取得

Slide 36

Slide 36 text

Snowsight: 提供側手続き（主催者が実行するのを見学）主催者のアカウントで、以下のSQLを順に実行 create share HO_SHARE; grant usage on database PROVIDER_DB to share HO_SHARE; grant usage on schema PROVIDER_DB.PUBLIC to share HO_SHARE; grant select on table PROVIDER_DB.PUBLIC.AICHI_CITY_01 to share HO_SHARE; alter share HO_SHARE add accounts= LKZQOBG.HO01, LKZQOBG.HO02, LKZQOBG.HO03, LKZQOBG.HO04, LKZQOBG.HO05, LKZQOBG.HO06, LKZQOBG.HO07, LKZQOBG.HO08; alter share HO_SHARE add accounts= LKZQOBG.HO09, LKZQOBG.HO10, LKZQOBG.HO11, LKZQOBG.HO12, LKZQOBG.HO13, LKZQOBG.HO14, LKZQOBG.HO15, LKZQOBG.HO16; 36 ① ② ③ ④ ⑤

Slide 37

Slide 37 text

Snowsight: 利用側手続き（参加者が実行） ⑥ 共有データを取得 1. 左上の「<」でメインメニューに戻る 2. メインメニューの「データ」→「プライベート共有」をクリック ⇒ ”HO_SHARE”がある 3. ”HO_SHARE”のをクリック 4. データ取得メニューで、をクリック（オプション設定不要） 5. 取得できたら、をクリック 6. データのツリーを順にクリック lkzqobg_xu52167_HO_SHARE → PUBLIC → テーブル → AICHI_CITY_01 7. 「データのプレビュー」をクリック ⇒ 共有されたデータ（愛知県の人口データ）を確認できたらOKです！ 37

Slide 38

Slide 38 text

3-3 ダイレクトシェア／提供側（＆利用側） 38

Slide 39

Slide 39 text

データ共有の段取り • 今度は、自分が提供側になって、ペアの方へ共有してみましょう！ ※ ●●：自分の番号、★★：ペアの方の番号に読み替え 39 ① ⑤ MY_SHARE ② データベース： HO_DB スキーマ： PUBLIC テーブル： MY_CITY_01 ③ ④ 自分のアカウント lkzqobg-ha●● ペアのアカウント lkzqobg-ha★★ データベース： LKZQOBG_HO●●_MY_SHARE スキーマ： PUBLIC テーブル： MY_CITY_01 データベース： LKZQOBG_HO★★_MY_SHARE スキーマ： PUBLIC テーブル： MY_CITY_01 ⑥ データベース： HO_DB スキーマ： PUBLIC テーブル： MY_CITY_01 MY_SHARE

Slide 40

Slide 40 text

Snowsight: 提供側手続き提供側として、自分の”MY_CITY_01”をペアの参加者に共有するために、以下の提供側SQLを順に実行してみましょう！ create share MY_SHARE; grant usage on database HO_DB to share MY_SHARE; grant usage on schema HO_DB.PUBLIC to share MY_SHARE; grant select on table HO_DB.PUBLIC.MY_CITY_01 to share MY_SHARE; alter share MY_SHARE add account= LKZQOBG.HO★★; // ペアの参加者の番号↑ 40 ★★のところをペアの番号（半角）に書き換え例： 03番の方なら”04” ① ② ③ ④ ⑤

Slide 41

Slide 41 text

Snowsight: 利用側手続き今度は利用側として、ペアの方から共有されたデータを取得しましょう ⑥ ”シェア”で共有されたデータを取得 1. 左上の「<」でメインメニューに戻る 2. メインメニューの「データ」→「プライベート共有」をクリック ⇒ ”MY_SHARE”が増えている 3. ”MY_SHARE”のをクリック 4. データ取得メニューで、をクリック（オプション設定不要） 5. 取得できたら、をクリック 41

Slide 42

Slide 42 text

Snowsight: 利用側手続き 6. データのツリーを順にクリック lkzqobg_HO★★_MY_SHARE → PUBLIC → テーブル → MY_CITY_01 7. 「データのプレビュー」をクリック ⇒ 共有されたデータ（ペアの県の人口データ）を確認できたらOKです！ 42 ★★のところをペアの番号（半角）に読み換え

Slide 43

Slide 43 text

Snowsight: 東海３県データの合体 • 東海３県のデータが揃いましたが、バラバラでは使い難いので、１データに合体するSQLを実行 create table HO_DB.PUBLIC.TOKAI_CITY_01 as select * from HO_DB.PUBLIC.MY_CITY_01 union select * from LKZQOBG _XU52167_HO_SHARE.PUBLIC.AICHI_CITY_01 union select * from LKZQOBG_HO★★_MY_SHARE.PUBLIC.MY_CITY_01; // ペアの参加者の番号↑ • 件数を確認するSQLを実行 select count(*) from HO_DB.PUBLIC.TOKAI_CITY_01; ⇒ 12,320件ならOKです！（愛知：6,072＋岐阜：3,696＋三重：2,552）東海３県人口データが完成です！ 43 ★★のところをペアの番号（半角）に書き換え

Slide 44

Slide 44 text

3-4 マーケットプレイス体験 44

Slide 45

Slide 45 text

Snowsight: カレンダーデータ（無料）を購入 1. メインメニューで「マーケットプレイス」をクリック 2. 検索窓に”truestar”と入力してエンター ⇒ 本日時点、12個が表示される 3. その中から以下を探してクリック Prepper Open Data Bank - Japanese Calendar Data （右側上から2段目） 4. 右の「Ｇｅｔ」をクリック 5. 取得メニューが出るので「ＯＫ」をクリック ⇒ 購入完了です！ 45 これだけ！！

Slide 46

Slide 46 text

Snowsight: 購入したデータの内容を確認 6. 取得できたら、をクリック 7. データのツリーを順にクリック Prepper_Open_Data_Bank__Japanese_Calendar_Data → J_PODB → ビュー → J_JAPAN_CALENDER （２つある上の方） 8. 「データのプレビュー」をクリック ⇒ 共有されたデータ（日本のカレンダー）を確認できたらOKです！ 46

Slide 47

Slide 47 text

４．データ活用体験 47

Slide 48

Slide 48 text

4-1 可視化１：市区町村人口と売上の比較 48

Slide 49

Slide 49 text

Tableau: 可視化１ :市区町村人口と売上の比較 1/5 ① 東海３県人口データへの接続 1. 画面左上のボタンを押す 2. 「サーバーへ」の「Snowflake」をクリック 3. パスワードを入力してサインイン 4. 接続情報を入力ウェアハウス、データベース、スキーマ 5. TOKAI_CITY_01 をダブルクリック ⇒ シートに移動 49

Slide 50

Slide 50 text

Tableau: 可視化１ :市区町村人口と売上の比較 2/5 ② 人口地図の作成 1. ”市区町村名”の左側の abc をクリック → 地理的役割 → 郡をクリック注： ”市区町村”ではなく、”郡”です！ 2. ”市区町村”をダブルクリック 3. 右上の「表示形式」をクリック、2段目真ん中の地図のアイコンをクリック、閉じる注：左ではなく、真ん中の地図です！ 4. ”人口”を色にドロップ ⇒ 市区町村の人口地図が表示されたらOKです！ 50

Slide 51

Slide 51 text

Tableau: 可視化１ :市区町村人口と売上の比較 3/5 次に、別データで地図を描いて、先程の地図に重ねます。 ③ サンプルスーパーストアへの接続 1. 画面左上のボタンを押す 2. 「保存されたデータベース」の「サンプル - スーパーストア」をクリック 3. テーブルが３個が表示されるので、 ”注文”だけ残して、”関係者”と”返品”を削除 ”関係者”と”返品”の▼から「削除」をクリック ⇒ シートに移動 51

Slide 52

Slide 52 text

Tableau: 可視化１ :市区町村人口と売上の比較 4/5 ④ 売上地図の作成 1. ②の人口地図のシートに戻る 2. シート左上の”データ”を「サンプル – スーパーストア」に変更 3. ”住所”のフォルダを開く 4. ”国/地域”をドラッグして、地図上の左上の「マップレイヤー」にドロップ 5. マークの「詳細」の”国/地域”のプラスマークをクリック国/地域 → 都道府県 → 市区町村 6. ”都道府県”を、「フィルター」へドロップ愛知・岐阜・三重を選択、他はオフ 7. ”売上”を「サイズ」にドロップサイズを開いて、バーを真ん中くらいまで大きくする 8. 「色」をクリックして、オレンジに変更 52

Slide 53

Slide 53 text

Tableau: 可視化１ :市区町村人口と売上の比較 5/5 ⇒ ２つの地図が重ねて表示されたらOKです！ 53 顧客開拓可能性のある市区町村はどこでしょう？注： TableauDesktopのバージョン（サンプルデータのバージョン）によって、結果が異なります。本資料は2023.1で作成

Slide 54

Slide 54 text

4-2 可視化２ :祝日・祝日以外の売上の違い 54

Slide 55

Slide 55 text

Tableau: 可視化２ :祝日・祝日以外の売上の違い 1/4 ① カレンダーデータの接続 1. 新しいシートを作成 2. シート左上の”データ”の「サンプル – スーパーストア」を選択 3. 「データソース」に移動 4. 接続の追加 → Snowflake 5. パスワードを入力してサイイン 6. 接続情報を入力ウェアハウス、データベース、スキーマ 55

Slide 56

Slide 56 text

Tableau: 可視化２ :祝日・祝日以外の売上の違い 2/x ③ 注文データとカレンダーデータの紐づけ 1. テーブル”J_JAPAN_CALENDER” （２つある上の方）を、ダブルクリック → 注文と紐づくけど「！」マークが表示される 2. 下段真ん中の紐づけ設定で、紐づけに使う列を指定 ⇒ シートへ移動 56

Slide 57

Slide 57 text

Tableau: 可視化２ :祝日・祝日以外の売上の違い 3/x ④ 売上グラフの作成 1. ”売上”を、「行」へドロップ、合計を平均に変更 ”売上”の▼ → メジャー（合計） → 平均 2. 上部のボタンをオンして、ラベルを表示 3. ”オーダー日”を、「フィルター」へドロップ年を選択 → 2021年のみオン、他はオフ 4. ”オーダー日”を「列」へドロップ ”オーダー日”の▼ → １つめの詳細の「曜日」 5. ”祝日”の▼で「別名」をクリック、別名編集メニューで「値（別名）」を変更偽⇒「祝日以外」、真⇒「祝日」 6. ”祝日”を、「列」の”オーダー日”の右側へドロップ 7. ”祝日”を、「色」へドロップ 57 T

Slide 58

Slide 58 text

Tableau: 可視化２ : 祝日・祝日以外の売上の違い 4/x ⇒ 以下のようなグラフが表示されたらOKです！ 58 注： TableauDesktopのバージョン（サンプルデータのバージョン）によって、結果が異なります。本資料は2023.1で作成祝日と祝日以外で売上の違いはありますか？曜日による特徴はありますか？

Slide 59

Slide 59 text

５．まとめ 59

Slide 60

Slide 60 text

• 最初は１県分のデータだけしかなかったところから、主催者とペアの方とのデータ共有で、３県分のデータを手にすることができました • マーケットプレイスで、カレンダーデータを購入しました • これらを使い、既有のデータだけではできなかった分析を行いましたまとめ 60

Slide 61

Slide 61 text

おわりに • Snowflakeは、先駆的なデータ共有機能で、データコラボレーションの未来を切り開くサービスだと思います 61 • Tableauは、共有されたデータから活用可能性を見出し、データコラボレーションを創り出すのに最適なツールだと思います • ささやかな内容ではありましたが、これらを使うハンズオンを通して、データコラボレーションの持つ可能性の一端を感じていただけたなら、幸いです

Slide 62

Slide 62 text

62 本日はご参加ありがとうございました！！