第109回 雲勉【オンライン】Dataformってどう使うの？を調べてみた

下記、勉強会での資料です。
https://youtu.be/qjsn8bhjUjM

Transcript

1. 2023/07/20 第109回 雲勉 【オンライン】 Dataformってどう使うの？を調べてみた
2. ０．講師⾃⼰紹介 2 n 秋葉 ⼤輔（あきば だいすけ） • クラウドインテグレーション事業部 開発第⼆セクション • 組み込み開発〜Webサービス開発まで様々な開発経験あり 最近はデータ基盤構築の案件が増えてきました • 2020年2⽉⼊社 • ５⽉にAWS全冠、Google Cloudもがんばります
3. アジェンダ 3 0. ⾃⼰紹介 1. Dataformとは︖ 2. 使ってみる 3. 構成を確認する 4. もう少し試してみる 5. まとめ 6. 質疑応答
4. 1. Dataformとは︖ 4
5. Dataformとは何︖、、のまえに。 5
6. データ基盤のお話を少し 6
7. データ基盤構築依頼されるパターン 7 社内にデータは貯まってるけど、うまく活⽤できてない 今あるデータの動きを⾒えるようにしたい（可視化） オンプレのデータ基盤をクラウドに移⾏しよう︕
8. データ基盤のイメージ 8 データソース データレイク データ ウェアハウス データマート BIツール
9. データ基盤のイメージ 9 データソース データレイク データ ウェアハウス データマート BIツール データレイクにデータを 集める
10. データ基盤のイメージ 10 データソース データレイク データ ウェアハウス データマート BIツール データレイクに集まった データを加⼯する
11. データ基盤のイメージ 11 データソース データレイク データ ウェアハウス データマート BIツール 分析/可視化に合わせた形 に整形する
12. データ基盤のイメージ 12 データソース データレイク データ ウェアハウス データマート BIツール Dataformはデータの 加⼯・整形を⾏う ETLツール
13. Dataformの解説 13 改めてGoogle Cloudの公式ドキュメントを確認 〜〜 Dataform は、データ アナリストが BigQuery でデータ変換を⾏う複雑な SQL ワークフローを開発、 テスト、バージョン管理、スケジュール設定するためのサービスです。 Dataform を使⽤すると、データ統合の ELT（抽出、読み込み、変換）プロセスにおけるデータ変換を 管理できます。Dataform では、ソースシステムから抽出されたデータを BigQuery に読み込むと、明 確に定義されたテスト済みで⼀連のデータテーブルに変換できます。 〜〜 公式ドキュメントより︓https://cloud.google.com/dataform/docs/overview?hl=ja
14. Dataformの解説 14 Dataformの利⽤料⾦ Dataformは無料で利⽤できます。 ただし、BigQueryのクエリ実⾏などDataformが利⽤する 他のサービスには料⾦がかかります。 ※分析対象データのサイズが⼤きい場合は注意が必要︕ Dataformの開発⾔語 SQLXと呼ばれるSQLの拡張⾔語とJavascriptで記述
15. 2. 使ってみる 15
16. 2．使ってみる 16 まずはDataformを動かしてみます。 流れは次の通りです。 • リポジトリを作ります • ワークスペースを作ります • ワークスペースを初期化します • SQLXファイルを作成します • 実⾏します
17. リポジトリを作ります 17 • リポジトリを作ります • ワークスペースを作ります • ワークスペースを初期化します • SQLXファイルを作成します • 実⾏します
18. リポジトリを作成 18 リポジトリIDと リージョンを指定
19. リポジトリを作成 19 リポジトリ作成後に表⽰されるサービス アカウントに権限を付与しておく
20. ワークスペースを作ります 20 • リポジトリを作ります • ワークスペースを作ります • ワークスペースを初期化します • SQLXファイルを作成します • 実⾏します
21. ワークスペースを作成 21 ワークスペースIDを指定
22. ワークスペースを初期化します 22 • リポジトリを作ります • ワークスペースを作ります • ワークスペースを初期化します • SQLXファイルを作成します • 実⾏します
23. ワークスペースを初期化 23 ワークスペースを初期化
24. ワークスペースを初期化 24 Dataformのコードが ⾃動⽣成される
25. SQLXファイルを作成します 25 • リポジトリを作ります • ワークスペースを作ります • ワークスペースを初期化します • SQLXファイルを作成します • 実⾏します
26. SQLファイルを作成 26 ワークスペースが作成される ファイルを作成を選択 ディレクトリ名含めて ファイル名を指定
27. SQLファイルを作成 27 コードを記述すると クエリ実⾏時の読み取り データ量が確認できる
28. 実⾏します 28 • リポジトリを作ります • ワークスペースを作ります • ワークスペースを初期化します • SQLXファイルを作成します • 実⾏します
29. Dataformを実⾏ 29 右上メニューの実⾏で 実⾏結果が確認できる
30. Dataformを実⾏ 30 タブメニューにある実⾏ を開始でワークフローを 実⾏する 全て実⾏ 選択実⾏ タグ指定実⾏
31. Dataformを実⾏ 31 EXECUTIONSで実⾏結果 が確認できる
32. Dataformを実⾏ 32
33. 3. 構成を確認する 33
34. リポジトリとワークスペース 34 リポジトリとは・・・ Dataform側で管理されているGitリポジトリ githubと連携可能で複数のリポジトリが作成可能 ワークスペースとは・・・ リポジトリ内のコードを編集するためのクラウド上の開発環境 １つのリポジトリに対して複数のワークスペースを作成可能 リポジトリA ワークスペース１ ワークスペース 2
35. ディレクトリ/ファイル構成を確認 35 definitions SQLXファイルを配置するディレクトリ ベストプラクティスとしては、以下のサブディレクトリ を作った階層構造が推奨されている sources︓ データソース宣⾔とソースデータの基本的な変換を定義 intermediate︓ sourcesから読み取り、データ変換するテーブルを定義 BIツールなどから参照されないレイヤー output︓ BIツールなどから参照する出⼒テーブルを定義
36. ディレクトリ/ファイル構成を確認 36 includes リポジトリ内で再利⽤するJavascriptファイルを配置する ディレクトリ Javascriptで関数と定数を定義してSQLXファイルにて利⽤可能 カスタムのパッケージを作成したり、オープンソースの パッケージも利⽤可能
37. ディレクトリ/ファイル構成を確認 37 dataform.json Dataformの設定ファイル
38. SQLXファイルの構成を確認 38 SQLXファイルを⾒てみる 構成ブロック SQLX本⽂
39. SQLXファイルの構成を確認 39 構成ブロックとは・・・ テーブルの説明やカラム定義、ラベルなどのメタデータを記述するブロック 出⼒するテーブル名、テーブルタイプなども指定可能 データ品質テストの定義もここに記載する 特に指定するものが必要なければ省略可能 SQLX本⽂とは・・・ プレーンなSQLによる新しいテーブルの構成情報とその依存関係を定義する 権限付与などテーブル作成後のSQLオペレーションを実⾏可能 Javascriptを使⽤したコードの再利⽤が可能
40. 構成ブロックを変更してみよう 40 configにdescriptionとtagsを追加してみる
41. 構成ブロックを変更してみよう 41 ワークフロー実⾏にタグが追加され、ワークフロー実⾏後、テーブルの説明が追加された
42. SQL本⽂を使って依存関係を確認してみよう 42 他にもファイルを追加してみる テーブル参照にrefを利⽤
43. SQL本⽂を使って依存関係を確認してみよう 43
44. 4. もう少し試してみる 44
45. 3．もう少し試してみる 45 もう少しDataformでできることを探ってみます。 試してみることは以下の通りです。 • Javascriptを使ってみる • assertionを使ってみる • githubと連携してみる • ワークフローを作成してみる
46. 事前準備 46 • Javascriptを使ってみる • assertionを使ってみる • githubと連携してみる • ワークフローを作成してみる
47. ベストプラクティスに沿ってファイルを移動 47 出⼒⽤のテーブル定義 途中変換のテーブル定義 データソース定義
48. Javascriptを使ってみる 48 • Javascriptを使ってみる • assertionを使ってみる • githubと連携してみる • ワークフローを作成してみる
49. Javascriptを使ってみる 49 includes配下にファイルを追加 定数を定義して module.exportsで外部参照 できるように指定
50. Javascriptを使ってみる 50 constants.[変数名]で参照可能 クエリ上では変数展開される
51. Javascriptを使ってみる（定数編） 51 タグにも利⽤できる
52. Javascriptを使ってみる（関数編） 52 関数も利⽤可能
53. Javascriptを使ってみる（操作編） 53 テーブル未作成の場合 はエラーとなる
54. Javascriptを使ってみる（操作編） 54 ワークフロー実⾏で テーブルが作成される データリネージも確認 可能
55. Javascriptを使ってみる（操作編） 55 publishの第２引数に configの設定を指定する ことも可能
56. assertionを使ってみる 56 • Javascriptを使ってみる • assertionを使ってみる • githubと連携してみる • ワークフローを作成してみる
57. assertionを使ってみる 57 configにassertionsを 追加 メタデータにも追加される
58. assertionを使ってみる 58 assertionsに不適合な データがあるとワーク フローでエラー
59. assertionを使ってみる 59
60. assertionを使ってみる 60
61. githubと連携してみる 61 • Javascriptを使ってみる • assertionを使ってみる • githubと連携してみる • ワークフローを作成してみる
62. githubと連携してみる 62 接続先のgithubの 情報を設定
63. githubと連携してみる 63
64. githubと連携してみる 64 Dataformで 初回コミット
65. githubと連携してみる 65 Dataformでリモート ブランチにPush
66. githubと連携してみる 66 githubで 修正してコミット
67. githubと連携してみる 67 Dataformでリモート ブランチからPull
68. githubと連携してみる 68
69. githubと連携してみる 69
70. ワークフローを作成してみる 70 • Javascriptを使ってみる • assertionを使ってみる • githubと連携してみる • ワークフローを作成してみる
71. ワークフローを作成してみる 71
72. ワークフローを作成してみる 72 起動頻度をcron式で指定 起動対象を指定
73. ワークフローを作成してみる 73
74. ワークフローを作成してみる 74
75. 5. まとめ 75
76. まとめ 76 ・Dataformは、データ基盤構築の中でデータ変換処理を管理するツール ・利⽤料⾦は無料（BigQueryのクエリ実⾏は別料⾦） ・SQLX+Javascriptで変換処理の実装ができる ・Google Cloud Console上でほとんどの操作が可能 ・データ変換だけでなく、ワークフローも設定可能 ・github/gitlabとの連携が可能
77. まとめ（個⼈的な⾒解） 77 ・VPC Service Controlsのサポートが欲しい →Access Context Managerを含めたIP制限ができないのでは︖ ・Source Repositoriesのサポートが欲しい →gihub/gitlabだけ。。 ・assersionsの使いどころが難しい →単純なNot NullやUniqueのチェックは簡単に実装できるがより複雑な カスタムテストを作成しようとすると難しくなる印象
78. ご視聴ありがとうございました 78