ディメンショナル モデリング入門 / introduction-to-dimensional-modeling

Youtube
https://www.youtube.com/watch?v=jRBFXbPh1bM

イベントページ
https://usergroups.snowflake.com/events/details/snowflake-japan-presents-minnanodetamoderujiang-zuo-jin-hua-bian-deimenshiyonarumoderinguru-men/

ディメショナル・モデリングとは
https://zenn.dev/pei0804/articles/dimensional-modeling

Transcript

1. ディメンショナル モデリング入門 みんなのデータモデル講座 第2回 進化編 snowvillage.slack.com #みんなのシリーズ
2. アジェンダ • 自己紹介 • 概要 • 実践 • まとめ
3. 自己紹介 ぺい @pei0804 近森淳平(チカモリ　ジュンペイ) CARTA HOLDINGS （旧VOYAGE GROUP） Zucks システム局 エンジニア
4. techblog.cartaholdings.co.jp, The Zen of Zucks, 2022/06/10, https://techblog.cartaholdings.co.jp/entry/the-zen-of-zucks
5. 講座のゴール • 会話をモデルに、落とし込む勘所を掴む。
6. 話さないこと • データをどのように集めるかについては、言及しません。 ◦ データがある程度、揃ってる前提で話をします。
7. アジェンダ • 自己紹介 • 概要 • 実践 • まとめ
8. ディメンショナルモデリングとは
9. 世界には、2つの情報システムがある。
10. それが、業務システムと分析システム。
11. 業務システム・分析システム ビジネスプロセスの実行支援する業務システム、 ビジネスプロセスを分析支援する分析システムがあります。 それぞれ根本的に異なる目的があるため、 異なる原則に基づき設計が進化してきました。
12. 第3正規化とディメンショナルモデリング 業務システムの目的は、ビジネスプロセスで発生した 重要な事実や行動を記録する。一般的にはトランザクションシステムと呼ばれ ている。このようなシステムをリレーショナル・データベースで実装する時に、業 務システムに最適なスキーマ設計として、 第3正規化が広く活用されている。 一方で、分析システムは、実行されたビジネスプロセスの評価をする。 このビジネスプロセスの評価に、ディメンショナルモデリングが 非常に有効な手法である。
13. ビジネスプロセスとは
14. ビジネスプロセスとは ビジネスプロセスとは、組織が行う業務活動のこと。 • 広告を表示する。 • 注文を受ける。 • 請求書を発行する。 • 支払いを受ける。 • 学生を登録する。 • 医療処置の実行する。
15. ディメンショナルモデリングを使うことで、 業務活動が分析可能になります。
16. 難しそうですが、 会話をモデリングするだけです。
17. アジェンダ • 自己紹介 • 概要 • 実践 • まとめ
18. アドテクのビジネスプロセスを モデリングしてみよう アドテクを題材にやっていきます。 簡単な例を使って、データをモデリングしていく工程を、 お見せできればと思います。 実際の現場のデータは、もっとカオスだとは思いますが、 本質的なところは大きく変わらないので、参考になると思います。
19. Four-Step Dimensional Design Process
20. www.kimballgroup.com/data-warehouse-business-intelligence-resources/ kimball-techniques/dimensional-modeling-techniques/four-4-step-design-process
21. Four-Step Dimensional Design Process 1. ビジネスプロセスの選択。(Select the business process) 2. 粒度を宣言する。(Declare the Grain) 3. ディメンションを特定する。(Identify the dimensions) 4. ファクトを特定する。(Identify the facts)
22. Four-Step Dimensional Design Process 1. ビジネスプロセスの選択。(Select the business process) 2. 粒度を宣言する。(Declare the Grain) 3. ディメンションを特定する。(Identify the dimensions) 4. ファクトを特定する。(Identify the facts)
23. 1.ビジネスプロセスの選択
24. ビジネスプロセスの選択 データをモデリングする前に、ビジネスを理解することは重要です。 用意されたデータに目を通して、モデリングすることは簡単ですが、 最も良いのは、社内の色々な従業員と対話して、 人々が何をしたいのかを理解することです。 また、この工程は全体の中で、最も重要です。 ここで失敗すると、修復困難な欠陥が、連鎖的に発生することになります。 ビジネスプロセスの整理には、Business Process Modelling Notation (BPMN)やUnified Modelling Language (UML)が使えます。
25. どっから手をつければ・・・
26. 秘伝のエクセル
27. 需要は秘伝のエクセルに宿る これからデータ基盤を作る人に、おすすめの方法があります。 それは、ビジネスユーザーの手元にあるエクセルを貰うことです。 用意された環境だけでは、得られない本当にほしいデータまでの ラストワンマイルが、表現されていることがよくあります。 勿論どういった背景で、そのシートが作られているか聞きましょう。 その上で、同等のものが出せるモデリングをしましょう。 恐らく人々は、モデリングの力に感動するでしょう。
28. 選択するビジネスプロセス 今回は、「先月の広告クリック数を、広告掲載メディア別で見たい。」を、 ビジネスユーザーが見たいという前提で進めます。 実際には、対話を通じて、何に何故、興味があるかを引き出しましょう。
29. Four-Step Dimensional Design Process 1. ビジネスプロセスの選択。(Select the business process) 2. 粒度を宣言する。(Declare the Grain) 3. ディメンションを特定する。(Identify the dimensions) 4. ファクトを特定する。(Identify the facts)
30. 2.粒度を宣言する
31. 粒度を宣言する 粒度の宣言とは、個々のファクトの行が、 何を表しているかを正確に指定します。 粒度とは、ファクトの測定値に関する詳細度を決めるものです。 もう少し具体的に書くと、 「ファクトテーブルの単一行をどのように表現するか」を決めます。
32. ファクトとは ビジネスプロセスに関連する量的な数値や指標を表します。 よくあるファクトの例。 • 売上 • 費用 • 利益 • 在庫量
33. 粒度の宣言例 粒度は、業務システムなどで発生するビジネスプロセスが、 補足できる内容で決定されることがほとんどです。 例えば、以下のようなものが粒度の宣言例です。 • 顧客の販売取引で、個々の商品のスキャンごとに1行。 • 空港のゲートでスキャンされた個々の搭乗券1枚につき1行。
34. 粒度の宣言の重要性 無視をしてよさそうな工程ですが、実は非常に重要です。 現場で働いていて、最も混乱が起きるポイントでもあります。 粒度の認識に齟齬がある場合に何が起きるか、 例えばファクトを横断した分析は非常に困難になります。 具体例を出すと、月次のデータと日次のデータを、 日次で横断して分析したいと言われても出来ませんよね？ データの粒度が揃っていないと、すぐに破綻して、 このステップに戻ってくることになります。
35. 粒度は最小粒度で宣言する 将来的に、どのような質問が来るかはわかりません。 そのため、粒度を宣言する時は、最小粒度を推奨します。 常に最小粒度にしておけば、出そうと思えば出せる状態になります。 例えば、時間別のデータがあるとします。このデータから、 日次、月次、年次のデータにすることは、可能ですが、 年次のデータを月次に戻すことはできませんといった具合に、 低い粒度から、高い粒度は、表現できても、逆は無理だからです。
36. 【問題】広告へのクリックの最小粒度は？
37. 広告へのクリックの最小粒度 「表示された広告に対するクリック1回につき、1行。」になります。 クリックは、これ以上細かい表現にすることは無理そうなので、 恐らくこれが最小粒度になるはずです。 実践では、すぐに最小粒度を特定できないかもしれませんが、 基本的には、これ以上細かく分割が出来ない状態になってれば、 それは最小粒度になっているはずです。
38. 粒度を間違えてるデータあるある 粒度を間違えることある？と思う人も居るでしょう。 確かに、この工程を踏んでいれば、間違えることはないです。 粒度を意識してモデリングするのは、実は難しいです。 例えば、複数のことを扱っているテーブルなんだけど、 typeカラムで、うまく分岐させてるみたいなテーブル見たことありませんか？ その手のテーブルは、基本的に粒度を間違えています。 あとは、何かの事実を取得する際に、必ずWhere句が必須なデータとかも、 粒度が怪しい可能性があります。意外と身近にあるので探してみてください。
39. タイプで分岐させるテーブルの例 SELECT id, amount FROM score WHERE score_type = 1
40. ログから改善する ログから改善する価値については、 過去に発表しているので、 興味ある方は、 こちらの資料を御覧ください。 https://speakerdeck.com/pei0804/modeling-over-shiny-tech
41. Four-Step Dimensional Design Process 1. ビジネスプロセスの選択。(Select the business process) 2. 粒度を宣言する。(Declare the Grain) 3. ディメンションを特定する。(Identify the dimensions) 4. ファクトを特定する。(Identify the facts)
42. 3.ディメンションを特定する
43. ディメンションとは 事実（ファクト）に文脈を提供します。 これは一般的にビジネスの観点からの属性や特性を表します。 よくあるディメンションの例。 • 時間（年、四半期、月、日） • 地理（国、州、都市） • 製品（カテゴリ、製品名） • 顧客（年齢、性別、地域）
44. ディメンションの役割 ビジネスプロセスを評価する上で、ファクト（事実）に意味はないです。 ディメンション（文脈）がセットになって、ファクトは情報になります。 冒頭に出した広告クリックに関する質問例も、 広告クリックの数だけもらっても意味はなくて、 そこに、文脈を付け加えることで情報になります。
45. 【問題】先月の広告クリック数を、 広告掲載メディア別で見たい。 のディメンション（文脈）は？
46. ディメンションを特定する 「先月の広告クリック数を、広告掲載メディア別で見たい。」の ディメンションは、先月を表現する日付とメディアの２つです。 作成するとしたら、以下のようなディメンションになります。 • media_key = bar • media_id = 1 • media_name = メディア名 • etc… メディア ディメンション • date_key = hoge • date_day = 2023-06-12 • day_of_month = 06 • etc… 日付ディメンション
47. Four-Step Dimensional Design Process 1. ビジネスプロセスの選択。(Select the business process) 2. 粒度を宣言する。(Declare the Grain) 3. ディメンションを特定する。(Identify the dimensions) 4. ファクトを特定する。(Identify the facts)
48. 4.ファクトを特定する
49. ファクトの特定 この工程では、「このプロセスは何を測定しているのか？」 という問いに、答えることでファクトを特定します。 基本的に、この工程では、粒度が適切に宣言されている場合には、 特定作業で苦労することはありませんが、 実データが宣言通りではないケースに、遭遇することがよくあります。
50. ファクトの特定 粒度の宣言を行っている場合、宣言した粒度通りに、 ファクトを特定するだけです。 テーブル構造的には、以下のようなイメージ。 • date_key = hoge • click_key = fuga • media_key = bar • click_id = hoge • media_id = 1 • clicked_at = 2022-06-12 … • click_amount = 1 • etc… クリック ファクト 宣言した粒度 「表示された広告に対するクリック1回につき、1行。」
51. データの理想と現実 この工程では、理想と現実に挟まれることが多くなります。 想定と実データが違うことで、簡単に実現できないなどです。 しかしながら、ユーザーの要求を優先することをおすすめします。 欲しいものがあるなら、それを実現する方が良いです。 システムの都合を優先すると、うまく行かないことの方が多いです。
52. 扱いにくいデータに対しての戦い方 データを整理し始めの頃は、扱いにくいデータに囲まれるものです。 こういう場合にやれることは、2つあります。 データそのものに改善を入れることで、扱いやすくする。 加えて、データの作り方のベストプラクティスを示すことで、 良いデータとは何か？の共通認識を組織で持つことです。 データを整理するあなただけが、頑張るのではなく。 全員で取り組むべき課題として捉えるのが、おすすめです。 データは、営みから生まれるので、当然と言えば当然です。
53. 平和に終われば、 テーブルを作成して、SQLを書くだけ。
54. • date_key = hoge • click_key = fuga • media_key = bar • etc… クリック ファクト • media_key = fuga • etc… メディア ディメンション • date_key = 1 • etc… 日付ディメンション media_key date_key
55. 先月の広告クリック数を、広告掲載メディア別で見る SELECT d_media.media_name, sum(fct_clicks.click_amount) AS click_amount FROM fct_clicks INNER JOIN dim_media ON fct_clicks.media_key = d_media.media_key INNER JOIN dim_date ON fct_clicks.order_date_key = d_date.date_key WHERE d_date.day_of_month = 6 GROUP BY 1
56. ディメンショナルモデリングのメリット • 決まったポリシーで、モデリングが行えるので、 経験則に依存せずに、一定レベルの使い勝手を担保できる。 • 正規化したテーブルより、集計や分析クエリのパフォーマンスが高い。 • 分析業務の要求に対して柔軟に対応できる。 ◦ 例えば、ファクトやディメンションの追加などが容易。
57. ディメンショナルモデリングのデメリット • 読み取りに最適化されるため、トランザクションシステムには不向き。 • ETLプロセスが複雑になる。 ◦ 現代においては、便利なツールが増えたので、 大きなデメリットではなくなった。(dbt, Dataform, etc…) • 日本語でアクセスできる情報が、正規化に比べると少ない。
58. さらに学びたい方へ • ディメンションモデリング ◦ https://zenn.dev/pei0804/articles/dimensional-modeling • Building a Kimball dimensional model with dbt ◦ https://docs.getdbt.com/blog/kimball-dimensional-model • Star Schema The Complete Reference ◦ 書籍です。
59. モデリングに関する質とスピード モデリングにかけるコストと、価値提供までのリードタイムは、 私の経験上、トレードオフの関係ではありません。 適切なモデリングが行われてない現場ほど、リードタイムが長いです。 例えば、少し違うレポートを出すだけで、クエリが大変なことになったりしてます。 残念ながら、モデリングをサボっても、価値提供は早くなりません。 むしろ、適切なモデリングが、素早い価値提供に直結します。
60. アジェンダ • 自己紹介 • 概要 • 実践 • まとめ
61. まとめ
62. 【問題】今日の広告表示数を、広告種別ごとに見たい。 ディメンションとファクトはどれ？
63. 今日の広告表示数を、広告種別ごとに見たい。 ディメンション ファクト
64. あとはやるだけ。