セマンティックレイヤー入門

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Copyright stable, inc. All rights reserved.  自己紹介  3 宮﨑一輝（ ikki）  stable株式会社代表取締役 & データエンジニア  - 略歴  - コンサル → データアナリスト → データエンジニア  - 2023年にstable株式会社を創業  - 得意領域   - dbtを用いたデータモデリング   - データ分析  - その他  - 犬2匹を飼っています🐶 

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright stable, inc. All rights reserved.  分析基盤1.0  8 分析基盤1.0は、それぞれのユーザーが、生データに対して SQLを投げてデータを   抽出しているような状態。 SQLが複雑で、集計定義の統一も不可能に近い。   分析基盤1.0  ❌ ユーザーは複雑な SQLを  書かなくてはいけない   ❌ 人によって独自の定義で集計するため定義がバラバラ  

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright stable, inc. All rights reserved.  分析基盤2.0  10 分析基盤2.0は、データモデリングがされている状態。生データの加工・統合に   より、ユーザーが使いやすく、定義が統一されたデータ基盤になる。   分析基盤2.0  データ  モデリング   ✅ 生データを加工・統合することで、分析しやすい状態にする   ✅ ユーザーが同じテーブルを   参照することで定義が統一される  

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright stable, inc. All rights reserved.  分析基盤2.0改  13 ユーザーが SQLを書かなくてもデータを見れるようにするために、データマートやダッシュボードを用意することはできるが、データ整備側の負担は大きい。   分析基盤2.0 改  データ  モデリング   ❌ データ整備側の負担が大きい。   管理する対象も増える。   ✅ ユーザーは SQLを  書かなくてもよくなる  

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright stable, inc. All rights reserved.  分析基盤3.0  15 分析基盤3.0は、セマンティックレイヤーが間に挟まっている状態。ユーザーは SQLを書かなくてよくなり、管理的な負担も抑えられることが期待される。   分析基盤3.0  データ  モデリング   ✅ 粒度違いのテーブルやダッシュボードを   管理することなく、管理対象を統一できる   セマンティック   レイヤー   ✅ ユーザーは SQLを  書かなくてもよくなる  

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み   17 セマンティックレイヤーの仕組みの概要は以下の図の通り。   「定義」「リクエスト」「内部処理」の 3つの観点で詳細を見ていく。   セマンティック   レイヤー   データエンジニア   分析ユーザー   データベース   定義  リクエスト   クエリ発行   結果  結果 

Slide 18

Slide 18 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み   18 セマンティックレイヤーの仕組みの概要は以下の図の通り。   「定義」「リクエスト」「内部処理」の 3つの観点で詳細を見ていく。   セマンティック   レイヤー   データエンジニア   分析ユーザー   データベース   定義  リクエスト   クエリ発行   結果  結果  内部処理  定義  リクエスト  

Slide 19

Slide 19 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み / 定義  19 セマンティックレイヤーを使うためには、主に「ディメンション」「メジャー」「リレーション」を定義しておく必要がある。   ディメンション  メジャー  リレーション  定義が必要な主なもの   ・・・　分析の切り口となる要素   ・・・　分析の測定対象となる定量的なデータ   ・・・　テーブル間の関係性  

Slide 20

Slide 20 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み / 定義 / ディメンション  20 ディメンション  メジャー  リレーション  定義が必要な主なもの   - 分析対象を様々な切り口（軸）で  「分類・グルーピング」するための属性   - 分析者が「〜ごとの」という分析を  するときの「〜」の部分にあたる  - 値としては人名・地名・商品名・日付   などの名詞からなるデータが中心となる  - 日付に関しては、「年 /月/日」の階層構造  を定義することでドリルダウンが実現可能  

Slide 21

Slide 21 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み / 定義 / メジャー  21 ディメンション  メジャー  リレーション  定義が必要な主なもの   - 分析の測定対象となる定量的なデータ   - 分析者が「〜ごとの xxxx」という分析を  するときの「xxxx」の部分にあたる  - 売上高、数量、金額、スコア、率などの   定量的なデータが中心となる  - カラムを定義するだけでなく、集計方法（ SUM, COUNT, AVG, MAX など）も定義する必要がある 

Slide 22

Slide 22 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み / 定義 / リレーション  22 ディメンション  メジャー  リレーション  定義が必要な主なもの   - テーブル間の関係性・結合方法を定義する   - リレーションを定義することで、複数のテーブルにディメンションとメジャーが分かれている場合でも集計することが可能になる  - ディメンショナルモデリングを用いている場合、スタースキーマを定義するのと等しい  

Slide 23

Slide 23 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み / リクエスト  23 分析ユーザーは、 SQLを書かずに、ディメンションとメジャーを選択するだけで分析することが可能。   商品  分析ユーザー   商品・月ごとの売上を  集計したいな〜   日付（Month）  ディメンション  メジャー  売上  定義済みのディメンション・メジャーを   選択するだけで集計可能（ = SQL不要） 

Slide 24

Slide 24 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み / 内部処理  24 選択されたディメンションとメジャーを元に、内部で SQLが自動生成される。   商品  日付（Month）  ディメンション  メジャー  売上  商品・月ごとの売上を   集計したい   select  item_name  , order_month  , sum(sales) as sales  from  orders  group by  item_name  , order_month  指定したメジャー・ディメンションから   SQLを自動生成してくれる  

Slide 25

Slide 25 text

Copyright stable, inc. All rights reserved.  セマンティックレイヤーの仕組み / まとめ  25 セマンティックレイヤーは、事前の定義と、ユーザーのリクエストに応じて、   クエリを自動生成して結果を返してくれる仕組み。   定義  リクエスト   内部処理   ディメンション・メジャー   ・リレーションを定義する   集計したい要素を   選択して集計（ SQL不要）  クエリが自動生成される  

Slide 26

Slide 26 text

Copyright stable, inc. All rights reserved.  （再掲）分析基盤3.0  26 分析基盤3.0は、セマンティックレイヤーが間に挟まっている状態。ユーザーは SQLを書かなくてよくなり、管理的な負担も抑えられることが期待される。   分析基盤3.0  データ  モデリング   ✅ 粒度違いのテーブルやダッシュボードを   管理することなく、管理対象を統一できる   セマンティック   レイヤー   ✅ ユーザーは SQLを  書かなくてもよくなる  

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright stable, inc. All rights reserved.  実現したいこと①：ラストワンマイル問題の解消   29 セマンティックレイヤーの導入により、「ラストワンマイル問題」の解決が期待される。   データ  モデリング   ✅ 複数のテーブルやダッシュボードを   管理することなく、管理対象を統一できる   セマンティック   レイヤー   ✅ ユーザーは SQLを  書かなくてもよくなる  

Slide 30

Slide 30 text

Copyright stable, inc. All rights reserved.  実現したいこと②：LLMによるデータ分析  30 LLMの発展により、ディメンションとメジャーを指定する必要もなくなり、   自然言語でのリクエストが一般的になっていくと考えられる。   商品  分析ユーザー   商品・月ごとの売上を  集計したい   日付（Month）  ディメンション  メジャー  売上  GUIでディメンション・メジャーを   選択する体験が一般的   自然言語でリクエストできるように   これまで   これから  

Slide 31

Slide 31 text

Copyright stable, inc. All rights reserved.  実現したいこと②：LLMによるデータ分析  31 LLMを使ったSQL生成は今後スタンダードになると考えられるが、セマンティックレイヤーがあることで、 SQL生成の精度が高くなることが期待される。   データ  モデリング   セマンティックレイヤー  LLMを使った SQL生成  LLMを使った SQL生成  解釈の幅が広いため、   意図通りの結果が返ってこない可能性が高い  

Slide 32

Slide 32 text

Copyright stable, inc. All rights reserved.  実現したいこと③：Headless BIによるBIツールの自由な選択   32 Headless BIとも呼ばれるセマンティックレイヤーの導入により、高機能な BIツールや、ユーザーに合わせた BIツール選定がしやすくなることが期待される。   データ  モデリング   セマンティック   レイヤー   別名：Headless BI  可視化などの機能を   持たないBIツールという意味  BIツールを自由に選択できる  

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Copyright stable, inc. All rights reserved.  課題①：データエンジニアのリソース不足   34 セマンティックレイヤーはディメンション・メジャーなどの事前定義が必要。   定義を行うデータエンジニアのリソース不足が課題のひとつとして挙げられる。   セマンティック   レイヤー   分析ユーザー   データベース   リクエスト   クエリ発行   結果  結果  データエンジニア   定義  事前定義の   リソース不足  

Slide 35

Slide 35 text

Copyright stable, inc. All rights reserved.  課題①：データエンジニアのリソース不足   35 分析ユーザーにセマンティックレイヤーの実装の一部を任せることで、   データエンジニアの負担を減らすような運用が理想的か。   セマンティック   レイヤー   分析ユーザー   データエンジニア   自分が作成した指標について   Pull Requestを送る  承認  同期  データベース   クエリ発行   結果  リクエスト   結果 

Slide 36

Slide 36 text

Copyright stable, inc. All rights reserved.  課題②：データモデリングの不在   36 データモデリングを行わず、セマンティックレイヤーの導入を行うことは可能。   だが、それでは「汚いデータが見やすくなっただけ」になる可能性が高い。   分析基盤  1.0  分析基盤  2.0  分析基盤  3.0  直接クエリ   セマンティックレイヤーの導入  データモデリングの導入  いきなりセマンティックレイヤーを導入してしまう  