Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
信頼できるデータを届け、使うのは?
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Shasha
January 29, 2024
Technology
290
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
信頼できるデータを届け、使うのは?
Shasha
January 29, 2024
More Decks by Shasha
See All by Shasha
20221004_AKIBA.SaaS
shasha48
0
11
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
14
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
90
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
50
dbtとLookerの 境界線を定めます!
shasha48
0
130
DataObserbabilityDevIO2023.pdf
shasha48
0
1.1k
dbtの概要
shasha48
1
1.2k
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
990
Other Decks in Technology
See All in Technology
人材育成分科会.pdf
_awache
4
250
AAIFに入ってみた ~内から見えるコミュニティ動向~
sato4
0
210
LayerXにおけるセキュリティ管理の現在地と次の一手
tosho
0
180
【Snowflake Summit 2026 Recap!!】Snowflake Summit Deep Dive: Security & Governance
civitaspo
0
170
RAG を使わないという選択肢
tatsutaka
1
230
小さく始める AI 活用推進 ― 日経電子版 Web チームの事例/nikkei-tech-talk47
nikkei_engineer_recruiting
0
260
2026.06.13_AI時代に事業会社が「SIer出身エンジニア」を求める理由 / Why Businesses Seek Engineers with a System Integrator Background in the AI Era
jumtech
0
1.1k
AIエージェントが名古屋の猛暑からあなたを守る
happysamurai294
0
110
なぜ Platform Engineering の土台に Kubernetes を選ぶのか
r4ynode
2
640
2026TECHFRESH畢業分享會 - Lightning Talk - E起 See See : 電商推薦讀心術? 數據說了算
line_developers_tw
PRO
0
980
AGENTS.mdとSkillsで始めるAIエージェント活用
sonoda_mj
3
210
2026 TECHFRESH 畢業分享會 - 開發日常大解密!從領域驅動到企業級上線
line_developers_tw
PRO
0
990
Featured
See All Featured
Context Engineering - Making Every Token Count
addyosmani
9
960
Visual Storytelling: How to be a Superhuman Communicator
reverentgeek
2
560
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
aleyda
1
2.1k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
380
Applied NLP in the Age of Generative AI
inesmontani
PRO
4
2.3k
My Coaching Mixtape
mlcsv
0
150
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
230
Navigating the Design Leadership Dip - Product Design Week Design Leaders+ Conference 2024
apolaine
1
350
The Power of CSS Pseudo Elements
geoffreycrofte
82
6.3k
HTML-Aware ERB: The Path to Reactive Rendering @ RubyCon 2026, Rimini, Italy
marcoroth
1
190
Code Reviewing Like a Champion
maltzj
528
40k
Transcript
人人人 信頼できるデータを届け、使うのは? アライアンス事業部 ほりもと りさ 4
5 自己紹介 名前:ほりもと りさ(ブログ:紗紗) 所属:アライアンス事業部 役割:アナリティクスコンサルタント 製品:Looker、Snowflake、dbt... 最近爆上げだった出来事:1/28のKing Gnuのライブ (1/26記入) ヌーの末端構成員になった週末でした。
King Gnueを好きになったきっかけは、常田さんが楽曲提供したSixTONESの「マスカラ」にどハマりしたからです。
6 • はじめに ◦ 人人人の発端 • データを信頼できる形で提供する ということ ◦ Lookerのはなし
◦ dbtのはなし 本日お話しする内容
7 はじめに ⽣ ど 君 き う た る ち
か は
8 は? は?
9 事の発端1: 逆浦島太郎 日々進歩する取扱製品に 追いつかないと! 新しい製品も出てきた! 追いつかないと!!
10 見て見て クラスメソッドが扱っているだけでもこんだけある そして、これはまだ一部
11 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories
12 現実世界① Snowflake、ああ、いい曲だよね。 (多分)そもそもSnowflakeはおろかデータウェアハウススラ知らない人も多く いそうなこの世の中。朕は外股、髭面。 Looker、ああ知ってるよ。Googleのね。 まぁ無料だしいいんじゃない。有料版にしたらちょっといい感じになるんで
しょ。LookML??ああ、へぇ〜Lookerのマシーンラーニング??あるんだぁ知 らなかった。 dbt・・・・・・・・・・・・・。 ああ、今なんか言った?ん???dbt・・・・・・・・・・・・。 Snowflakeはいい曲だよね。
13 現実世界② Looker入れてみたけど、使ってもらえないわー。 LookMLはすごくいいけど、 結局みんな好き勝手開発しちゃってたりする・・・。 Snowflakeって機能がありすぎてちゃんと使えてるのかわからん。
dbtいいけど、結局みんな好き勝手にテーブル作っちゃうよな。
14 人間存在それは混沌
15 ってことで・・・ ⽣ ど 君 き う た る ち
か は
16 チャンネルはそのまま! 真面目に話しますね
17 事の発端2: Monte Carlo 昨年8月にデータオブサーバビリティについて ビデオセッションを公開しました
18 データエンジニアリングで大事なこと 信頼できる形でデータをユーザーに提供する モダンデータスタック最前線〜データオブザーバビリティ〜 : https://youtu.be/CDpt5-L3_Yc?si=fvIAtoRoFBOd2QV1
19 データの信頼性 Data ObservabilityツールのMonte Carloのブログ What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
20 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
21 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
22 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories
23 なぜならば...
24 人人人 データを使うのは? 希望BGM: IMAGINE - John Lenon
25 人 人 希望BGM: IMAGINE - John Lenon
26 人人人 データから示唆を得るの は? 希望BGM: IMAGINE - John Lenon
27 人 人 希望BGM: IMAGINE - John Lenon
28 人人人 データ分析関連ツールを使 うのは? 希望BGM: IMAGINE - John Lenon
29 人 人 希望BGM: IMAGINE - John Lenon
30 人人人 希望BGM: SixTONES「人人人」
31 どんな素晴らしい ツールを導入しようとも 人が使うものには どうやって使って欲しいか 現状どういう状態なのかっていう ドキュメントが必要 希望BGM: SixTONES「人人人」
32 人の価値 Priceless... 希望BGM: IMAGINE - John Lenon
33 ドキュメントの価値 Priceless... 希望BGM: IMAGINE - John Lenon
34 ってことで・・・ ⽣ ど 君 き う た る ち
か は 希望BGM: 米津玄師「地球儀」
35 結論 データ分析ツールちゃんと使おうな
36 データを信頼できる形で提供するということ
37 本日お話しするツール • Looker ◦ BIツール • dbt ◦ データ変換ツール
38 dbtとLookerの共通点 データを信頼できる形で活用できるようにするツール dbtとLookerの境界線を定めます!: https://youtu.be/JAAyU5tfREA?si=5wpxQdrq7-odSCkM
39 Lookerの特徴 • 一元的なデータモデル管理 ◦ LookMLと言う独自の言語を使って、一元的にデータモデルを 作成・管理。一貫性と信頼性のあるデータアクセスを実現し、 データガバナンスを強化 • 権限とアクセス制御
◦ ユーザーレベルでの詳細なアクセス制御が可能。ユーザーの 役割に応じてデータアクセスを厳格に管理できる
40 dbtの特徴 • シンプルかつ容易にデータ変換が可能 ◦ 簡単なSQLさえ知っていればOK • ソフトウェアエンジニアのようにデータパイプラインを開発 できる ◦
バージョン管理、自動テスト、ドキュメンテーション、再利用性
41 絶対に避けたいこと • Looker入れてなおカオス • dbt入れてなおカオス
42 なおっス!
43 なおスっ!になる前に 運用方法を検討しよう
1. ちゃんと広める、使ってもらう a. DWHとBIの間にLookerモデルをかま せる!!!!!! b. 開発者はビジネスユーザーを意識し て開発するの大事 2. 定型のダッシュボードはLookMLで一
元管理する 3. 使っていないコンテンツは定期的に 棚卸しする 4. Custom Fieldsはユーザーの成熟度 に応じて付与する a. 恒常的に使うのならばLookMLで 定義する 44 Lookerの運用方法 • 開発ガイドライン、スタイルガイドを定 める • 参考サイト ◦ LAMS Style Guide • 参考になるLooker導入企業の発信 ◦ Looker運用を2年続けて見えた 課題と次の一手 ◦ [レポート]マネーフォワードが実 践する「SSOT」とデータの民主化 に向けた取り組み LookML開発者 ビジネスユーザー
45 溢れる想い...Priceless
46 Lookerは初期導入が大事 LookMLの良さをビジネスユーザーに理解してもらう ↑↑↑↑↑↑ 大事すぎるので300回書きたい
47 じゃあ、書けばいいじゃないか LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
48 500回いけた
49 LookMLがハマるパターン それぞれ、思い思いの表現で...夏 • ダウンロードしてきたファイ ルのデータがそもそもどこの 馬の骨 • Aさんの売上の数字とBさん の売上の数字が違う
• 秘伝のタレみたいなExcel
DWHとBIの間にLookerモデルをかませる!!!!!! 50 Lookerを使う範囲を決める 手元の集計はそれぞれが使い やすいツールを使えばいい。 データソースを一元化できるだ けでだいぶ違う!!
DWHとBIの間にLookerモデルをかませる!!!!!! 51 Lookerを使う範囲を決める • 常に最新の正しいデータが 手に入る • 他の人と数字がズレてると か言われない
52 Looker まとめ • まずはビジネスユーザーに使ってもらう ◦ 使ってもらわないとカオスにもならない • 開発ガイドライン・スタイルガイドを決める ◦
チームで開発しても個人差が出づらい ◦ 後から開発者が加入しても状況把握が楽になる
Mart層から部署やチームに渡せるのが理想 53 dbtの運用ルール:理想 Raw Data層 Staging層 Data Warehouse層 Data Mart層
DWH データエンジニアチーム 部署・チーム
層分けは組織によって変わっていい ただ、分けておくと責任範囲を明確にできる 54 dbtの運用ルール:理想 Raw
Data層 Staging層 Data Warehouse層 Data Mart層 DWH
55 dbt 開発ガイドライン • Best practice guides ◦ 日本語でまとめ「dbt Style
Guideを読む」 • 新しいモデルを作成する時は、ドキュメントに以下を書く ◦ 作成年月 ◦ 作成者 ◦ 作成目的 ↑Example Looker Developer Guidelines を参考 責任範囲が明確になります!
56 組織のSQL成熟度によっては難しい • 理想は理想なので、現実的な方法を選択する ◦ データの持ち方って組織やチームのやりたいことによって千差 万別だなと・・・ • データ活用の規模が大きくなっても耐えうる基盤にしてお きたい
↑ 導入して終わりではなく、導入してからも試行錯誤があるよ()
57 dbtを導入する前の世界 それぞれ、思い思いの表現で...冬 • DWHの外で変換処理が必要 ◦ SQLだけでは難しい処理 • 野良SQL、野良マート •
どこの馬の骨かわからないview、 table
58 dbtを導入した世界 Data Mart Data Mart Data Mart Data Mart
生データをDWHに入れてしま う。問題が起こっても調査範囲 をDWHに限定できる。 dbtで変換処理を行ったテーブ ルを参照。ソースまでそのテー ブルの来歴を辿れる。
59 dbtまとめ • データエンジニアの責任範囲とビジネスユーザーの責任 範囲を明確にする • データ活用の規模が大きくなっても耐えうる基盤が構築で きる
60 Git統合がある LookerもdbtもGit統合している • 好き勝手に開発されても本番に影響がでない • プルリクが通ったものだけが本番にデプロイされる
61 データエンジニアリングで大事なこと 信頼できる形でデータをユーザーに提供する モダンデータスタック最前線〜データオブザーバビリティ〜 : https://youtu.be/CDpt5-L3_Yc?si=fvIAtoRoFBOd2QV1
62 人間を諦めるな
63 まとめ ⽣ ど 君 き う た る ち
か は
64