Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
信頼できるデータを届け、使うのは?
Search
Shasha
January 29, 2024
Technology
290
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
信頼できるデータを届け、使うのは?
Shasha
January 29, 2024
More Decks by Shasha
See All by Shasha
20221004_AKIBA.SaaS
shasha48
0
11
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
14
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
90
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
50
dbtとLookerの 境界線を定めます!
shasha48
0
130
DataObserbabilityDevIO2023.pdf
shasha48
0
1.1k
dbtの概要
shasha48
1
1.2k
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
990
Other Decks in Technology
See All in Technology
新しいVibe Codingと”自走”について
watany
6
320
エラーバジェットのアラートのタイミングを考える.pdf
kairim0
0
150
手塩にかけりゃいいってもんじゃない
ming_ayami
0
570
フロンティアAIのゲート化と地政学リスク
nagatsu
0
140
SONiCの統計情報を取得したい
sonic
0
160
攻撃者視点で考えるDetection Engineering
cryptopeg
3
1.8k
AIの性能が向上しても未解決な組織の重大問題は何か?/An Unsolved Organizational Problem in the Age of AI
moriyuya
4
660
データサイエンスを価値につなげるプロジェクト設計 〜 DS一年目が現場で得た気づき 〜
ysd113
1
240
小さくはじめるSLI/SLO ~育てながら組織に定着させる実践知~ / Starting Small with SLI/SLOs: Building Adoption Through Continuous Growth
nari_ex
7
1.9k
スキルと MCP ツール、責務をどう分けるか? AI が迷わないインターフェース設計の戦略
cdataj
1
1k
日本 Fintech 未来予測レポート 2027〜2028年(オリジナル版)
8maki
0
2.2k
Claude Code の Sandbox 機能を Anthropic Sandbox Runtime(srt) で試そう!/lets-play-anthropic-sandbox-runtime
tomoki10
1
590
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k
Leading Effective Engineering Teams in the AI Era
addyosmani
9
2k
Accessibility Awareness
sabderemane
1
140
Facilitating Awesome Meetings
lara
57
7k
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
280
The Spectacular Lies of Maps
axbom
PRO
1
810
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.7k
The Cult of Friendly URLs
andyhume
79
6.9k
AI: The stuff that nobody shows you
jnunemaker
PRO
8
710
How to train your dragon (web standard)
notwaldorf
97
6.7k
GitHub's CSS Performance
jonrohan
1033
470k
The Language of Interfaces
destraynor
162
27k
Transcript
人人人 信頼できるデータを届け、使うのは? アライアンス事業部 ほりもと りさ 4
5 自己紹介 名前:ほりもと りさ(ブログ:紗紗) 所属:アライアンス事業部 役割:アナリティクスコンサルタント 製品:Looker、Snowflake、dbt... 最近爆上げだった出来事:1/28のKing Gnuのライブ (1/26記入) ヌーの末端構成員になった週末でした。
King Gnueを好きになったきっかけは、常田さんが楽曲提供したSixTONESの「マスカラ」にどハマりしたからです。
6 • はじめに ◦ 人人人の発端 • データを信頼できる形で提供する ということ ◦ Lookerのはなし
◦ dbtのはなし 本日お話しする内容
7 はじめに ⽣ ど 君 き う た る ち
か は
8 は? は?
9 事の発端1: 逆浦島太郎 日々進歩する取扱製品に 追いつかないと! 新しい製品も出てきた! 追いつかないと!!
10 見て見て クラスメソッドが扱っているだけでもこんだけある そして、これはまだ一部
11 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories
12 現実世界① Snowflake、ああ、いい曲だよね。 (多分)そもそもSnowflakeはおろかデータウェアハウススラ知らない人も多く いそうなこの世の中。朕は外股、髭面。 Looker、ああ知ってるよ。Googleのね。 まぁ無料だしいいんじゃない。有料版にしたらちょっといい感じになるんで
しょ。LookML??ああ、へぇ〜Lookerのマシーンラーニング??あるんだぁ知 らなかった。 dbt・・・・・・・・・・・・・。 ああ、今なんか言った?ん???dbt・・・・・・・・・・・・。 Snowflakeはいい曲だよね。
13 現実世界② Looker入れてみたけど、使ってもらえないわー。 LookMLはすごくいいけど、 結局みんな好き勝手開発しちゃってたりする・・・。 Snowflakeって機能がありすぎてちゃんと使えてるのかわからん。
dbtいいけど、結局みんな好き勝手にテーブル作っちゃうよな。
14 人間存在それは混沌
15 ってことで・・・ ⽣ ど 君 き う た る ち
か は
16 チャンネルはそのまま! 真面目に話しますね
17 事の発端2: Monte Carlo 昨年8月にデータオブサーバビリティについて ビデオセッションを公開しました
18 データエンジニアリングで大事なこと 信頼できる形でデータをユーザーに提供する モダンデータスタック最前線〜データオブザーバビリティ〜 : https://youtu.be/CDpt5-L3_Yc?si=fvIAtoRoFBOd2QV1
19 データの信頼性 Data ObservabilityツールのMonte Carloのブログ What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
20 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
21 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
22 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories
23 なぜならば...
24 人人人 データを使うのは? 希望BGM: IMAGINE - John Lenon
25 人 人 希望BGM: IMAGINE - John Lenon
26 人人人 データから示唆を得るの は? 希望BGM: IMAGINE - John Lenon
27 人 人 希望BGM: IMAGINE - John Lenon
28 人人人 データ分析関連ツールを使 うのは? 希望BGM: IMAGINE - John Lenon
29 人 人 希望BGM: IMAGINE - John Lenon
30 人人人 希望BGM: SixTONES「人人人」
31 どんな素晴らしい ツールを導入しようとも 人が使うものには どうやって使って欲しいか 現状どういう状態なのかっていう ドキュメントが必要 希望BGM: SixTONES「人人人」
32 人の価値 Priceless... 希望BGM: IMAGINE - John Lenon
33 ドキュメントの価値 Priceless... 希望BGM: IMAGINE - John Lenon
34 ってことで・・・ ⽣ ど 君 き う た る ち
か は 希望BGM: 米津玄師「地球儀」
35 結論 データ分析ツールちゃんと使おうな
36 データを信頼できる形で提供するということ
37 本日お話しするツール • Looker ◦ BIツール • dbt ◦ データ変換ツール
38 dbtとLookerの共通点 データを信頼できる形で活用できるようにするツール dbtとLookerの境界線を定めます!: https://youtu.be/JAAyU5tfREA?si=5wpxQdrq7-odSCkM
39 Lookerの特徴 • 一元的なデータモデル管理 ◦ LookMLと言う独自の言語を使って、一元的にデータモデルを 作成・管理。一貫性と信頼性のあるデータアクセスを実現し、 データガバナンスを強化 • 権限とアクセス制御
◦ ユーザーレベルでの詳細なアクセス制御が可能。ユーザーの 役割に応じてデータアクセスを厳格に管理できる
40 dbtの特徴 • シンプルかつ容易にデータ変換が可能 ◦ 簡単なSQLさえ知っていればOK • ソフトウェアエンジニアのようにデータパイプラインを開発 できる ◦
バージョン管理、自動テスト、ドキュメンテーション、再利用性
41 絶対に避けたいこと • Looker入れてなおカオス • dbt入れてなおカオス
42 なおっス!
43 なおスっ!になる前に 運用方法を検討しよう
1. ちゃんと広める、使ってもらう a. DWHとBIの間にLookerモデルをかま せる!!!!!! b. 開発者はビジネスユーザーを意識し て開発するの大事 2. 定型のダッシュボードはLookMLで一
元管理する 3. 使っていないコンテンツは定期的に 棚卸しする 4. Custom Fieldsはユーザーの成熟度 に応じて付与する a. 恒常的に使うのならばLookMLで 定義する 44 Lookerの運用方法 • 開発ガイドライン、スタイルガイドを定 める • 参考サイト ◦ LAMS Style Guide • 参考になるLooker導入企業の発信 ◦ Looker運用を2年続けて見えた 課題と次の一手 ◦ [レポート]マネーフォワードが実 践する「SSOT」とデータの民主化 に向けた取り組み LookML開発者 ビジネスユーザー
45 溢れる想い...Priceless
46 Lookerは初期導入が大事 LookMLの良さをビジネスユーザーに理解してもらう ↑↑↑↑↑↑ 大事すぎるので300回書きたい
47 じゃあ、書けばいいじゃないか LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
48 500回いけた
49 LookMLがハマるパターン それぞれ、思い思いの表現で...夏 • ダウンロードしてきたファイ ルのデータがそもそもどこの 馬の骨 • Aさんの売上の数字とBさん の売上の数字が違う
• 秘伝のタレみたいなExcel
DWHとBIの間にLookerモデルをかませる!!!!!! 50 Lookerを使う範囲を決める 手元の集計はそれぞれが使い やすいツールを使えばいい。 データソースを一元化できるだ けでだいぶ違う!!
DWHとBIの間にLookerモデルをかませる!!!!!! 51 Lookerを使う範囲を決める • 常に最新の正しいデータが 手に入る • 他の人と数字がズレてると か言われない
52 Looker まとめ • まずはビジネスユーザーに使ってもらう ◦ 使ってもらわないとカオスにもならない • 開発ガイドライン・スタイルガイドを決める ◦
チームで開発しても個人差が出づらい ◦ 後から開発者が加入しても状況把握が楽になる
Mart層から部署やチームに渡せるのが理想 53 dbtの運用ルール:理想 Raw Data層 Staging層 Data Warehouse層 Data Mart層
DWH データエンジニアチーム 部署・チーム
層分けは組織によって変わっていい ただ、分けておくと責任範囲を明確にできる 54 dbtの運用ルール:理想 Raw
Data層 Staging層 Data Warehouse層 Data Mart層 DWH
55 dbt 開発ガイドライン • Best practice guides ◦ 日本語でまとめ「dbt Style
Guideを読む」 • 新しいモデルを作成する時は、ドキュメントに以下を書く ◦ 作成年月 ◦ 作成者 ◦ 作成目的 ↑Example Looker Developer Guidelines を参考 責任範囲が明確になります!
56 組織のSQL成熟度によっては難しい • 理想は理想なので、現実的な方法を選択する ◦ データの持ち方って組織やチームのやりたいことによって千差 万別だなと・・・ • データ活用の規模が大きくなっても耐えうる基盤にしてお きたい
↑ 導入して終わりではなく、導入してからも試行錯誤があるよ()
57 dbtを導入する前の世界 それぞれ、思い思いの表現で...冬 • DWHの外で変換処理が必要 ◦ SQLだけでは難しい処理 • 野良SQL、野良マート •
どこの馬の骨かわからないview、 table
58 dbtを導入した世界 Data Mart Data Mart Data Mart Data Mart
生データをDWHに入れてしま う。問題が起こっても調査範囲 をDWHに限定できる。 dbtで変換処理を行ったテーブ ルを参照。ソースまでそのテー ブルの来歴を辿れる。
59 dbtまとめ • データエンジニアの責任範囲とビジネスユーザーの責任 範囲を明確にする • データ活用の規模が大きくなっても耐えうる基盤が構築で きる
60 Git統合がある LookerもdbtもGit統合している • 好き勝手に開発されても本番に影響がでない • プルリクが通ったものだけが本番にデプロイされる
61 データエンジニアリングで大事なこと 信頼できる形でデータをユーザーに提供する モダンデータスタック最前線〜データオブザーバビリティ〜 : https://youtu.be/CDpt5-L3_Yc?si=fvIAtoRoFBOd2QV1
62 人間を諦めるな
63 まとめ ⽣ ど 君 き う た る ち
か は
64