Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
信頼できるデータを届け、使うのは?
Search
Shasha
January 29, 2024
Technology
300
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
信頼できるデータを届け、使うのは?
Shasha
January 29, 2024
More Decks by Shasha
See All by Shasha
20221004_AKIBA.SaaS
shasha48
0
12
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
15
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
92
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
51
dbtとLookerの 境界線を定めます!
shasha48
0
140
DataObserbabilityDevIO2023.pdf
shasha48
0
1.1k
dbtの概要
shasha48
1
1.2k
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
1k
Other Decks in Technology
See All in Technology
Kotlin 開発のツラミを爆破した話! / Explode the difficulty of Kotlin dev!
eller86
0
150
4人目のSREはAgent
tanimuyk
0
400
証券システムを10年Scalaで作り続けるということ - 関数型まつり2026
krrrr38
3
700
Baseline対応のDOMの型定義を作った
uhyo
3
710
地域 SRE コミュニティ最前線 / SRE NEXT 2026 Discussion Night Track C
muziyoshiz
0
130
product engineering with qa
nealle
0
150
Why is RC4 still being used?
tamaiyutaro
0
300
GuardrailからGovernanceへ~AIエージェント運用の次の課題~
sbspsy
1
220
どうして今サーバーサイドKotlinを選択したのか
nealle
0
210
なぜ人は自分のプロジェクトを 「なんちゃってアジャイル」と 自嘲するのか
kozotaira
0
260
AI時代における最適なQA組織の作り方
ymty
3
430
プロダクトだけじゃない、社内プロセスにおける自動化・省力化ノススメ
kakehashi
PRO
1
1.8k
Featured
See All Featured
Mozcon NYC 2025: Stop Losing SEO Traffic
samtorres
1
270
Utilizing Notion as your number one productivity tool
mfonobong
4
340
Un-Boring Meetings
codingconduct
0
330
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
baasie
0
610
Java REST API Framework Comparison - PWX 2021
mraible
34
9.4k
How to audit for AI Accessibility on your Front & Back End
davetheseo
0
460
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2k
Winning Ecommerce Organic Search in an AI Era - #searchnstuff2025
aleyda
1
2.1k
First, design no harm
axbom
PRO
2
1.2k
Accessibility Awareness
sabderemane
1
150
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
320
GraphQLの誤解/rethinking-graphql
sonatard
75
12k
Transcript
人人人 信頼できるデータを届け、使うのは? アライアンス事業部 ほりもと りさ 4
5 自己紹介 名前:ほりもと りさ(ブログ:紗紗) 所属:アライアンス事業部 役割:アナリティクスコンサルタント 製品:Looker、Snowflake、dbt... 最近爆上げだった出来事:1/28のKing Gnuのライブ (1/26記入) ヌーの末端構成員になった週末でした。
King Gnueを好きになったきっかけは、常田さんが楽曲提供したSixTONESの「マスカラ」にどハマりしたからです。
6 • はじめに ◦ 人人人の発端 • データを信頼できる形で提供する ということ ◦ Lookerのはなし
◦ dbtのはなし 本日お話しする内容
7 はじめに ⽣ ど 君 き う た る ち
か は
8 は? は?
9 事の発端1: 逆浦島太郎 日々進歩する取扱製品に 追いつかないと! 新しい製品も出てきた! 追いつかないと!!
10 見て見て クラスメソッドが扱っているだけでもこんだけある そして、これはまだ一部
11 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories
12 現実世界① Snowflake、ああ、いい曲だよね。 (多分)そもそもSnowflakeはおろかデータウェアハウススラ知らない人も多く いそうなこの世の中。朕は外股、髭面。 Looker、ああ知ってるよ。Googleのね。 まぁ無料だしいいんじゃない。有料版にしたらちょっといい感じになるんで
しょ。LookML??ああ、へぇ〜Lookerのマシーンラーニング??あるんだぁ知 らなかった。 dbt・・・・・・・・・・・・・。 ああ、今なんか言った?ん???dbt・・・・・・・・・・・・。 Snowflakeはいい曲だよね。
13 現実世界② Looker入れてみたけど、使ってもらえないわー。 LookMLはすごくいいけど、 結局みんな好き勝手開発しちゃってたりする・・・。 Snowflakeって機能がありすぎてちゃんと使えてるのかわからん。
dbtいいけど、結局みんな好き勝手にテーブル作っちゃうよな。
14 人間存在それは混沌
15 ってことで・・・ ⽣ ど 君 き う た る ち
か は
16 チャンネルはそのまま! 真面目に話しますね
17 事の発端2: Monte Carlo 昨年8月にデータオブサーバビリティについて ビデオセッションを公開しました
18 データエンジニアリングで大事なこと 信頼できる形でデータをユーザーに提供する モダンデータスタック最前線〜データオブザーバビリティ〜 : https://youtu.be/CDpt5-L3_Yc?si=fvIAtoRoFBOd2QV1
19 データの信頼性 Data ObservabilityツールのMonte Carloのブログ What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
20 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
21 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
22 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories
23 なぜならば...
24 人人人 データを使うのは? 希望BGM: IMAGINE - John Lenon
25 人 人 希望BGM: IMAGINE - John Lenon
26 人人人 データから示唆を得るの は? 希望BGM: IMAGINE - John Lenon
27 人 人 希望BGM: IMAGINE - John Lenon
28 人人人 データ分析関連ツールを使 うのは? 希望BGM: IMAGINE - John Lenon
29 人 人 希望BGM: IMAGINE - John Lenon
30 人人人 希望BGM: SixTONES「人人人」
31 どんな素晴らしい ツールを導入しようとも 人が使うものには どうやって使って欲しいか 現状どういう状態なのかっていう ドキュメントが必要 希望BGM: SixTONES「人人人」
32 人の価値 Priceless... 希望BGM: IMAGINE - John Lenon
33 ドキュメントの価値 Priceless... 希望BGM: IMAGINE - John Lenon
34 ってことで・・・ ⽣ ど 君 き う た る ち
か は 希望BGM: 米津玄師「地球儀」
35 結論 データ分析ツールちゃんと使おうな
36 データを信頼できる形で提供するということ
37 本日お話しするツール • Looker ◦ BIツール • dbt ◦ データ変換ツール
38 dbtとLookerの共通点 データを信頼できる形で活用できるようにするツール dbtとLookerの境界線を定めます!: https://youtu.be/JAAyU5tfREA?si=5wpxQdrq7-odSCkM
39 Lookerの特徴 • 一元的なデータモデル管理 ◦ LookMLと言う独自の言語を使って、一元的にデータモデルを 作成・管理。一貫性と信頼性のあるデータアクセスを実現し、 データガバナンスを強化 • 権限とアクセス制御
◦ ユーザーレベルでの詳細なアクセス制御が可能。ユーザーの 役割に応じてデータアクセスを厳格に管理できる
40 dbtの特徴 • シンプルかつ容易にデータ変換が可能 ◦ 簡単なSQLさえ知っていればOK • ソフトウェアエンジニアのようにデータパイプラインを開発 できる ◦
バージョン管理、自動テスト、ドキュメンテーション、再利用性
41 絶対に避けたいこと • Looker入れてなおカオス • dbt入れてなおカオス
42 なおっス!
43 なおスっ!になる前に 運用方法を検討しよう
1. ちゃんと広める、使ってもらう a. DWHとBIの間にLookerモデルをかま せる!!!!!! b. 開発者はビジネスユーザーを意識し て開発するの大事 2. 定型のダッシュボードはLookMLで一
元管理する 3. 使っていないコンテンツは定期的に 棚卸しする 4. Custom Fieldsはユーザーの成熟度 に応じて付与する a. 恒常的に使うのならばLookMLで 定義する 44 Lookerの運用方法 • 開発ガイドライン、スタイルガイドを定 める • 参考サイト ◦ LAMS Style Guide • 参考になるLooker導入企業の発信 ◦ Looker運用を2年続けて見えた 課題と次の一手 ◦ [レポート]マネーフォワードが実 践する「SSOT」とデータの民主化 に向けた取り組み LookML開発者 ビジネスユーザー
45 溢れる想い...Priceless
46 Lookerは初期導入が大事 LookMLの良さをビジネスユーザーに理解してもらう ↑↑↑↑↑↑ 大事すぎるので300回書きたい
47 じゃあ、書けばいいじゃないか LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
48 500回いけた
49 LookMLがハマるパターン それぞれ、思い思いの表現で...夏 • ダウンロードしてきたファイ ルのデータがそもそもどこの 馬の骨 • Aさんの売上の数字とBさん の売上の数字が違う
• 秘伝のタレみたいなExcel
DWHとBIの間にLookerモデルをかませる!!!!!! 50 Lookerを使う範囲を決める 手元の集計はそれぞれが使い やすいツールを使えばいい。 データソースを一元化できるだ けでだいぶ違う!!
DWHとBIの間にLookerモデルをかませる!!!!!! 51 Lookerを使う範囲を決める • 常に最新の正しいデータが 手に入る • 他の人と数字がズレてると か言われない
52 Looker まとめ • まずはビジネスユーザーに使ってもらう ◦ 使ってもらわないとカオスにもならない • 開発ガイドライン・スタイルガイドを決める ◦
チームで開発しても個人差が出づらい ◦ 後から開発者が加入しても状況把握が楽になる
Mart層から部署やチームに渡せるのが理想 53 dbtの運用ルール:理想 Raw Data層 Staging層 Data Warehouse層 Data Mart層
DWH データエンジニアチーム 部署・チーム
層分けは組織によって変わっていい ただ、分けておくと責任範囲を明確にできる 54 dbtの運用ルール:理想 Raw
Data層 Staging層 Data Warehouse層 Data Mart層 DWH
55 dbt 開発ガイドライン • Best practice guides ◦ 日本語でまとめ「dbt Style
Guideを読む」 • 新しいモデルを作成する時は、ドキュメントに以下を書く ◦ 作成年月 ◦ 作成者 ◦ 作成目的 ↑Example Looker Developer Guidelines を参考 責任範囲が明確になります!
56 組織のSQL成熟度によっては難しい • 理想は理想なので、現実的な方法を選択する ◦ データの持ち方って組織やチームのやりたいことによって千差 万別だなと・・・ • データ活用の規模が大きくなっても耐えうる基盤にしてお きたい
↑ 導入して終わりではなく、導入してからも試行錯誤があるよ()
57 dbtを導入する前の世界 それぞれ、思い思いの表現で...冬 • DWHの外で変換処理が必要 ◦ SQLだけでは難しい処理 • 野良SQL、野良マート •
どこの馬の骨かわからないview、 table
58 dbtを導入した世界 Data Mart Data Mart Data Mart Data Mart
生データをDWHに入れてしま う。問題が起こっても調査範囲 をDWHに限定できる。 dbtで変換処理を行ったテーブ ルを参照。ソースまでそのテー ブルの来歴を辿れる。
59 dbtまとめ • データエンジニアの責任範囲とビジネスユーザーの責任 範囲を明確にする • データ活用の規模が大きくなっても耐えうる基盤が構築で きる
60 Git統合がある LookerもdbtもGit統合している • 好き勝手に開発されても本番に影響がでない • プルリクが通ったものだけが本番にデプロイされる
61 データエンジニアリングで大事なこと 信頼できる形でデータをユーザーに提供する モダンデータスタック最前線〜データオブザーバビリティ〜 : https://youtu.be/CDpt5-L3_Yc?si=fvIAtoRoFBOd2QV1
62 人間を諦めるな
63 まとめ ⽣ ど 君 き う た る ち
か は
64