Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
信頼できるデータを届け、使うのは?
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
Shasha
January 29, 2024
Technology
300
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
信頼できるデータを届け、使うのは?
Shasha
January 29, 2024
More Decks by Shasha
See All by Shasha
20221004_AKIBA.SaaS
shasha48
0
17
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
20
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
100
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
59
dbtとLookerの 境界線を定めます!
shasha48
0
150
DataObserbabilityDevIO2023.pdf
shasha48
0
1.2k
dbtの概要
shasha48
1
1.2k
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
1k
Other Decks in Technology
See All in Technology
Microsoft のサポート ライフサイクルを理解する
murachiakira
PRO
0
220
AIコーディングを実践してきた1年を振り返る / Looking Back on a Year of Practicing AI Coding
takedatakashi
1
150
「Learning Outcome」を書きたくない私が、Learning Outcomeと折り合いをつけるまで
mhlyc
0
240
Patterns in AI Driven Software Development
akosma
PRO
0
220
E2Eってつらくないですか?E2Eの管理コストを下げる手段とその実践
akaboshinit
5
2.4k
(swiftc) NonCopyableとライフタイム修飾子
teamhimeh
0
140
AI秘書と毎日働くのはもう当たり前。開発以外の業務に足りない機能をどう埋める?
minorun365
PRO
4
1.9k
クラウドエージェントの先駆け Devin。今も最先端を走る、他との違い
kinopeee
1
490
Don't write the architecture only in the prompt.
neohsu
0
150
「社外イベント=意識高い」の壁を壊せ!元々無関心だった僕らが部内で社外イベントを民主化して15人を連れ出すまで
say_no_w
0
160
AWSセキュリティで活用するAI機能
cmusudakeisuke
1
340
プロダクトが成長すると、 プロダクトマネージャーの仕事はどう変わるのか - 「まず作る」から「小さく学び、確かめながら進む」へ
sansantech
PRO
2
420
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
55
13k
Building Experiences: Design Systems, User Experience, and Full Site Editing
marktimemedia
1
640
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
940
Sam Torres - BigQuery for SEOs
techseoconnect
PRO
0
590
The Power of CSS Pseudo Elements
geoffreycrofte
82
6.6k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
128
56k
Done Done
chrislema
187
17k
Agile Actions for Facilitating Distributed Teams - ADO2019
mkilby
0
320
Designing Powerful Visuals for Engaging Learning
tmiket
1
620
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
20k
Documentation Writing (for coders)
carmenintech
77
5.6k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
70
68k
Transcript
人人人 信頼できるデータを届け、使うのは? アライアンス事業部 ほりもと りさ 4
5 自己紹介 名前:ほりもと りさ(ブログ:紗紗) 所属:アライアンス事業部 役割:アナリティクスコンサルタント 製品:Looker、Snowflake、dbt... 最近爆上げだった出来事:1/28のKing Gnuのライブ (1/26記入) ヌーの末端構成員になった週末でした。
King Gnueを好きになったきっかけは、常田さんが楽曲提供したSixTONESの「マスカラ」にどハマりしたからです。
6 • はじめに ◦ 人人人の発端 • データを信頼できる形で提供する ということ ◦ Lookerのはなし
◦ dbtのはなし 本日お話しする内容
7 はじめに ⽣ ど 君 き う た る ち
か は
8 は? は?
9 事の発端1: 逆浦島太郎 日々進歩する取扱製品に 追いつかないと! 新しい製品も出てきた! 追いつかないと!!
10 見て見て クラスメソッドが扱っているだけでもこんだけある そして、これはまだ一部
11 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories
12 現実世界① Snowflake、ああ、いい曲だよね。 (多分)そもそもSnowflakeはおろかデータウェアハウススラ知らない人も多く いそうなこの世の中。朕は外股、髭面。 Looker、ああ知ってるよ。Googleのね。 まぁ無料だしいいんじゃない。有料版にしたらちょっといい感じになるんで
しょ。LookML??ああ、へぇ〜Lookerのマシーンラーニング??あるんだぁ知 らなかった。 dbt・・・・・・・・・・・・・。 ああ、今なんか言った?ん???dbt・・・・・・・・・・・・。 Snowflakeはいい曲だよね。
13 現実世界② Looker入れてみたけど、使ってもらえないわー。 LookMLはすごくいいけど、 結局みんな好き勝手開発しちゃってたりする・・・。 Snowflakeって機能がありすぎてちゃんと使えてるのかわからん。
dbtいいけど、結局みんな好き勝手にテーブル作っちゃうよな。
14 人間存在それは混沌
15 ってことで・・・ ⽣ ど 君 き う た る ち
か は
16 チャンネルはそのまま! 真面目に話しますね
17 事の発端2: Monte Carlo 昨年8月にデータオブサーバビリティについて ビデオセッションを公開しました
18 データエンジニアリングで大事なこと 信頼できる形でデータをユーザーに提供する モダンデータスタック最前線〜データオブザーバビリティ〜 : https://youtu.be/CDpt5-L3_Yc?si=fvIAtoRoFBOd2QV1
19 データの信頼性 Data ObservabilityツールのMonte Carloのブログ What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
20 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
21 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/
22 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories
23 なぜならば...
24 人人人 データを使うのは? 希望BGM: IMAGINE - John Lenon
25 人 人 希望BGM: IMAGINE - John Lenon
26 人人人 データから示唆を得るの は? 希望BGM: IMAGINE - John Lenon
27 人 人 希望BGM: IMAGINE - John Lenon
28 人人人 データ分析関連ツールを使 うのは? 希望BGM: IMAGINE - John Lenon
29 人 人 希望BGM: IMAGINE - John Lenon
30 人人人 希望BGM: SixTONES「人人人」
31 どんな素晴らしい ツールを導入しようとも 人が使うものには どうやって使って欲しいか 現状どういう状態なのかっていう ドキュメントが必要 希望BGM: SixTONES「人人人」
32 人の価値 Priceless... 希望BGM: IMAGINE - John Lenon
33 ドキュメントの価値 Priceless... 希望BGM: IMAGINE - John Lenon
34 ってことで・・・ ⽣ ど 君 き う た る ち
か は 希望BGM: 米津玄師「地球儀」
35 結論 データ分析ツールちゃんと使おうな
36 データを信頼できる形で提供するということ
37 本日お話しするツール • Looker ◦ BIツール • dbt ◦ データ変換ツール
38 dbtとLookerの共通点 データを信頼できる形で活用できるようにするツール dbtとLookerの境界線を定めます!: https://youtu.be/JAAyU5tfREA?si=5wpxQdrq7-odSCkM
39 Lookerの特徴 • 一元的なデータモデル管理 ◦ LookMLと言う独自の言語を使って、一元的にデータモデルを 作成・管理。一貫性と信頼性のあるデータアクセスを実現し、 データガバナンスを強化 • 権限とアクセス制御
◦ ユーザーレベルでの詳細なアクセス制御が可能。ユーザーの 役割に応じてデータアクセスを厳格に管理できる
40 dbtの特徴 • シンプルかつ容易にデータ変換が可能 ◦ 簡単なSQLさえ知っていればOK • ソフトウェアエンジニアのようにデータパイプラインを開発 できる ◦
バージョン管理、自動テスト、ドキュメンテーション、再利用性
41 絶対に避けたいこと • Looker入れてなおカオス • dbt入れてなおカオス
42 なおっス!
43 なおスっ!になる前に 運用方法を検討しよう
1. ちゃんと広める、使ってもらう a. DWHとBIの間にLookerモデルをかま せる!!!!!! b. 開発者はビジネスユーザーを意識し て開発するの大事 2. 定型のダッシュボードはLookMLで一
元管理する 3. 使っていないコンテンツは定期的に 棚卸しする 4. Custom Fieldsはユーザーの成熟度 に応じて付与する a. 恒常的に使うのならばLookMLで 定義する 44 Lookerの運用方法 • 開発ガイドライン、スタイルガイドを定 める • 参考サイト ◦ LAMS Style Guide • 参考になるLooker導入企業の発信 ◦ Looker運用を2年続けて見えた 課題と次の一手 ◦ [レポート]マネーフォワードが実 践する「SSOT」とデータの民主化 に向けた取り組み LookML開発者 ビジネスユーザー
45 溢れる想い...Priceless
46 Lookerは初期導入が大事 LookMLの良さをビジネスユーザーに理解してもらう ↑↑↑↑↑↑ 大事すぎるので300回書きたい
47 じゃあ、書けばいいじゃないか LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
48 500回いけた
49 LookMLがハマるパターン それぞれ、思い思いの表現で...夏 • ダウンロードしてきたファイ ルのデータがそもそもどこの 馬の骨 • Aさんの売上の数字とBさん の売上の数字が違う
• 秘伝のタレみたいなExcel
DWHとBIの間にLookerモデルをかませる!!!!!! 50 Lookerを使う範囲を決める 手元の集計はそれぞれが使い やすいツールを使えばいい。 データソースを一元化できるだ けでだいぶ違う!!
DWHとBIの間にLookerモデルをかませる!!!!!! 51 Lookerを使う範囲を決める • 常に最新の正しいデータが 手に入る • 他の人と数字がズレてると か言われない
52 Looker まとめ • まずはビジネスユーザーに使ってもらう ◦ 使ってもらわないとカオスにもならない • 開発ガイドライン・スタイルガイドを決める ◦
チームで開発しても個人差が出づらい ◦ 後から開発者が加入しても状況把握が楽になる
Mart層から部署やチームに渡せるのが理想 53 dbtの運用ルール:理想 Raw Data層 Staging層 Data Warehouse層 Data Mart層
DWH データエンジニアチーム 部署・チーム
層分けは組織によって変わっていい ただ、分けておくと責任範囲を明確にできる 54 dbtの運用ルール:理想 Raw
Data層 Staging層 Data Warehouse層 Data Mart層 DWH
55 dbt 開発ガイドライン • Best practice guides ◦ 日本語でまとめ「dbt Style
Guideを読む」 • 新しいモデルを作成する時は、ドキュメントに以下を書く ◦ 作成年月 ◦ 作成者 ◦ 作成目的 ↑Example Looker Developer Guidelines を参考 責任範囲が明確になります!
56 組織のSQL成熟度によっては難しい • 理想は理想なので、現実的な方法を選択する ◦ データの持ち方って組織やチームのやりたいことによって千差 万別だなと・・・ • データ活用の規模が大きくなっても耐えうる基盤にしてお きたい
↑ 導入して終わりではなく、導入してからも試行錯誤があるよ()
57 dbtを導入する前の世界 それぞれ、思い思いの表現で...冬 • DWHの外で変換処理が必要 ◦ SQLだけでは難しい処理 • 野良SQL、野良マート •
どこの馬の骨かわからないview、 table
58 dbtを導入した世界 Data Mart Data Mart Data Mart Data Mart
生データをDWHに入れてしま う。問題が起こっても調査範囲 をDWHに限定できる。 dbtで変換処理を行ったテーブ ルを参照。ソースまでそのテー ブルの来歴を辿れる。
59 dbtまとめ • データエンジニアの責任範囲とビジネスユーザーの責任 範囲を明確にする • データ活用の規模が大きくなっても耐えうる基盤が構築で きる
60 Git統合がある LookerもdbtもGit統合している • 好き勝手に開発されても本番に影響がでない • プルリクが通ったものだけが本番にデプロイされる
61 データエンジニアリングで大事なこと 信頼できる形でデータをユーザーに提供する モダンデータスタック最前線〜データオブザーバビリティ〜 : https://youtu.be/CDpt5-L3_Yc?si=fvIAtoRoFBOd2QV1
62 人間を諦めるな
63 まとめ ⽣ ど 君 き う た る ち
か は
64