Share
Embed
Transcript
61 slides
-
5 自己紹介 名前:ほりもと りさ(ブログ:紗紗) 所属:アライアンス事業部 役割:アナリティクスコンサルタント 製品:Looker、Snowflake、dbt... 最近爆上げだった出来事:1/28のKing Gnuのライブ (1/26記入) ヌーの末端構成員になった週末でした。
King Gnueを好きになったきっかけは、常田さんが楽曲提供したSixTONESの「マスカラ」にどハマりしたからです。 -
6 • はじめに ◦ 人人人の発端 • データを信頼できる形で提供する ということ ◦ Lookerのはなし
◦ dbtのはなし 本日お話しする内容 -
11 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories -
12 現実世界① Snowflake、ああ、いい曲だよね。 (多分)そもそもSnowflakeはおろかデータウェアハウススラ知らない人も多く いそうなこの世の中。朕は外股、髭面。 Looker、ああ知ってるよ。Googleのね。 まぁ無料だしいいんじゃない。有料版にしたらちょっといい感じになるんで
しょ。LookML??ああ、へぇ〜Lookerのマシーンラーニング??あるんだぁ知 らなかった。 dbt・・・・・・・・・・・・・。 ああ、今なんか言った?ん???dbt・・・・・・・・・・・・。 Snowflakeはいい曲だよね。 -
13 現実世界② Looker入れてみたけど、使ってもらえないわー。 LookMLはすごくいいけど、 結局みんな好き勝手開発しちゃってたりする・・・。 Snowflakeって機能がありすぎてちゃんと使えてるのかわからん。
dbtいいけど、結局みんな好き勝手にテーブル作っちゃうよな。 -
20 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/ -
21 信頼できるデータを提供するために... • SLOとSLIを設定するためのデータ観測可能性プラットフォーム (Monte Carlo)の活用 • データ信頼性の取り組みを前倒しする • 責任範囲を明確にする
• データアセットのドキュメント化 • 事後調査の実施 • データヘルスダッシュボードを作成して危険地域を炙り出す What is Data Reliability?: https://www.montecarlodata.com/blog-what-is-data-reliability/ -
22 データ分析関連のツールがいっぱいシリーズ 30 カテゴリー 633 ソリューション The Modern Data Stack
Repository. - Category: https://www.moderndatastack.xyz/categories -
34 ってことで・・・ ⽣ ど 君 き う た る ち
か は 希望BGM: 米津玄師「地球儀」 -
39 Lookerの特徴 • 一元的なデータモデル管理 ◦ LookMLと言う独自の言語を使って、一元的にデータモデルを 作成・管理。一貫性と信頼性のあるデータアクセスを実現し、 データガバナンスを強化 • 権限とアクセス制御
◦ ユーザーレベルでの詳細なアクセス制御が可能。ユーザーの 役割に応じてデータアクセスを厳格に管理できる -
40 dbtの特徴 • シンプルかつ容易にデータ変換が可能 ◦ 簡単なSQLさえ知っていればOK • ソフトウェアエンジニアのようにデータパイプラインを開発 できる ◦
バージョン管理、自動テスト、ドキュメンテーション、再利用性 -
1. ちゃんと広める、使ってもらう a. DWHとBIの間にLookerモデルをかま せる!!!!!! b. 開発者はビジネスユーザーを意識し て開発するの大事 2. 定型のダッシュボードはLookMLで一
元管理する 3. 使っていないコンテンツは定期的に 棚卸しする 4. Custom Fieldsはユーザーの成熟度 に応じて付与する a. 恒常的に使うのならばLookMLで 定義する 44 Lookerの運用方法 • 開発ガイドライン、スタイルガイドを定 める • 参考サイト ◦ LAMS Style Guide • 参考になるLooker導入企業の発信 ◦ Looker運用を2年続けて見えた 課題と次の一手 ◦ [レポート]マネーフォワードが実 践する「SSOT」とデータの民主化 に向けた取り組み LookML開発者 ビジネスユーザー -
47 じゃあ、書けばいいじゃないか LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう
LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう LookMLの良さをビジネスユーザーに理解してもらう -
52 Looker まとめ • まずはビジネスユーザーに使ってもらう ◦ 使ってもらわないとカオスにもならない • 開発ガイドライン・スタイルガイドを決める ◦
チームで開発しても個人差が出づらい ◦ 後から開発者が加入しても状況把握が楽になる -
Mart層から部署やチームに渡せるのが理想 53 dbtの運用ルール:理想 Raw Data層 Staging層 Data Warehouse層 Data Mart層
DWH データエンジニアチーム 部署・チーム -
層分けは組織によって変わっていい ただ、分けておくと責任範囲を明確にできる 54 dbtの運用ルール:理想 Raw
Data層 Staging層 Data Warehouse層 Data Mart層 DWH -
55 dbt 開発ガイドライン • Best practice guides ◦ 日本語でまとめ「dbt Style
Guideを読む」 • 新しいモデルを作成する時は、ドキュメントに以下を書く ◦ 作成年月 ◦ 作成者 ◦ 作成目的 ↑Example Looker Developer Guidelines を参考 責任範囲が明確になります! -
56 組織のSQL成熟度によっては難しい • 理想は理想なので、現実的な方法を選択する ◦ データの持ち方って組織やチームのやりたいことによって千差 万別だなと・・・ • データ活用の規模が大きくなっても耐えうる基盤にしてお きたい
↑ 導入して終わりではなく、導入してからも試行錯誤があるよ() -
57 dbtを導入する前の世界 それぞれ、思い思いの表現で...冬 • DWHの外で変換処理が必要 ◦ SQLだけでは難しい処理 • 野良SQL、野良マート •
どこの馬の骨かわからないview、 table -
58 dbtを導入した世界 Data Mart Data Mart Data Mart Data Mart
生データをDWHに入れてしま う。問題が起こっても調査範囲 をDWHに限定できる。 dbtで変換処理を行ったテーブ ルを参照。ソースまでそのテー ブルの来歴を辿れる。