Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2023年時点でLookerでやっていること、いないこと
Search
Recruit
PRO
March 27, 2023
Business
2
1.1k
2023年時点でLookerでやっていること、いないこと
2023/03/27_『アナリティクスエンジニア』のリアル~リクルートのデータマネジメント、試行錯誤の最前線~での、近藤の講演資料になります
Recruit
PRO
March 27, 2023
Tweet
Share
More Decks by Recruit
See All by Recruit
SIerでの経験が活きた!『SUUMO』『ゼクシィ』担当PdMの企画プロセスを紐解く〜プロデザ!〜
recruitengineers
PRO
0
68
事業目的とのプロトコル変換
recruitengineers
PRO
4
96
Boosting Hotel Profits: The Power of Enhanced Cancellation Predictions
recruitengineers
PRO
3
670
ヘルススコアの改善の過程で起きた嬉しい変化
recruitengineers
PRO
4
720
スクラム開発導入による 他組織を巻き込んだ開発生産性向上の取り込み
recruitengineers
PRO
3
380
大公開!SUUMOの裏側 -データ組織の取り組みLT会-
recruitengineers
PRO
4
120
FIFOキューで実現する Spring Bootの非同期処理とその性能評価方法
recruitengineers
PRO
5
160
組合せ最適化による問題解決の実践的アプローチ
recruitengineers
PRO
8
1.4k
社内のAI活用事例と活用促進のための取り組みを大公開!
recruitengineers
PRO
4
710
Other Decks in Business
See All in Business
AmbientNavi 紹介資料
ambientnavi0329
0
400
ゾンビスクラム先生が語る過ちと教訓!俺みたいになるな!
kuroppe1819
3
110
GMO_beauty_recruit
gmo_beauty
0
5.2k
株式会社リーディングマーク_SD紹介資料.pdf
lm_devhr
0
190
問題を明確にする方法 / How To Clarify The Problem
tbpgr
1
280
価値のある機能をユーザに早く届けるための大企業エンジニアの挑戦 / Achieving Faster Delivery of Customer Value Features in a Siloed Organization
nttcom
11
7.1k
エレコム株式会社 中途採用説明資料
elecom_hr
0
960
株式会社トラストバンク_採用ピッチ資料
trustbank
0
210
kubell 会社概要・中期経営計画
kubell
0
39k
LGBTQ__support_WOMEN_女性として働くということ_DEI
freee
1
270
ESG x VC レポート:VC・スタートアップのESGへの 取り組み状況を踏まえたVCにおけるESGの戦略的要諦・アクション
mpower_partners
PRO
0
740
OKR基本のキ / OKR Basics
toshimaru
3
120
Featured
See All Featured
KATA
mclloyd
20
13k
Robots, Beer and Maslow
schacon
PRO
157
8.1k
The Invisible Customer
myddelton
117
13k
Mobile First: as difficult as doing things right
swwweet
219
8.8k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
105
6.8k
Fashionably flexible responsive web design (full day workshop)
malarkey
399
65k
4 Signs Your Business is Dying
shpigford
178
21k
A Tale of Four Properties
chriscoyier
155
22k
Docker and Python
trallard
37
2.9k
Optimizing for Happiness
mojombo
373
69k
A Modern Web Designer's Workflow
chriscoyier
689
190k
The Straight Up "How To Draw Better" Workshop
denniskardys
229
130k
Transcript
© Recruit Co., Ltd. All Rights Reserved 2023年時点でLookerでやっていること、いな いこと 株式会社リクルート
データ推進室 D3M 部 近藤 慧 2023/03/27
© Recruit Co., Ltd. All Rights Reserved 今日お話しすること: 時代は変わったね、、、って話をします 2018
• Lookerってのがあるらしいぞ 2 2023 • ModernDataStack! • AnalyticsEngineer!(AE) • dbt!dbt!dbt!
© Recruit Co., Ltd. All Rights Reserved お品書き 3 •
組織の2018->2023 • Looker利用の2018->2023 • その他AE業務のテーマ • まとめ #recruitdata
© Recruit Co., Ltd. All Rights Reserved 自己紹介 近藤 慧
(こんどう さとる) 所属: まなびデータソリューション部 まなびD3Mグ ループ Tableau DATA Saber/Lookerは2018年ごろか ら 2022年度よりAnalytics Engineerが職務に 4 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 組織の2018->2023 5
© Recruit Co., Ltd. All Rights Reserved 2018 -> 2023での組織内の変化
6 まなび領域内 データ組織数 (グループ格) 1 4 DWHサービス数 2 1 Looker User数 (disable含む) 64 313
© Recruit Co., Ltd. All Rights Reserved 2018 -> 2023での組織内の変化
7 まなび領域内 データ組織数 (グループ格) 1 4 DWHサービス数 2 1 Looker User数 (disable含む) 64 313 • 拡大、専門のための分業化が進んでいる • 2022年度よりAnalytics Enginieer職の追加
© Recruit Co., Ltd. All Rights Reserved Lookerの振り返り 8
© Recruit Co., Ltd. All Rights Reserved 当時何を語っていたか & 今一度Lookerとは
エンジニアの LOVE が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 9 引用) https://blog.studysapuri.jp/entry/2018/06/04/08000 0
© Recruit Co., Ltd. All Rights Reserved 今日の内容 エンジニアの LOVE
が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 10 振り返り テーマ その他 テーマ
© Recruit Co., Ltd. All Rights Reserved 今日の内容 エンジニアの LOVE
が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 11 振り返り テーマ その他 テーマ
© Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018
• measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 12 2023
© Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018
• measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 13 2023 • 定義をファイルに、かつ一ヶ所に そのファイルをまとめておいてお けるだけで保守性が高い BI・アナリ スト業務
© Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018
• measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 14 2023 • 定義をファイルに、かつ一ヶ所に そのファイルをまとめておいてお けるだけで保守性が高い BI・アナリ スト業務 定義のキャッチアップや調査の際に一つずつダウン ロードして、ファイルを開いて、コメントとロジックから 定義を拾って...をやらないで良い。 特に5年立って開発されたものが増え、新規メンバー も来て、という時に辛さが少ない。
© Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018
• measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 15 2023 • 定義をファイルに、かつ一ヶ所に そのファイルをまとめておいてお けるだけで保守性が高い • ファイルの分割や抽象化、テスト 定義を一部実施中。(コードや データの品質担保) AE テーマ
© Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018
• measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 16 2023 • 定義をファイルに、かつ一ヶ所に そのファイルをまとめておいてお けるだけで保守性が高い • ファイルの分割や抽象化、テスト 定義を一部実施中。(コードや データの品質担保) AE テーマ 増えすぎた成果物を管理できるようにしたり、時間が 経ってレガシー化したものをリファクタリングする際に 特に使うようになった。 BI・アナリストだとどうしても事業貢献に引っ張られ、 負債を積み上げて苦しむところを、 AEポジションが やっていく。
© Recruit Co., Ltd. All Rights Reserved 今日の内容 エンジニアの LOVE
が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 17 振り返り テーマ その他 テーマ
© Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub
連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 18 2023
© Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub
連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 19 2023 • (強制フローにしてあるので当た り前だが)みんなブランチを切っ て、プルリク出してをやっている BI・アナリ スト業務
© Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub
連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 20 2023 • (強制フローにしてあるので当た り前だが)みんなブランチを切っ て、プルリク出してをやっている BI・アナリ スト業務 「事業レポート_v1.0_3月最新版」とかに苦しめられ ないし、デグレしたり消してしまった時に、誰のローカ ルが一番stableだったけ、、、とかに苦しまないだけ、 幸せと言ってももはやポカンとされる。
© Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub
連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 21 2023 • (強制フローにしてあるので当た り前だが)みんなブランチを切っ て、プルリク出してをやっている • CI/CDでLinterなどを取り入 れて、より開発体験やレビュー体 験をよりよくできないか、などは 検討中 AE テーマ
© Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub
連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 22 2023 • (強制フローにしてあるので当た り前だが)みんなブランチを切っ て、プルリク出してをやっている • CI/CDでLinterなどを取り入 れて、より開発体験やレビュー体 験をよりよくできないか、などは 検討中 AE テーマ 積み重なった負債で苦しんだ経験から、作る時の負 債を少しでも減らしたいが、それを人間がレビューで 指摘する時の心理負荷を減少したいという動機がか なりある。 これもまた、AEというポジションができたおかげで、 検討する余裕ができた。 何より、DevOpsなどの考えを取り入れようとする時に「なんで ?」と言われな いだけで正直動きやすい。。。
© Recruit Co., Ltd. All Rights Reserved 今日の内容 エンジニアの LOVE
が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 23 振り返り テーマ その他 テーマ
© Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り
2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 24 2023
© Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り
2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 25 2023 • あまり使っていない BI・アナリ スト業務
© Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り
2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 26 2023 • あまり使っていない ◦ 業務量が少ないため、手動対応で一 旦どうにかなっているため ◦ APIを定期的にキックする仕組み や、その運用に習熟しているわけで はないというものある BI・アナリ スト業務
© Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り
2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 27 2023 • あまり使っていない ◦ 業務量が少ないため、手動対応で一 旦どうにかなっているため ◦ APIを定期的にキックする仕組み や、その運用に習熟しているわけで はないというものある BI・アナリ スト業務 アナリスト兼務のAdminが、APIを用いて、 GoogleSpreadsheetなどに出力したり、ユーザーの 削除などを実施している。 ただ、アナリストからは、「自分たちとは遠い業務」に 感じがちで、こういう所から AEの分業化の必要性が 高まってきていた。
© Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り
2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 28 2023 • あまり使っていない • 業務標準化のため、ユーザ管理/ パーミッション管理などを YAML+SDK+APIでできない か検討中 AE テーマ
© Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り
2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 29 2023 • あまり使っていない • 業務標準化のため、ユーザ管理/ パーミッション管理などを YAML+SDK+APIでできない か検討中 AE テーマ 手動でアナリストが設定して、パーミッションが上手く いってない、などがあった。 BI・アナリスト側でここを綺麗にするのは難しいので、 AEポジションから、Terraformなどで、管理できない かなどを検討中
© Recruit Co., Ltd. All Rights Reserved その他AEテーマのご紹介 30
© Recruit Co., Ltd. All Rights Reserved セマンティックレイヤー:まなびデータソリューション部だけでなく、事業全体の拡大に伴い、よりガバナンスが 効いたデータ提供の必要性が高まる。データの利用者数の増加と、SSOTなどのガバナンスがトレードオフに ならないように、セマンティックレイヤーはどうあるべきかを、検討中
31 データ定義 (Looker) Dashboard (Looker) slack Google Spreadshe et csv Looker? DBT? データ利用者 AE テーマ 詳細な分析 探索/モニタリング モニタリング ポスト 出力 連携 セマンティックレイ ヤーからの連携 組織拡大に伴い、バックグ ラウンド(データへの慣れ、 使うツール)や目的、分析 対象の多様化が進む
© Recruit Co., Ltd. All Rights Reserved データ障害を未然に防ぐ取り組み:運用するデータ/ダッシュボードの増加に伴い、Looker前の Transformation部分での情報共有/品質担保/異常検知の仕組み化の必要性あり。データエンジニアと共 同し、複数のツール+自前実装で対応中。
32 メタデータ基盤 (Google Data Plex) Dashboard 基盤(Looker) テスト/監視基盤 (DBT) 2021 実現 BigQuery Transformatio n基盤(Airflow) 2022 実現 Dashboard の観測基盤 今後のAE テーマ メタデータを DBTのテスト に変換 schema定義のテスト 内容のanomaly detection transform modeling visualization 定義情報の連携 observation
© Recruit Co., Ltd. All Rights Reserved まとめ 33
© Recruit Co., Ltd. All Rights Reserved まとめ ①【Lookerの振り返り】 アナリストとしてはもちろん、
AEっぽいことをやる場合でも、Lookerの機能は使えるので、5年経ってもま だまだ使い倒せそうという振り返り。 ➔ というか、5年たち、色々あったからこそ使い倒さないと辛いことがわかってきているのかも。(正直DBTとかが 出てきてくれたから、比較して、ひとまずLookerのこの機能でまずやってみるか、みたいな進め方も多い) ②【AE業務】 アナリストで辛かったことに他の人が将来苦しまないための打ち手を、AEとしてやっている感じ。 ➔ AEが必須の職能、とまではまだ言えないけれど、「AEがいる・認められている」組織は、これからくる辛さなど をどうにかしようと思ってくれているということだから、BI・アナリストにとっても良い組織になりそうだな、と いう所感。 34
© Recruit Co., Ltd. All Rights Reserved 最後に 振り返ってみると、近年では、アナリストたちが草の根でやっていたことの重要度が 認識され、AEという名前で呼ばれ始めてる。
(弊社は必要性を認識し、ロールとして定義し、増やそうとしてます。) • アナリスト->AE : なりやすそう • SWE,SRE -> AE: これから増えそう • AEスタート:そんなキャリアもありかも、、、え、もういます? 35 実は、あなたも既にAEかも?
© Recruit Co., Ltd. All Rights Reserved Thank You 36