2023年時点でLookerでやっていること、いないこと

2023/03/27_『アナリティクスエンジニア』のリアル～リクルートのデータマネジメント、試行錯誤の最前線～での、近藤の講演資料になります

Transcript

1. © Recruit Co., Ltd. All Rights Reserved 2023年時点でLookerでやっていること、いな いこと 株式会社リクルート データ推進室 D3M 部 近藤 慧 2023/03/27
2. © Recruit Co., Ltd. All Rights Reserved 今日お話しすること: 時代は変わったね、、、って話をします 2018 • Lookerってのがあるらしいぞ 2 2023 • ModernDataStack! • AnalyticsEngineer!(AE) • dbt!dbt!dbt!
3. © Recruit Co., Ltd. All Rights Reserved お品書き 3 • 組織の2018->2023 • Looker利用の2018->2023 • その他AE業務のテーマ • まとめ #recruitdata
4. © Recruit Co., Ltd. All Rights Reserved 自己紹介 近藤 慧 （こんどう さとる） 所属: まなびデータソリューション部 まなびD3Mグ ループ Tableau DATA Saber/Lookerは2018年ごろか ら 2022年度よりAnalytics Engineerが職務に 4 #recruitdata
5. © Recruit Co., Ltd. All Rights Reserved 組織の2018->2023 5
6. © Recruit Co., Ltd. All Rights Reserved 2018 -> 2023での組織内の変化 6 まなび領域内 データ組織数 (グループ格) 1 4 DWHサービス数 2 1 Looker User数 (disable含む) 64 313
7. © Recruit Co., Ltd. All Rights Reserved 2018 -> 2023での組織内の変化 7 まなび領域内 データ組織数 (グループ格) 1 4 DWHサービス数 2 1 Looker User数 (disable含む) 64 313 • 拡大、専門のための分業化が進んでいる • 2022年度よりAnalytics Enginieer職の追加
8. © Recruit Co., Ltd. All Rights Reserved Lookerの振り返り 8
9. © Recruit Co., Ltd. All Rights Reserved 当時何を語っていたか & 今一度Lookerとは エンジニアの LOVE が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 9 引用) https://blog.studysapuri.jp/entry/2018/06/04/08000 0
10. © Recruit Co., Ltd. All Rights Reserved 今日の内容 エンジニアの LOVE が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 10 振り返り テーマ その他 テーマ
11. © Recruit Co., Ltd. All Rights Reserved 今日の内容 エンジニアの LOVE が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 11 振り返り テーマ その他 テーマ
12. © Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018 • measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 12 2023
13. © Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018 • measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 13 2023 • 定義をファイルに、かつ一ヶ所に そのファイルをまとめておいてお けるだけで保守性が高い BI・アナリ スト業務
14. © Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018 • measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 14 2023 • 定義をファイルに、かつ一ヶ所に そのファイルをまとめておいてお けるだけで保守性が高い BI・アナリ スト業務 定義のキャッチアップや調査の際に一つずつダウン ロードして、ファイルを開いて、コメントとロジックから 定義を拾って...をやらないで良い。 特に5年立って開発されたものが増え、新規メンバー も来て、という時に辛さが少ない。
15. © Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018 • measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 15 2023 • 定義をファイルに、かつ一ヶ所に そのファイルをまとめておいてお けるだけで保守性が高い • ファイルの分割や抽象化、テスト 定義を一部実施中。(コードや データの品質担保) AE テーマ
16. © Recruit Co., Ltd. All Rights Reserved 「LookML で全てを記述できる」の振り返り 2018 • measure や dimension と いった項目の定義まで LookML という YAML ベースの書式で 記述することが可能 ◦ SQLでのロジック ◦ ラベル ◦ PKといっためた情報 ◦ 数値フォーマットなど • 可読性や検索性が向上 16 2023 • 定義をファイルに、かつ一ヶ所に そのファイルをまとめておいてお けるだけで保守性が高い • ファイルの分割や抽象化、テスト 定義を一部実施中。(コードや データの品質担保) AE テーマ 増えすぎた成果物を管理できるようにしたり、時間が 経ってレガシー化したものをリファクタリングする際に 特に使うようになった。 BI・アナリストだとどうしても事業貢献に引っ張られ、 負債を積み上げて苦しむところを、 AEポジションが やっていく。
17. © Recruit Co., Ltd. All Rights Reserved 今日の内容 エンジニアの LOVE が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 17 振り返り テーマ その他 テーマ
18. © Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub 連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 18 2023
19. © Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub 連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 19 2023 • (強制フローにしてあるので当た り前だが)みんなブランチを切っ て、プルリク出してをやっている BI・アナリ スト業務
20. © Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub 連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 20 2023 • (強制フローにしてあるので当た り前だが)みんなブランチを切っ て、プルリク出してをやっている BI・アナリ スト業務 「事業レポート_v1.0_3月最新版」とかに苦しめられ ないし、デグレしたり消してしまった時に、誰のローカ ルが一番stableだったけ、、、とかに苦しまないだけ、 幸せと言ってももはやポカンとされる。
21. © Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub 連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 21 2023 • (強制フローにしてあるので当た り前だが)みんなブランチを切っ て、プルリク出してをやっている • CI/CDでLinterなどを取り入 れて、より開発体験やレビュー体 験をよりよくできないか、などは 検討中 AE テーマ
22. © Recruit Co., Ltd. All Rights Reserved 「BI ツールなのに GitHub 連携ができる」の振り返り 2018 • Looker はモデルやビューの定 義の変更を自動的に GitHub をはじめとした Git リポジトリに 同期 • 履歴を追って復元 • ブランチでプルリクエストを送っ てレビューを経てマージ 22 2023 • (強制フローにしてあるので当た り前だが)みんなブランチを切っ て、プルリク出してをやっている • CI/CDでLinterなどを取り入 れて、より開発体験やレビュー体 験をよりよくできないか、などは 検討中 AE テーマ 積み重なった負債で苦しんだ経験から、作る時の負 債を少しでも減らしたいが、それを人間がレビューで 指摘する時の心理負荷を減少したいという動機がか なりある。 これもまた、AEというポジションができたおかげで、 検討する余裕ができた。 何より、DevOpsなどの考えを取り入れようとする時に「なんで ?」と言われな いだけで正直動きやすい。。。
23. © Recruit Co., Ltd. All Rights Reserved 今日の内容 エンジニアの LOVE が詰まった BI、それが Looker 1. 外部の DWH・DB を使うことを前提にしている 2. LookML で全てを記述できる 3. BI ツールなのに GitHub 連携ができる 4. ほとんどの操作を API 経由で実行できる 5. 見られている・見られていない指標がすぐわかる 6. カスタマー LOVE の溢れるサポートがついてくる 23 振り返り テーマ その他 テーマ
24. © Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り 2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 24 2023
25. © Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り 2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 25 2023 • あまり使っていない BI・アナリ スト業務
26. © Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り 2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 26 2023 • あまり使っていない ◦ 業務量が少ないため、手動対応で一 旦どうにかなっているため ◦ APIを定期的にキックする仕組み や、その運用に習熟しているわけで はないというものある BI・アナリ スト業務
27. © Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り 2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 27 2023 • あまり使っていない ◦ 業務量が少ないため、手動対応で一 旦どうにかなっているため ◦ APIを定期的にキックする仕組み や、その運用に習熟しているわけで はないというものある BI・アナリ スト業務 アナリスト兼務のAdminが、APIを用いて、 GoogleSpreadsheetなどに出力したり、ユーザーの 削除などを実施している。 ただ、アナリストからは、「自分たちとは遠い業務」に 感じがちで、こういう所から AEの分業化の必要性が 高まってきていた。
28. © Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り 2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 28 2023 • あまり使っていない • 業務標準化のため、ユーザ管理/ パーミッション管理などを YAML+SDK+APIでできない か検討中 AE テーマ
29. © Recruit Co., Ltd. All Rights Reserved 「ほとんどの操作を API 経由で実行できる」の振り返り 2018 • ダッシュボードの更新、ユーザの 管理に到るまでかなりのことが API を通して実行可能 29 2023 • あまり使っていない • 業務標準化のため、ユーザ管理/ パーミッション管理などを YAML+SDK+APIでできない か検討中 AE テーマ 手動でアナリストが設定して、パーミッションが上手く いってない、などがあった。 BI・アナリスト側でここを綺麗にするのは難しいので、 AEポジションから、Terraformなどで、管理できない かなどを検討中
30. © Recruit Co., Ltd. All Rights Reserved その他AEテーマのご紹介 30
31. © Recruit Co., Ltd. All Rights Reserved セマンティックレイヤー:まなびデータソリューション部だけでなく、事業全体の拡大に伴い、よりガバナンスが 効いたデータ提供の必要性が高まる。データの利用者数の増加と、SSOTなどのガバナンスがトレードオフに ならないように、セマンティックレイヤーはどうあるべきかを、検討中 31 データ定義 (Looker) Dashboard (Looker) slack Google Spreadshe et csv Looker? DBT? データ利用者 AE テーマ 詳細な分析 探索/モニタリング モニタリング ポスト 出力 連携 セマンティックレイ ヤーからの連携 組織拡大に伴い、バックグ ラウンド（データへの慣れ、 使うツール）や目的、分析 対象の多様化が進む
32. © Recruit Co., Ltd. All Rights Reserved データ障害を未然に防ぐ取り組み:運用するデータ/ダッシュボードの増加に伴い、Looker前の Transformation部分での情報共有/品質担保/異常検知の仕組み化の必要性あり。データエンジニアと共 同し、複数のツール+自前実装で対応中。 32 メタデータ基盤 (Google Data Plex) Dashboard 基盤(Looker) テスト/監視基盤 (DBT) 2021 実現 BigQuery Transformatio n基盤(Airflow) 2022 実現 Dashboard の観測基盤 今後のAE テーマ メタデータを DBTのテスト に変換 schema定義のテスト 内容のanomaly detection transform modeling visualization 定義情報の連携 observation
33. © Recruit Co., Ltd. All Rights Reserved まとめ 33
34. © Recruit Co., Ltd. All Rights Reserved まとめ ①【Lookerの振り返り】 アナリストとしてはもちろん、 AEっぽいことをやる場合でも、Lookerの機能は使えるので、5年経ってもま だまだ使い倒せそうという振り返り。 ➔ というか、5年たち、色々あったからこそ使い倒さないと辛いことがわかってきているのかも。(正直DBTとかが 出てきてくれたから、比較して、ひとまずLookerのこの機能でまずやってみるか、みたいな進め方も多い) ②【AE業務】 アナリストで辛かったことに他の人が将来苦しまないための打ち手を、AEとしてやっている感じ。 ➔ AEが必須の職能、とまではまだ言えないけれど、「AEがいる・認められている」組織は、これからくる辛さなど をどうにかしようと思ってくれているということだから、BI・アナリストにとっても良い組織になりそうだな、と いう所感。 34
35. © Recruit Co., Ltd. All Rights Reserved 最後に 振り返ってみると、近年では、アナリストたちが草の根でやっていたことの重要度が 認識され、AEという名前で呼ばれ始めてる。 （弊社は必要性を認識し、ロールとして定義し、増やそうとしてます。） • アナリスト->AE : なりやすそう • SWE,SRE -> AE: これから増えそう • AEスタート:そんなキャリアもありかも、、、え、もういます? 35 実は、あなたも既にAEかも?
36. © Recruit Co., Ltd. All Rights Reserved Thank You 36