2023年時点でLookerでやっていること、いないこと

2023/03/27_『アナリティクスエンジニア』のリアル～リクルートのデータマネジメント、試行錯誤の最前線～での、近藤の講演資料になります

Transcript

1. © Recruit Co., Ltd. All Rights Reserved
   2023年時点でLookerでやっていること、いな
   いこと
   株式会社リクルート データ推進室 D3M 部
   近藤 慧
   2023/03/27
   

   View Slide

2. © Recruit Co., Ltd. All Rights Reserved
   今日お話しすること:
   時代は変わったね、、、って話をします
   2018
   ● Lookerってのがあるらしいぞ
   2
   2023
   ● ModernDataStack!
   ● AnalyticsEngineer!(AE)
   ● dbt!dbt!dbt!
   

   View Slide

3. © Recruit Co., Ltd. All Rights Reserved
   お品書き
   3
   ● 組織の2018->2023
   ● Looker利用の2018->2023
   ● その他AE業務のテーマ
   ● まとめ
   #recruitdata
   

   View Slide

4. © Recruit Co., Ltd. All Rights Reserved
   自己紹介
   近藤 慧 （こんどう さとる）
   所属: まなびデータソリューション部 まなびD3Mグ
   ループ
   Tableau DATA Saber/Lookerは2018年ごろか
   ら
   2022年度よりAnalytics Engineerが職務に
   4
   #recruitdata
   

   View Slide

5. © Recruit Co., Ltd. All Rights Reserved
   組織の2018->2023
   5
   

   View Slide

6. © Recruit Co., Ltd. All Rights Reserved
   2018 -> 2023での組織内の変化
   6
   まなび領域内
   データ組織数
   (グループ格)
   1
   4
   DWHサービス数
   2
   1
   Looker User数
   (disable含む)
   64
   313
   

   View Slide

7. © Recruit Co., Ltd. All Rights Reserved
   2018 -> 2023での組織内の変化
   7
   まなび領域内
   データ組織数
   (グループ格)
   1
   4
   DWHサービス数
   2
   1
   Looker User数
   (disable含む)
   64
   313
   ● 拡大、専門のための分業化が進んでいる
   ● 2022年度よりAnalytics Enginieer職の追加
   

   View Slide

8. © Recruit Co., Ltd. All Rights Reserved
   Lookerの振り返り
   8
   

   View Slide

9. © Recruit Co., Ltd. All Rights Reserved
   当時何を語っていたか & 今一度Lookerとは
   エンジニアの LOVE が詰まった BI、それが Looker
   1. 外部の DWH・DB を使うことを前提にしている
   2. LookML で全てを記述できる
   3. BI ツールなのに GitHub 連携ができる
   4. ほとんどの操作を API 経由で実行できる
   5. 見られている・見られていない指標がすぐわかる
   6. カスタマー LOVE の溢れるサポートがついてくる
   9
   引用)
   https://blog.studysapuri.jp/entry/2018/06/04/08000
   0
   

   View Slide

10. © Recruit Co., Ltd. All Rights Reserved
    今日の内容
    エンジニアの LOVE が詰まった BI、それが Looker
    1. 外部の DWH・DB を使うことを前提にしている
    2. LookML で全てを記述できる
    3. BI ツールなのに GitHub 連携ができる
    4. ほとんどの操作を API 経由で実行できる
    5. 見られている・見られていない指標がすぐわかる
    6. カスタマー LOVE の溢れるサポートがついてくる
    10
    振り返り
    テーマ その他
    テーマ
    

    View Slide

11. © Recruit Co., Ltd. All Rights Reserved
    今日の内容
    エンジニアの LOVE が詰まった BI、それが Looker
    1. 外部の DWH・DB を使うことを前提にしている
    2. LookML で全てを記述できる
    3. BI ツールなのに GitHub 連携ができる
    4. ほとんどの操作を API 経由で実行できる
    5. 見られている・見られていない指標がすぐわかる
    6. カスタマー LOVE の溢れるサポートがついてくる
    11
    振り返り
    テーマ その他
    テーマ
    

    View Slide

12. © Recruit Co., Ltd. All Rights Reserved
    「LookML で全てを記述できる」の振り返り
    2018
    ● measure や dimension と
    いった項目の定義まで LookML
    という YAML ベースの書式で
    記述することが可能
    ○ SQLでのロジック
    ○ ラベル
    ○ PKといっためた情報
    ○ 数値フォーマットなど
    ● 可読性や検索性が向上
    12
    2023
    

    View Slide

13. © Recruit Co., Ltd. All Rights Reserved
    「LookML で全てを記述できる」の振り返り
    2018
    ● measure や dimension と
    いった項目の定義まで LookML
    という YAML ベースの書式で
    記述することが可能
    ○ SQLでのロジック
    ○ ラベル
    ○ PKといっためた情報
    ○ 数値フォーマットなど
    ● 可読性や検索性が向上
    13
    2023
    ● 定義をファイルに、かつ一ヶ所に
    そのファイルをまとめておいてお
    けるだけで保守性が高い
    BI・アナリ
    スト業務
    

    View Slide

14. © Recruit Co., Ltd. All Rights Reserved
    「LookML で全てを記述できる」の振り返り
    2018
    ● measure や dimension と
    いった項目の定義まで LookML
    という YAML ベースの書式で
    記述することが可能
    ○ SQLでのロジック
    ○ ラベル
    ○ PKといっためた情報
    ○ 数値フォーマットなど
    ● 可読性や検索性が向上
    14
    2023
    ● 定義をファイルに、かつ一ヶ所に
    そのファイルをまとめておいてお
    けるだけで保守性が高い
    BI・アナリ
    スト業務
    定義のキャッチアップや調査の際に一つずつダウン
    ロードして、ファイルを開いて、コメントとロジックから
    定義を拾って...をやらないで良い。
    特に5年立って開発されたものが増え、新規メンバー
    も来て、という時に辛さが少ない。
    

    View Slide

15. © Recruit Co., Ltd. All Rights Reserved
    「LookML で全てを記述できる」の振り返り
    2018
    ● measure や dimension と
    いった項目の定義まで LookML
    という YAML ベースの書式で
    記述することが可能
    ○ SQLでのロジック
    ○ ラベル
    ○ PKといっためた情報
    ○ 数値フォーマットなど
    ● 可読性や検索性が向上
    15
    2023
    ● 定義をファイルに、かつ一ヶ所に
    そのファイルをまとめておいてお
    けるだけで保守性が高い
    ● ファイルの分割や抽象化、テスト
    定義を一部実施中。(コードや
    データの品質担保)
    AE
    テーマ
    

    View Slide

16. © Recruit Co., Ltd. All Rights Reserved
    「LookML で全てを記述できる」の振り返り
    2018
    ● measure や dimension と
    いった項目の定義まで LookML
    という YAML ベースの書式で
    記述することが可能
    ○ SQLでのロジック
    ○ ラベル
    ○ PKといっためた情報
    ○ 数値フォーマットなど
    ● 可読性や検索性が向上
    16
    2023
    ● 定義をファイルに、かつ一ヶ所に
    そのファイルをまとめておいてお
    けるだけで保守性が高い
    ● ファイルの分割や抽象化、テスト
    定義を一部実施中。(コードや
    データの品質担保)
    AE
    テーマ
    増えすぎた成果物を管理できるようにしたり、時間が
    経ってレガシー化したものをリファクタリングする際に
    特に使うようになった。
    BI・アナリストだとどうしても事業貢献に引っ張られ、
    負債を積み上げて苦しむところを、 AEポジションが
    やっていく。
    

    View Slide

17. © Recruit Co., Ltd. All Rights Reserved
    今日の内容
    エンジニアの LOVE が詰まった BI、それが Looker
    1. 外部の DWH・DB を使うことを前提にしている
    2. LookML で全てを記述できる
    3. BI ツールなのに GitHub 連携ができる
    4. ほとんどの操作を API 経由で実行できる
    5. 見られている・見られていない指標がすぐわかる
    6. カスタマー LOVE の溢れるサポートがついてくる
    17
    振り返り
    テーマ その他
    テーマ
    

    View Slide

18. © Recruit Co., Ltd. All Rights Reserved
    「BI ツールなのに GitHub 連携ができる」の振り返り
    2018
    ● Looker はモデルやビューの定
    義の変更を自動的に GitHub
    をはじめとした Git リポジトリに
    同期
    ● 履歴を追って復元
    ● ブランチでプルリクエストを送っ
    てレビューを経てマージ
    18
    2023
    

    View Slide

19. © Recruit Co., Ltd. All Rights Reserved
    「BI ツールなのに GitHub 連携ができる」の振り返り
    2018
    ● Looker はモデルやビューの定
    義の変更を自動的に GitHub
    をはじめとした Git リポジトリに
    同期
    ● 履歴を追って復元
    ● ブランチでプルリクエストを送っ
    てレビューを経てマージ
    19
    2023
    ● (強制フローにしてあるので当た
    り前だが)みんなブランチを切っ
    て、プルリク出してをやっている
    BI・アナリ
    スト業務
    

    View Slide

20. © Recruit Co., Ltd. All Rights Reserved
    「BI ツールなのに GitHub 連携ができる」の振り返り
    2018
    ● Looker はモデルやビューの定
    義の変更を自動的に GitHub
    をはじめとした Git リポジトリに
    同期
    ● 履歴を追って復元
    ● ブランチでプルリクエストを送っ
    てレビューを経てマージ
    20
    2023
    ● (強制フローにしてあるので当た
    り前だが)みんなブランチを切っ
    て、プルリク出してをやっている
    BI・アナリ
    スト業務
    「事業レポート_v1.0_3月最新版」とかに苦しめられ
    ないし、デグレしたり消してしまった時に、誰のローカ
    ルが一番stableだったけ、、、とかに苦しまないだけ、
    幸せと言ってももはやポカンとされる。
    

    View Slide

21. © Recruit Co., Ltd. All Rights Reserved
    「BI ツールなのに GitHub 連携ができる」の振り返り
    2018
    ● Looker はモデルやビューの定
    義の変更を自動的に GitHub
    をはじめとした Git リポジトリに
    同期
    ● 履歴を追って復元
    ● ブランチでプルリクエストを送っ
    てレビューを経てマージ
    21
    2023
    ● (強制フローにしてあるので当た
    り前だが)みんなブランチを切っ
    て、プルリク出してをやっている
    ● CI/CDでLinterなどを取り入
    れて、より開発体験やレビュー体
    験をよりよくできないか、などは
    検討中
    AE
    テーマ
    

    View Slide

22. © Recruit Co., Ltd. All Rights Reserved
    「BI ツールなのに GitHub 連携ができる」の振り返り
    2018
    ● Looker はモデルやビューの定
    義の変更を自動的に GitHub
    をはじめとした Git リポジトリに
    同期
    ● 履歴を追って復元
    ● ブランチでプルリクエストを送っ
    てレビューを経てマージ
    22
    2023
    ● (強制フローにしてあるので当た
    り前だが)みんなブランチを切っ
    て、プルリク出してをやっている
    ● CI/CDでLinterなどを取り入
    れて、より開発体験やレビュー体
    験をよりよくできないか、などは
    検討中
    AE
    テーマ
    積み重なった負債で苦しんだ経験から、作る時の負
    債を少しでも減らしたいが、それを人間がレビューで
    指摘する時の心理負荷を減少したいという動機がか
    なりある。
    これもまた、AEというポジションができたおかげで、
    検討する余裕ができた。
    何より、DevOpsなどの考えを取り入れようとする時に「なんで
    ?」と言われな
    いだけで正直動きやすい。。。
    

    View Slide

23. © Recruit Co., Ltd. All Rights Reserved
    今日の内容
    エンジニアの LOVE が詰まった BI、それが Looker
    1. 外部の DWH・DB を使うことを前提にしている
    2. LookML で全てを記述できる
    3. BI ツールなのに GitHub 連携ができる
    4. ほとんどの操作を API 経由で実行できる
    5. 見られている・見られていない指標がすぐわかる
    6. カスタマー LOVE の溢れるサポートがついてくる
    23
    振り返り
    テーマ その他
    テーマ
    

    View Slide

24. © Recruit Co., Ltd. All Rights Reserved
    「ほとんどの操作を API 経由で実行できる」の振り返り
    2018
    ● ダッシュボードの更新、ユーザの
    管理に到るまでかなりのことが
    API を通して実行可能
    24
    2023
    

    View Slide

25. © Recruit Co., Ltd. All Rights Reserved
    「ほとんどの操作を API 経由で実行できる」の振り返り
    2018
    ● ダッシュボードの更新、ユーザの
    管理に到るまでかなりのことが
    API を通して実行可能
    25
    2023
    ● あまり使っていない
    BI・アナリ
    スト業務
    

    View Slide

26. © Recruit Co., Ltd. All Rights Reserved
    「ほとんどの操作を API 経由で実行できる」の振り返り
    2018
    ● ダッシュボードの更新、ユーザの
    管理に到るまでかなりのことが
    API を通して実行可能
    26
    2023
    ● あまり使っていない
    ○ 業務量が少ないため、手動対応で一
    旦どうにかなっているため
    ○ APIを定期的にキックする仕組み
    や、その運用に習熟しているわけで
    はないというものある
    BI・アナリ
    スト業務
    

    View Slide

27. © Recruit Co., Ltd. All Rights Reserved
    「ほとんどの操作を API 経由で実行できる」の振り返り
    2018
    ● ダッシュボードの更新、ユーザの
    管理に到るまでかなりのことが
    API を通して実行可能
    27
    2023
    ● あまり使っていない
    ○ 業務量が少ないため、手動対応で一
    旦どうにかなっているため
    ○ APIを定期的にキックする仕組み
    や、その運用に習熟しているわけで
    はないというものある
    BI・アナリ
    スト業務
    アナリスト兼務のAdminが、APIを用いて、
    GoogleSpreadsheetなどに出力したり、ユーザーの
    削除などを実施している。
    ただ、アナリストからは、「自分たちとは遠い業務」に
    感じがちで、こういう所から AEの分業化の必要性が
    高まってきていた。
    

    View Slide

28. © Recruit Co., Ltd. All Rights Reserved
    「ほとんどの操作を API 経由で実行できる」の振り返り
    2018
    ● ダッシュボードの更新、ユーザの
    管理に到るまでかなりのことが
    API を通して実行可能
    28
    2023
    ● あまり使っていない
    ● 業務標準化のため、ユーザ管理/
    パーミッション管理などを
    YAML+SDK+APIでできない
    か検討中
    AE
    テーマ
    

    View Slide

29. © Recruit Co., Ltd. All Rights Reserved
    「ほとんどの操作を API 経由で実行できる」の振り返り
    2018
    ● ダッシュボードの更新、ユーザの
    管理に到るまでかなりのことが
    API を通して実行可能
    29
    2023
    ● あまり使っていない
    ● 業務標準化のため、ユーザ管理/
    パーミッション管理などを
    YAML+SDK+APIでできない
    か検討中
    AE
    テーマ
    手動でアナリストが設定して、パーミッションが上手く
    いってない、などがあった。
    BI・アナリスト側でここを綺麗にするのは難しいので、
    AEポジションから、Terraformなどで、管理できない
    かなどを検討中
    

    View Slide

30. © Recruit Co., Ltd. All Rights Reserved
    その他AEテーマのご紹介
    30
    

    View Slide

31. © Recruit Co., Ltd. All Rights Reserved
    セマンティックレイヤー:まなびデータソリューション部だけでなく、事業全体の拡大に伴い、よりガバナンスが
    効いたデータ提供の必要性が高まる。データの利用者数の増加と、SSOTなどのガバナンスがトレードオフに
    ならないように、セマンティックレイヤーはどうあるべきかを、検討中
    31
    データ定義
    (Looker)
    Dashboard
    (Looker)
    slack
    Google
    Spreadshe
    et
    csv
    Looker?
    DBT?
    データ利用者
    AE
    テーマ
    詳細な分析
    探索/モニタリング
    モニタリング
    ポスト
    出力
    連携
    セマンティックレイ
    ヤーからの連携
    組織拡大に伴い、バックグ
    ラウンド（データへの慣れ、
    使うツール）や目的、分析
    対象の多様化が進む
    

    View Slide

32. © Recruit Co., Ltd. All Rights Reserved
    データ障害を未然に防ぐ取り組み:運用するデータ/ダッシュボードの増加に伴い、Looker前の
    Transformation部分での情報共有/品質担保/異常検知の仕組み化の必要性あり。データエンジニアと共
    同し、複数のツール+自前実装で対応中。
    32
    メタデータ基盤
    (Google
    Data Plex)
    Dashboard
    基盤(Looker)
    テスト/監視基盤
    (DBT)
    2021
    実現
    BigQuery
    Transformatio
    n基盤(Airflow)
    2022
    実現
    Dashboard
    の観測基盤
    今後のAE
    テーマ
    メタデータを
    DBTのテスト
    に変換
    schema定義のテスト
    内容のanomaly detection
    transform
    modeling
    visualization
    定義情報の連携
    observation
    

    View Slide

33. © Recruit Co., Ltd. All Rights Reserved
    まとめ
    33
    

    View Slide

34. © Recruit Co., Ltd. All Rights Reserved
    まとめ
    ①【Lookerの振り返り】
    アナリストとしてはもちろん、 AEっぽいことをやる場合でも、Lookerの機能は使えるので、5年経ってもま
    だまだ使い倒せそうという振り返り。
    ➔ というか、5年たち、色々あったからこそ使い倒さないと辛いことがわかってきているのかも。(正直DBTとかが
    出てきてくれたから、比較して、ひとまずLookerのこの機能でまずやってみるか、みたいな進め方も多い)
    ②【AE業務】
    アナリストで辛かったことに他の人が将来苦しまないための打ち手を、AEとしてやっている感じ。
    ➔ AEが必須の職能、とまではまだ言えないけれど、「AEがいる・認められている」組織は、これからくる辛さなど
    をどうにかしようと思ってくれているということだから、BI・アナリストにとっても良い組織になりそうだな、と
    いう所感。
    34
    

    View Slide

35. © Recruit Co., Ltd. All Rights Reserved
    最後に
    振り返ってみると、近年では、アナリストたちが草の根でやっていたことの重要度が
    認識され、AEという名前で呼ばれ始めてる。
    （弊社は必要性を認識し、ロールとして定義し、増やそうとしてます。）
    ● アナリスト->AE : なりやすそう
    ● SWE,SRE -> AE: これから増えそう
    ● AEスタート:そんなキャリアもありかも、、、え、もういます?
    35
    実は、あなたも既にAEかも?
    

    View Slide

36. © Recruit Co., Ltd. All Rights Reserved
    Thank You
    36
    

    View Slide