いちデータエンジニアが出会った、 アナリティクスエンジニアというキャリア

2023/07/25に、TECH TRACK vol.2で発表した山邉の資料です。

Transcript

1. © Recruit Co., Ltd. All Rights Reserved いちデータエンジニアが出会った、 アナリティクスエンジニアというキャリア 株式会社リクルート データ推進室 山邉 哲生 2023/07/25
2. © Recruit Co., Ltd. All Rights Reserved 自己紹介 山邉 哲生 （やまべ てつお） 株式会社リクルート　プロダクト統括本部　プロダクト開発統括室 データ推進室 販促領域データソリューション４ユニット（まなび） ディビジョンオフィサー データテクノロジーユニット アナリティクスエンジニアリンググループ グループマネージャー 2015年に（株）リクルートマーケティングパートナーズに入社。データエンジニ アとしてスタディサプリシリーズのデータ分析基盤開発を牽引した後、当該領 域のデータ部門責任者を担当。 会社統合後、昨年度より事業領域横断で発足した D3M（Data Driven Decision Making）部においてアナリティクスエンジニア組織を立ち上げ、 データを活用した意思決定支援の取り組みを推進する。 2
3. © Recruit Co., Ltd. All Rights Reserved データ推進室の組織構成 3 アナリティクスエンジニアリンググループ D3M 部 データマネジメントを通して経営資源としてのデータの価値を 引き出し、意思決定の速度と精度を最大化するための組織 データ推進室 中途採用ページ
4. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとの出会い 4 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 データ推進室の管轄範囲
5. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとの出会い 5 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 Transform レイヤー 利活用に近いレイヤーで担保するべき品質や、対象となるデー タ、またアウトプットも増大の一歩を辿り、データ基盤の運用と してデータエンジニアだけで対応するのが難しくなってきた。 Extract / Load レイヤー
6. © Recruit Co., Ltd. All Rights Reserved https://www.getdbt.com/what-is-analytics-engineering/
7. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとは • 意思決定者の 『問い』 に即時に応えられるデータを提供する人 ◦ ELT アーキテクチャや dbt (data build tool) などの登場によって新たに確立された職種 ◦ データアナリストとデータエンジニアの間の存在として近年注目を集めている 7 アナリティクスエンジニア • 『クリーン』 で 『変換・整理済み』 の即時 分析可能なデータ提供 • ソフトウェアエンジニアリングのベストプ ラクティスを活用した DataOps • データポータルやドキュメントなどの整備 • 意思決定者へのトレーニングを通した データ利活用支援 データエンジニア • カスタマイズされたデータ統合処理の実 装 • パイプラインオーケストレーションの管理 • データプロダクトや機械学習エンドポイン トの開発やデプロイ • データウェアハウスの開発・運用や性能最 適化 データアナリスト • データ分析を通したインサイトの発見や将 来予測 • データに関する要求を取りまとめるため に、事業側組織と密に連携 • 重要な BI ダッシュボードの作成 参考) The rise of the Analytics Engineer (https://www.youtube.com/watch?v=ixyzF4Dy9Us)
8. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとは 8 データモデリング・変換処理開発 • 分析要件に紐づくデータモデル定義 • SQL や dbt を使用したデータ変換処理の開発 ドキュメント・ポータル・メタデータ整備 • データ利用者のためのドキュメント・ポータル作成 • データへのメタデータ付与と継続的な更新 データ品質管理 • データの欠損や異常値の混入有無などのテスト • ビジネスロジック（データ変換処理）のテスト DataOps • Git などを活用した構造的なデータ処理の管理 • CI/CD を活用した運用の自動化・効率化 可視化・メトリクス管理 • BI によるモニタリング環境構築・基礎分析 • 統一的な KPI/KGI 指標の運用管理 データイネーブルメント • リバース ETL などによる外部システムでの利活用 • SQL 勉強会などを通したデータ民主化の推進
9. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織の立ち上げ 9 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 Transform レイヤー Modern Data Stack / Modern Data Team の潮流も 受け、ビジネスレイヤーに近接した領域でデータ利活用推進・お よびデータマネジメントの装着を行うアナリティクスエンジニ アのポジションを新設。 Extract / Load レイヤー
10. © Recruit Co., Ltd. All Rights Reserved 事例紹介 10 データソース A アナリスト A の 独自のロジック KPI KPI’ 同じ KPI 指標でも出力経路によって数値が 合わない現象が起きる データソース B データソース C データソース D アナリスト B の 独自のロジック 施策の増加 ・・・ • 施策と関連するデータの増加によって下記課題が顕在化 ◦ データの複雑さによって、集計処理の品質・生産性が低下 ◦ 各自が集計したレポートの指標が微妙に異なり認識にズレ リクルートアナリティクスエンジニア事例 : dbt™CLIでデータ開発に自動テストを導入
11. © Recruit Co., Ltd. All Rights Reserved • 分析用のデータマートを整備し、その中でデータ変換処理を一元管理 ◦ ドメインを反映し、分析しやすい形にデータモデリングを実施 ◦ アナリストが参照するための SSOT データマートを作成し、認識のズレを防止 事例紹介 11 データソース A KPI データソース B データソース C データソース D リクルートアナリティクスエンジニア事例 : dbt™CLIでデータ開発に自動テストを導入 ドメイン A データマート ドメイン B データマート 汎用分析 データマート BigQuery
12. © Recruit Co., Ltd. All Rights Reserved • dbt を導入し、アナリティクスエンジニアリングによるデータマネジメントを実現 ◦ データ変換処理の分割、およびテストコードの記述による自動テスト・異常検知 ◦ モデルの依存関係の可視化によるシンプルなモデリングの促進・データフロー把握の容易化 事例紹介 12 データソース A KPI データソース B データソース C データソース D リクルートアナリティクスエンジニア事例 : dbt™CLIでデータ開発に自動テストを導入 ドメイン A データマート … 汎用分析 データマート ドメイン B データマート 中間テーブル 中間テーブル 中間テーブル データマート X データマート Y BigQuery dbt 重要なテーブルは自動テストで品質を監視 異常があればアナリストに即時通知 自動的にリネージを可視化し、 シンプルなモデリング構築を支援
13. © Recruit Co., Ltd. All Rights Reserved データエンジニアからみたアナリティクスエンジニア • これまでなんとなく業務範疇になっていたことが整理・言語化された ◦ 利活用ドメインを意識したデータモデリング ◦ 民主化を推し進めるためのメタ情報整備 ・ トレーニング ◦ リファクタリングを可能にするための自動テスト ・ 依存性検出 ◦ … などなど • データの価値を最大化するには？について考える役割 ◦ データを集めたり、ひたすら可視化する”だけ”では事足りない ◦ データエクスペリエンスの改善/PDCAに挑み続ける（品質担保、 BI 改善、etc） 13
14. © Recruit Co., Ltd. All Rights Reserved データエンジニアからみたアナリティクスエンジニア • ビジネスとエンジニアリングに距離がある組織には欠かせない存在 ◦ 規模は小さいがデータ基盤の利活用が進まない組織 ◦ 規模は大きいが色々な部署で利活用されすぎている組織 • 足回りの技術が成熟し、より上流に視点も移しやすくなっている ◦ 利活用 ≒ ビジネスレイヤー近くでのデータマネジメントが重要に ◦ 持続的に運用可能な仕組みを作れるエンジニアの強みが活かせる ◦ LLM 時代の到来によってメタデータ整備が生命線になっていく可能性も…？ データエンジニア ⇔ アナリティクスエンジニアというキャリアパス、面白いのでは…！ 14
15. © Recruit Co., Ltd. All Rights Reserved さいごに リクルートのデータ推進室では一緒に働いていただけるデータエンジニア・ア ナリティクスエンジニアな方を絶賛募集しています！ • データ推進室 | 株式会社リクルート 中途採用特設ページ • リクルートデータブログ カジュアル面談も絶賛実施していますので、気軽にお声がけください！！ • データ職種カジュアル面談 ◦ アナリティクスエンジニアというお仕事とキャリア ◦ データエクスペリエンスの改善での困りごと ◦ モダンデータスタックによるデータマネジメント最新動向 などなど ※ フリーコメント欄に 7/25「データエンジニアのキャリア戦略を考える」経由 とご記載ください！ 15 中途採用特設ページ カジュアル面談
16. © Recruit Co., Ltd. All Rights Reserved ご参考資料 • 社員紹介 アナリティクスエンジニア • アナリティクスエンジニアの募集を始めました • ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルートが“価値ある データ整備”のための新たな職種に着目した理由 • リクルートが考える「意思決定に効くデータマネジメント」とは • 意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～ 16
17. © Recruit Co., Ltd. All Rights Reserved ご清聴、ありがとうございました！ 17