いちデータエンジニアが出会った、アナリティクスエンジニアというキャリア

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© Recruit Co., Ltd. All Rights Reserved 自己紹介山邉哲生（やまべてつお）株式会社リクルート　プロダクト統括本部　プロダクト開発統括室データ推進室販促領域データソリューション４ユニット（まなび）ディビジョンオフィサーデータテクノロジーユニットアナリティクスエンジニアリンググループグループマネージャー 2015年に（株）リクルートマーケティングパートナーズに入社。データエンジニアとしてスタディサプリシリーズのデータ分析基盤開発を牽引した後、当該領域のデータ部門責任者を担当。会社統合後、昨年度より事業領域横断で発足した D3M（Data Driven Decision Making）部においてアナリティクスエンジニア組織を立ち上げ、データを活用した意思決定支援の取り組みを推進する。 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとの出会い 5 事業 DB / ASP アクセスログ BI モニタリングアドホックレポート SQL 実行環境外部システム連携データレイク層データウェアハウス層　　　　　　　　　　　　　　　　データマート層データカタログデータポータル意思決定者 / データ利用者 Transform レイヤー利活用に近いレイヤーで担保するべき品質や、対象となるデータ、またアウトプットも増大の一歩を辿り、データ基盤の運用としてデータエンジニアだけで対応するのが難しくなってきた。 Extract / Load レイヤー

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとは ● 意思決定者の『問い』に即時に応えられるデータを提供する人 ○ ELT アーキテクチャや dbt (data build tool) などの登場によって新たに確立された職種 ○ データアナリストとデータエンジニアの間の存在として近年注目を集めている 7 アナリティクスエンジニア ● 『クリーン』で『変換・整理済み』の即時分析可能なデータ提供 ● ソフトウェアエンジニアリングのベストプラクティスを活用した DataOps ● データポータルやドキュメントなどの整備 ● 意思決定者へのトレーニングを通したデータ利活用支援データエンジニア ● カスタマイズされたデータ統合処理の実装 ● パイプラインオーケストレーションの管理 ● データプロダクトや機械学習エンドポイントの開発やデプロイ ● データウェアハウスの開発・運用や性能最適化データアナリスト ● データ分析を通したインサイトの発見や将来予測 ● データに関する要求を取りまとめるために、事業側組織と密に連携 ● 重要な BI ダッシュボードの作成参考) The rise of the Analytics Engineer (https://www.youtube.com/watch?v=ixyzF4Dy9Us)

Slide 8

Slide 8 text

© Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとは 8 データモデリング・変換処理開発 ● 分析要件に紐づくデータモデル定義 ● SQL や dbt を使用したデータ変換処理の開発ドキュメント・ポータル・メタデータ整備 ● データ利用者のためのドキュメント・ポータル作成 ● データへのメタデータ付与と継続的な更新データ品質管理 ● データの欠損や異常値の混入有無などのテスト ● ビジネスロジック（データ変換処理）のテスト DataOps ● Git などを活用した構造的なデータ処理の管理 ● CI/CD を活用した運用の自動化・効率化可視化・メトリクス管理 ● BI によるモニタリング環境構築・基礎分析 ● 統一的な KPI/KGI 指標の運用管理データイネーブルメント ● リバース ETL などによる外部システムでの利活用 ● SQL 勉強会などを通したデータ民主化の推進

Slide 9

Slide 9 text

© Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織の立ち上げ 9 事業 DB / ASP アクセスログ BI モニタリングアドホックレポート SQL 実行環境外部システム連携データレイク層データウェアハウス層　　　　　　　　　　　　　　　　データマート層データカタログデータポータル意思決定者 / データ利用者 Transform レイヤー Modern Data Stack / Modern Data Team の潮流も受け、ビジネスレイヤーに近接した領域でデータ利活用推進・およびデータマネジメントの装着を行うアナリティクスエンジニアのポジションを新設。 Extract / Load レイヤー

Slide 10

Slide 10 text

© Recruit Co., Ltd. All Rights Reserved 事例紹介 10 データソース A アナリスト A の独自のロジック KPI KPI’ 同じ KPI 指標でも出力経路によって数値が合わない現象が起きるデータソース B データソース C データソース D アナリスト B の独自のロジック施策の増加・・・ ● 施策と関連するデータの増加によって下記課題が顕在化 ○ データの複雑さによって、集計処理の品質・生産性が低下 ○ 各自が集計したレポートの指標が微妙に異なり認識にズレリクルートアナリティクスエンジニア事例 : dbt™CLIでデータ開発に自動テストを導入

Slide 11

Slide 11 text

© Recruit Co., Ltd. All Rights Reserved ● 分析用のデータマートを整備し、その中でデータ変換処理を一元管理 ○ ドメインを反映し、分析しやすい形にデータモデリングを実施 ○ アナリストが参照するための SSOT データマートを作成し、認識のズレを防止事例紹介 11 データソース A KPI データソース B データソース C データソース D リクルートアナリティクスエンジニア事例 : dbt™CLIでデータ開発に自動テストを導入ドメイン A データマートドメイン B データマート汎用分析データマート BigQuery

Slide 12

Slide 12 text

© Recruit Co., Ltd. All Rights Reserved ● dbt を導入し、アナリティクスエンジニアリングによるデータマネジメントを実現 ○ データ変換処理の分割、およびテストコードの記述による自動テスト・異常検知 ○ モデルの依存関係の可視化によるシンプルなモデリングの促進・データフロー把握の容易化事例紹介 12 データソース A KPI データソース B データソース C データソース D リクルートアナリティクスエンジニア事例 : dbt™CLIでデータ開発に自動テストを導入ドメイン A データマート … 汎用分析データマートドメイン B データマート中間テーブル中間テーブル中間テーブルデータマート X データマート Y BigQuery dbt 重要なテーブルは自動テストで品質を監視異常があればアナリストに即時通知自動的にリネージを可視化し、シンプルなモデリング構築を支援

Slide 13

Slide 13 text

© Recruit Co., Ltd. All Rights Reserved データエンジニアからみたアナリティクスエンジニア ● これまでなんとなく業務範疇になっていたことが整理・言語化された ○ 利活用ドメインを意識したデータモデリング ○ 民主化を推し進めるためのメタ情報整備・トレーニング ○ リファクタリングを可能にするための自動テスト・依存性検出 ○ … などなど ● データの価値を最大化するには？について考える役割 ○ データを集めたり、ひたすら可視化する”だけ”では事足りない ○ データエクスペリエンスの改善/PDCAに挑み続ける（品質担保、 BI 改善、etc） 13

Slide 14

Slide 14 text

© Recruit Co., Ltd. All Rights Reserved データエンジニアからみたアナリティクスエンジニア ● ビジネスとエンジニアリングに距離がある組織には欠かせない存在 ○ 規模は小さいがデータ基盤の利活用が進まない組織 ○ 規模は大きいが色々な部署で利活用されすぎている組織 ● 足回りの技術が成熟し、より上流に視点も移しやすくなっている ○ 利活用 ≒ ビジネスレイヤー近くでのデータマネジメントが重要に ○ 持続的に運用可能な仕組みを作れるエンジニアの強みが活かせる ○ LLM 時代の到来によってメタデータ整備が生命線になっていく可能性も…？データエンジニア ⇔ アナリティクスエンジニアというキャリアパス、面白いのでは…！ 14

Slide 15

Slide 15 text

© Recruit Co., Ltd. All Rights Reserved さいごにリクルートのデータ推進室では一緒に働いていただけるデータエンジニア・アナリティクスエンジニアな方を絶賛募集しています！ ● データ推進室 | 株式会社リクルート中途採用特設ページ ● リクルートデータブログカジュアル面談も絶賛実施していますので、気軽にお声がけください！！ ● データ職種カジュアル面談 ○ アナリティクスエンジニアというお仕事とキャリア ○ データエクスペリエンスの改善での困りごと ○ モダンデータスタックによるデータマネジメント最新動向などなど ※ フリーコメント欄に 7/25「データエンジニアのキャリア戦略を考える」経由とご記載ください！ 15 中途採用特設ページカジュアル面談

Slide 16

Slide 16 text

© Recruit Co., Ltd. All Rights Reserved ご参考資料 ● 社員紹介アナリティクスエンジニア ● アナリティクスエンジニアの募集を始めました ● ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルートが“価値あるデータ整備”のための新たな職種に着目した理由 ● リクルートが考える「意思決定に効くデータマネジメント」とは ● 意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～ 16