意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～

© Recruit Co., Ltd. All Rights Reserved
意思決定につなげるためのデータマネジメント
〜今、注目を浴びるアナリティクスエンジニア〜
株式会社リクルートデータ推進室
山邉哲生
2023/04/06

View Slide

自己紹介
山邉哲生（やまべてつお）
株式会社リクルート　プロダクト統括本部　プロダクト開発統括室
データ推進室販促領域データソリューション４ユニット（まなび）
ディビジョンオフィサー
2015年に（株）リクルートマーケティングパートナーズに入社。データエンジニ
アとしてスタディサプリシリーズのデータ分析基盤開発を牽引した後、
Quipper 社を含めた当該領域のデータ部門責任者を担当。
会社統合後、昨年度より事業領域横断で発足した D3M（Data Driven
Decision Making）部においてアナリティクスエンジニア組織を立ち上げ、
データを活用した意思決定支援の取り組みを推進する。
2

View Slide

データ推進室の組織構成
3
データテクノロジー
ユニット
データプロダクト
ユニット
データソリューション
ユニット
SaaS
領域
HR
領域
まなび
領域
…
データサイエンス・機械学習エンジニアリング部
データエンジニアリング部
D3M (Data Driven Decision Making) 部
データマネジメントを通して経営資源としてのデータの価値を引き出し、
意思決定の速度と精度を最大化するための組織
アナリティクスエンジニアリンググループ

View Slide

アジェンダ
1. アナリティクスエンジニアとは
2. アナリティクスエンジニア組織立ち上げの背景
3. アナリティクスエンジニアの活動事例
4. 現状の課題と今後の方向性
4

View Slide

アナリティクスエンジニアとは
● 意思決定者の『問い』に即時に応えられるデータを提供する人
○ ELT アーキテクチャや dbt (data build tool) などの登場によって新たに確立された職種
○ データアナリストとデータエンジニアの間の存在として近年注目を集めている
5
アナリティクスエンジニア
● 『クリーン』で『変換・整理済み』の即時
分析可能なデータ提供
● ソフトウェアエンジニアリングのベストプ
ラクティスを活用した DataOps
● データポータルやドキュメントなどの整備
● 意思決定者へのトレーニングを通した
データ利活用支援
データエンジニア
● カスタマイズされたデータ統合処理の実
装
● パイプラインオーケストレーションの管理
● データプロダクトや機械学習エンドポイン
トの開発やデプロイ
● データウェアハウスの開発・運用や性能最
適化
データアナリスト
● データ分析を通したインサイトの発見や将
来予測
● データに関する要求を取りまとめるため
に、事業側組織と密に連携
● 重要な BI ダッシュボードの作成
参考) The rise of the Analytics Engineer (https://www.youtube.com/watch?v=ixyzF4Dy9Us)

View Slide

アナリティクスエンジニアとは
6
データモデリング・変換処理開発
● 分析要件に紐づくデータモデル定義
● SQL や dbt を使用したデータ変換処理の開発
ドキュメント・ポータル・メタデータ整備
● データ利用者のためのドキュメント・ポータル作成
● データへのメタデータ付与と継続的な更新
データ品質管理
● データの欠損や異常値の混入有無などのテスト
● ビジネスロジック（データ変換処理）のテスト
DataOps
● Git などを活用した構造的なデータ処理の管理
● CI/CD を活用した運用の自動化・効率化
可視化・メトリクス管理
● BI によるモニタリング環境構築・基礎分析
● 統一的な KPI/KGI 指標の運用管理
データイネーブルメント
● リバース ETL などによる外部システムでの利活用
● SQL 勉強会などを通したデータ民主化の推進

View Slide

アナリティクスエンジニア組織立ち上げの背景
7
事業 DB / ASP アクセスログ
BI
モニタリング
アドホック
レポート
SQL
実行環境
外部システム
連携
データレイク層
データウェアハウス層
　　　　　　　　　　　　　　　　データマート層データ
カタログ
データ
ポータル
意思決定者 / データ利用者
データ推進室の管轄範囲

View Slide

8
BI
モニタリング
アドホック
レポート
SQL
実行環境
外部システム
連携
　　　　　　　　　　　　　　　　データマート層データ
カタログ
データ
ポータル
利活用推進に伴う、データ分析基盤への要求変化
● 要求元の分散化 : データの民主化が進み、経営、プロダク
ト、マーケティング、CS、営業など様々な部署から依頼が来
るように。
● 難易度の高度化 : 多角的・系列的・横断的な分析要件に耐
えうるデータの提供。スピード感のある意思決定のために
即時提供が求められることも。
● データマネジメントライフサイクルの長期化 : 新規機能やプ
ロダクト立ち上げに始まり、中長期での継続的な品質担保
が重要に。

View Slide

9
BI
モニタリング
アドホック
レポート
SQL
実行環境
外部システム
連携
　　　　　　　　　　　　　　　　データマート層データ
カタログ
データ
ポータル
データマネジメント課題の顕在化
● 要求元の分散化 : 活用先が増えただけでなく、民主化が進
む中でサイロ化の懸念が増大。
● 難易度の高度化 : Quality / Cost / Delivery /
Scope の要求が強くなる中で開発運用フローの効率化・
生産性の改善が急務に。
● データマネジメントサイクルの長期化 : データソースや利活
用先は増え続ける傾向にあり、新規データ開発に加えて品
質担保をし続ける対象も増える負担増の構造に。

View Slide

10
BI
モニタリング
アドホック
レポート
SQL
実行環境
外部システム
連携
　　　　　　　　　　　　　　　　データマート層データ
カタログ
データ
ポータル
Transform レイヤー
ETL から ELT にアーキテクチャが移行し、利活用に近いレイ
ヤーで担保するべき品質や対象となるデータ、またアウトプッ
トも増大の一歩を辿り、データ基盤の運用としてデータエンジ
ニアだけで対応するのが難しくなってきた。
Extract / Load レイヤー

View Slide

11
BI
モニタリング
アドホック
レポート
SQL
実行環境
外部システム
連携
　　　　　　　　　　　　　　　　データマート層データ
カタログ
データ
ポータル
Transform レイヤー
Modern Data Stack / Modern Data Team の潮流も
受け、ビジネスレイヤーに近接した領域でデータ利活用推進・お
よびデータマネジメントの装着を行うアナリティクスエンジニア
のポジションを新設。
Extract / Load レイヤー
アナリティクスエンジニア
分析にすぐ使えるクリーンなデータ環境を提供するために
ソフトウェアの開発手法を活用して
生産性の高いデータ管理を実現する
データアナリストとデータエンジニアの架け橋となる存在
データエンジニア

View Slide

アナリティクスエンジニア組織の役割
12
BI
モニタリング
アドホック
レポート
SQL
実行環境
外部システム
連携
　　　　　　　　　　　　　　　　データマート層データ
カタログ
データ
ポータル
● 要求元の分散化 => よりステークホルダーに近いレイヤー
での要求整理・要件定義を実施。また、SSOT (Single
Source of Truth) や再利用性を意識した継続的なデー
タモデリングを実施する。
● 難易度の高度化 => 構造的なロジック・メタデータ管理、
CI/CD や自動テストなど、ソフトウェアエンジニアリング手
法を適用し、DataOps の実現を通して開発・運用効率を
改善する。
● データマネジメントサイクルの長期化 => 『Data as a
product』を念頭に、各種アウトプットの利用状況を定期
的に確認しながらデータ環境の PDCA を回しつつ注力す
べき箇所を特定する。

View Slide

アナリティクスエンジニア組織の役割
13
BI
モニタリング
アドホック
レポート
SQL
実行環境
外部システム
連携
　　　　　　　　　　　　　　　　データマート層データ
カタログ
データ
ポータル
● 狭義のアナリティクスエンジニアは dbt/Dataform など
を活用し、分析的観点でのデータモデリングの実施、SQL
などでの変換処理の実装がメインの役割。
● 一方、意思決定に寄与するための要求整理・要件定義、また
BI ダッシュボードなどの成果物管理など、『Data as a
product としてのデータマネジメント』を実現するために
は、意思決定者 / データ利用者の目線に立ったアウトカム
を出すことも求められる。
● そのため、現状は『データアナリスト』や『BI エンジニア』
として定義される役割も包含した位置づけとしている。

View Slide

Dataform
Github
アナリティクスエンジニアの活動事例
● 構造的なデータ変換処理の仕組み（Dataform）を導入し、依存関係を明確化
● アナリストによるワークフロー開発を可能にしたことで開発速度を改善
14
テーブル X
テーブル A テーブル B
テーブル C
SQL
SQL
テーブル X
テーブル A テーブル B
テーブル C
SQL
SQL
アドホックな変換処理
SQL の管理をしてい
たため、テーブルへの
変更が思わぬ形で波及
することに
Dataform 内で構造
的にテーブル間の依存
関係を管理することが
でき、リネージも自動
生成が可能に
変換処理もバージョン
管理がされるため、プ
ルリクエストベースの
開発や自動テストなど
も可能に

View Slide

アナリティクスエンジニアの活動事例
● SSOT (Single Source of Truth) 実現のためのデータマネジメントを実施
● 統一データマートとして事業 KPI を実装するなど品質管理強度を改善
15
テーブル A テーブル B テーブル C
独自のロジック独自のロジック
売上売上
指標の物理定義が異なるために抽出経路や
担当者によって同じ指標でも数値が異なる
テーブル A テーブル B テーブル C
SSOT
データマート
売上
意思決定者側の議論に
入り込み、指標定義の認
識を揃えてビジネスロ
ジックを一元化
このデータマート以外か
らの抽出を許さないよう
にガバナンスを装着
データポータル
自動テスト
コーディング
ルール整備
品質管理強度改善
のための取り組み

View Slide

現状の課題と今後の方向性
● 認知が急速に拡大してきたものの、他のデータ系職種に比べると未だ不明瞭な点は多い
○ ジェネラリスト色が強い職種だが、専門性（スキル） + キャリアパスの定義が不可欠
○ 参考) GitLab 社によるアナリティクスエンジニアのキャリアラダー
● アナリティクスエンジニアという役割が明確になったことで、近接職種からの職種転換も今
後進んでいくことが予想される
○ データエンジニア : ゼロ ETL （AWS）などクラウドの進化の影響で ETL パイプライン開発難度が下が
り、深い事業理解をもとによりビジネスに近いレイヤーから分析基盤を設計できることに価値が移る
○ データアナリスト : 民主化とともによりステークホルダーに近いところでデータの加工処理や品質管理を
実施することが必要となり、単独でも一定のデータマネジメントを実現できることも求められていく
16

View Slide

まとめ
● リクルートでは、データ利活用が進むに連れ顕在化したデータマネジメントにおける３つの
課題感を背景に、アナリティクスエンジニアの組織を立ち上げた
○ 要求元の分散化
○ 難易度の高度化
○ データマネジメントサイクルの長期化
● アナリティクスエンジニアの活動によるデータ分析プロセスの効率化・生産性向上の事例が
出来つつある
○ 一方でスキル定義やキャリアパス設計など不明瞭な部分も多いため、引き続き制度設計を進めていく
○ アナリティクスエンジニアの存在を前提としたデータマネジメント標準を形作り、より大規模な現場装着を
実施していく
17

View Slide

ご参考資料
● 社員紹介アナリティクスエンジニア
● アナリティクスエンジニアの募集を始めました
● ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルー
トが“価値あるデータ整備”のための新たな職種に着目した理由
● リクルートが考える「意思決定に効くデータマネジメント」とは
18

View Slide

意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～

意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～

Recruit
PRO

More Decks by Recruit

Other Decks in Business

Featured

Transcript

意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～

意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～

Recruit PRO

More Decks by Recruit

Other Decks in Business

Featured

Transcript

Recruit
PRO