リクルートのアナリティクスエンジニア組織立ち上げこれまでとこれから

2023/03/27_『アナリティクスエンジニア』のリアル～リクルートのデータマネジメント、試行錯誤の最前線～での、山邉の講演資料になります

Transcript

1. © Recruit Co., Ltd. All Rights Reserved リクルートのアナリティクスエンジニア組織立ち上げ これまでとこれから 株式会社リクルート データ推進室 D3M 部 山邉 哲生 2023/03/27
2. © Recruit Co., Ltd. All Rights Reserved 自己紹介 山邉 哲生 （やまべ てつお） @beniyama データ推進室 データテクノロジーユニット D3M 部 部長 ソフトウェアエンジニアとして EC サイトやアドテクの開発に携わった後、 2015年に（株）リクルートマーケティングパートナーズに中途入社 スタディサプリのデータ分析基盤開発を牽引した後、Quipper 社への 出向などを経て 2021年10月よりデータ推進室に合流。まなび領域の データ活用責任者を務める他、D3M 部 部長などを兼任。 プライベートでは Looker ユーザー会の初代幹事を担当するなど、デー タマネジメント / アナリティクスエンジニアリング領域への関心が高い。 2 #recruitdata
3. © Recruit Co., Ltd. All Rights Reserved データ推進室の組織構成 3 データテクノロジー ユニット データプロダクト ユニット データソリューション ユニット #recruitdata まなび 領域 自動車 領域 SaaS 領域 … データサイエンス部 データエンジニアリング部 D3M (Data Driven Decision Making) 部 山邉 データマネジメントを通して経営資源としてのデータの価値を 引き出し、意思決定の速度と精度を最大化するための組織
4. © Recruit Co., Ltd. All Rights Reserved まなび 領域 データ推進室の組織構成 4 データテクノロジー ユニット 自動車 領域 データプロダクト ユニット SaaS 領域 データサイエンス部 データエンジニアリング部 … D3M (Data Driven Decision Making) 部 1. 森田 3.近藤 山邉 #recruitdata 2. 加藤 データソリューション ユニット
5. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 5 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 データ推進室の管轄範囲 #recruitdata
6. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 6 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 利活用推進に伴う、データ分析基盤への要求変化 • 要求元の分散化 : データの民主化が進み、経営、プロダク ト、マーケ、営業など様々な部署から依頼が来るように。 • 難易度の高度化 : 多角的・系列的・横断的な分析要件に耐 えうるデータの提供。スピード感のある意思決定のために 即時提供が求められることも。 • データマネジメントライフサイクルの長期化 : 新規機能やプ ロダクト立ち上げに始まり、中長期での継続的な品質担保 が重要に。 #recruitdata
7. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 7 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 データマネジメント課題の顕在化 • 要求元の分散化 : 活用先が増えただけでなく、民主化が進 む中でサイロ化の懸念が増大。 • 難易度の高度化 : Quality / Cost / Delivery / Scope の要求が強くなる中で開発運用フローの効率化・ 生産性の改善が急務に。 • データマネジメントサイクルの長期化 : データソースや利活 用先は増え続ける傾向にあり、新規データ開発に加えて品 質担保をし続ける対象も増える負担増の構造に。 #recruitdata
8. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 8 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 Transform レイヤー ETL から ELT にアーキテクチャが移行し、利活用に近いレイ ヤーで担保するべき品質や対象となるデータ、またアウトプッ トも増大の一歩を辿り、データ基盤の運用としてデータエンジ ニアだけで対応するのが難しくなってきた。 Extract / Load レイヤー #recruitdata
9. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 9 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 Transform レイヤー Modern Data Stack / Modern Data Team の潮流も 受け、ビジネスレイヤーに近接した領域でデータ利活用推進・お よびデータマネジメントの装着を行うアナリティクスエンジニア のポジションを新設。 Extract / Load レイヤー アナリティクスエンジニア 分析にすぐ使えるクリーンなデータ環境を提供するために ソフトウェアの開発手法を活用して 生産性の高いデータ管理を実現する データアナリストとデータエンジニアの架け橋となる存在 データエンジニア #recruitdata
10. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織の役割 10 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 • 要求元の分散化 => よりステークホルダーに近いレイヤー での要求整理・要件定義を実施。また、SSOT (Single Source of Truth) や再利用性を意識した継続的なデー タモデリングを実施する。 • 難易度の高度化 => 構造的なロジック・メタデータ管理、 CI/CD や自動テストなど、ソフトウェアエンジニアリング手 法を適用し、DataOps の実現を通して開発・運用効率を 改善する。 • データマネジメントサイクルの長期化 => 『Data as a product』 を念頭に、各種アウトプットの利用状況を定期 的に確認しながらデータ環境の PDCA を回しつつ注力す べき箇所を特定する。 #recruitdata
11. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織の役割 11 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 • 狭義のアナリティクスエンジニアは dbt/Dataform など を活用し、分析的観点でのデータモデリングの実施、SQL などでの変換処理の実装がメインの役割。 • 一方、意思決定に寄与するための要求整理・要件定義、また BI ダッシュボードなどの成果物管理など、『Data as a product としてのデータマネジメント』 を実現するために は、意思決定者 / データ利用者 の目線に立ったアウトカム を出すことも求められる。 • そのため、現状は 『データアナリスト』 や 『BI エンジニア』 として定義される役割も包含した位置づけとしている。 #recruitdata
12. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げのこれまで • 2022/04 に旧データマネジメント部のコンセプトを拡張した D3M 部に変更 • 2022/06 に内部議論を経てアナリティクスエンジニアの募集要項を公開 ◦ これまで名前のなかった業務領域にラベルが付いたことで、データアナリストやデー タエンジニアの方々を中心に多くの反響を頂いた ◦ 多くの方々に参画いただけたこともあり、各事業領域でのアナリティクスエンジニアリ ング装着の土壌ができつつある 12 #recruitdata
13. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げのこれから • 個としての能力を伸ばす一方で、集団としてのパフォーマンスを上げていくための議論を 重ねている ◦ アナリティクスエンジニアとしての専門性定義 ◦ アナリティクスエンジニアとしての職種レベル・キャリアパス定義 ◦ アナリティクスエンジニア人材の育成・スキルチェックプログラムの開発 ◦ 事業領域・組織横断でのアナリティクスエンジニアリングのプラクティス抽出・展開 • 2023 年度は上記の整備を進めつつ、各現場におけるアナリティクスエンジニアリングの 装着をより強めていく ◦ アナリティクスエンジニアの今後を盛り上げるためにも、得られた知見は積極的に還元したい 13 #recruitdata
14. © Recruit Co., Ltd. All Rights Reserved この後のセッション 14 講演資料などのハッシュタグ #recruitdata イベント終了後にアンケートのご案内もあ りますので、是非ご回答をお願いします！ #recruitdata
15. © Recruit Co., Ltd. All Rights Reserved ご参考資料 • 社員紹介 アナリティクスエンジニア • アナリティクスエンジニアの募集を始めました • ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルー トが“価値あるデータ整備”のための新たな職種に着目した理由 • リクルートが考える「意思決定に効くデータマネジメント」とは 15 #recruitdata
16. © Recruit Co., Ltd. All Rights Reserved カジュアル面談、やっています！ 今日の話で聞けなかったことを聞きたい・リクルートで働くことに興味がある、という方は 是非こちらからお申し込みください！（選考意思の有無は不問です） 『リクルート　データ職種カジュアル面談』　で検索 https://www.saiyo-dr.jp/recruit/Entry/select_job.do?to=job_view&jobId=1043 16 #recruitdata