DeNAデータエンジニアの組織・データエンジニアキャリアについて

by DeNA_Tech

Slide 1

Slide 1 text

DeNAデータエンジニアの組織  データエンジニアキャリアについて  株式会社ディー・エヌ・エー城谷信一郎 

Slide 2

Slide 2 text

株式会社ディー・エヌ・エー（2019 年 9 月〜） • データエンジニア・マネージャー • 2020/10〜：ゲーム・ライブストリーミングのマネジメント • 2022/4〜：データエンジニア統括 • 2022/10〜：ヘルスケアドメインのストリームチームを担当城谷信一郎（ジョウヤシンイチロウ） Speakers 

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

全社横断でのデータ活用を支援  ● データ本部は全社横断組織 ● 各事業や社内組織に向けてAI/分析などデータ活用の支援を実施

Slide 7

Slide 7 text

DeNAのデータ活用を引っ張るデータエンジニア組織として ● 利用者に寄り添うをキーメッセージに日々開発・運用 ● しかし、様々な環境の変化により寄り添う事が非常に難しい自体に ● 挑戦中の取り組みも含めて、どう組織やデータエンジニアのロールをアップデートしているか。その概要をお伝えします。このセッションでお伝えすること

Slide 8

Slide 8 text

取り組みの背景 

Slide 9

Slide 9 text

取り組みの背景 DeNAのデータエンジニアの活動概要サービスデータ・ログ・データベース社内データ・会計・人事データ・アンケートなど社外データ・協業先のログ・SNS ・外部の蓄積データデータを収集し利用可能な状態を作るデータ活用の生産性を向上させる土台アナリストマーケティングカスタマーサポート会計部門 HR部門データの発生源利用者  実現すべきこと・データパイプラインの提供・レポート開発（アナリストと連携）・共通環境・ツールの提供・データマネジメント環境の構築・運用ルール等の整備 etc... etc...

Slide 10

Slide 10 text

Slide 11

Slide 11 text

取り組みの背景利用者に寄り添うマインドと体制 ● 社内の専門家と利用部門とのコラボレーションによる探索とシステム化 ○ 利用部門やその先のユーザーの課題解決までをフローと考えるエンジニアアナリストサイエンティスト利用部門・課題定義・目標と上流設計・KPI設計・データ探索・モデリング・開発・デリバリー・保守、運用支える手段・技術 ● OKRによる目標管理 ● リーン思考、MVP、PoC ● アジャイル、スプリント ● KPTによる振り返り、改善

Slide 12

Slide 12 text

取り組みの背景内外で様々な環境の変化が発生する 1. クラウドジャーニーによるオンプレミス撤廃 a. 中央管理から分散管理へ b. データ活用（分析／AI）プロジェクトが200環境以上に分散 2. ゲーム事業以外の急成長や新規事業の勃興 a. Pocochaを始めとするライブストリーミング事業の急成長 b. アライアンスビジネスを含む新規事業の種まきが複数発生

Slide 13

Slide 13 text

取り組みの背景内外で様々な環境の変化が発生する 3. データ分析からデータ活用へ民主化が進む a. 様々なロールのメンバーが様々な要件で活用 4. メンバーの入れ替わり a. 細かい文脈・背景は引き継ぐ度に薄くなる

Slide 14

Slide 14 text

取り組みの背景環境の変化に対して徐々に歪が生まれ始める ● 急激なサービス増加によるリソース効率でのアサイン ○ 複数プロジェクト・サービスに同時アサインされることによる ○ 同時にOKRを定義した内部改善のProjectも走る ● 対応する業務範囲が拡大 ○ 提供するインタフェースやステークホルダーが多種多様に ○ データエンジニアロールの役割が段々と不明瞭に

Slide 15

Slide 15 text

取り組みの背景高い認知負荷とコンテクストスイッチによる生産性の低下 ● 横断部署の性質上、様々なProjectに同時並行で関わる事業A 事業B 事業C 事業D エンジニア・課題定義・目標と上流設計・KPI設計・データ探索・モデリング・開発・デリバリ・運用・保守・課題定義・目標と上流設計・KPI設計・データ探索・モデリング・開発・デリバリ設計開発 QA 保守探索型チームウォーターフォールProject

Slide 16

Slide 16 text

取り組みの背景結果、要望を解決することが優先されてしまい様々な弊害を生む 1. メンバーモチベーションの低下 a. 煩雑なコミュニケーション。頭の切り替え負荷 2. 個人商店化・属人化 a. 実装品質の低下やバラツキ b. 困難な引き継ぎ。実装の文脈や背景が失われることも 3. 事業への価値貢献の活動が縮小 a. めぐって本来価値の活動も制限されることに

Slide 17

Slide 17 text

10年以上運用の中で積み重ねられた負債と失われた文脈組織構造やマインドをアップデートし、持続可能な開発組織へ再組成したい

Slide 18

Slide 18 text

データエンジニア組織のアップデートに向けて組織を再組成するには仲間づくりと貢献・成長できる環境づくりの両面が必要一緒に貢献する仲間を作る活動・データエンジニアのリ・デザイン・採用活動を移譲・効率化し、組織のことにする仲間が貢献と・成長出来る環境作り・キャリアとラダーのデザイン・認知負荷の低い開発体制の構築

Slide 19

Slide 19 text

一緒に貢献する仲間を作る活動 

Slide 20

Slide 20 text

Slide 21

Slide 21 text

データエンジニアのリ・デザインまず採用活動の強化を図ったがデータエンジニアの解像度が低い状態 ● データエンジニアというロールが一般的で無く採用ターゲット定義に苦戦採用エージェント HR（採用担当）データエンジニアデータエンジニア募集要項 ● 日本では、比較的新しい職種 ● 対応範囲も広く、要求人材や優先度が不明瞭に ● データエンジニア側にも、共通のコンテクストが無く、解釈にブレ

Slide 22

Slide 22 text

データエンジニアのリ・デザインデータエンジニアの業務を分析・構造化し３つのポジションに分解データアナリティクスエンジニア(AE) データソフトウェアエンジニア(SWE) データアーキテクト(DA) プロダクト・ツールから貢献 ● BIなどプロダクトを提供 ● データ活用の生産性・質を向上 ● AE,DAと連携したプロダクト開発フルスタックな開発 ● フロント〜インフラの広い開発アーキテクチャ・インフラを支える ● 横断的な施策による貢献 ● アーキテクチャの刷新や各種機能・手順の提供により底上げ高難易度のパイプライン開発 ● リアルタイムデータなど高難易度案件を支援データマネジメント・セキュリティ ● データ基盤の安定稼働 ● データ品質の担保 ● セキュリティの担保事業に入り込むポジション ● 事業最適化を追い求める ● ドメインやデータ構造を熟知 ● データマートやレポート。その他、データ利用部分で事業に貢献他のポジションと連携 ● DA,SWEと連携 ● 要件定義にも大きく貢献

Slide 23

Slide 23 text

データエンジニアのリ・デザインデータアナリティクスエンジニアは近年注目されているロールデータアナリティクスエンジニア(AE) 事業に入り込むポジション ● 事業最適化を追い求める ● ドメインやデータ構造を熟知 ● データマートやレポート。その他、データ利用部分で事業に貢献他のポジションと連携 ● DA,SWEと連携 ● 要件定義にも大きく貢献 ● US, 日本のテック企業でロールとして明確化 ● クラウドやSaaSの浸透により、データ基盤を中央集権で管理する事が少なくなった ● 事業が活用しやすいデータモデリングやマートの開発をdbtなどのツールを活用し実現 ● その他、データの定義を整備したり、利用者へのトレーニングなどを行う

Slide 24

Slide 24 text

各ポジションの期待値と相互補完の関係を言語化事業部A データアナリティクスエンジニア事業部B データアナリティクスエンジニア事業部C データアナリティクスエンジニアデータアーキテクトデータソフトウェアエンジニア事業・データを熟知し事業最適化を図るデータ活用の底上げ・効率化を図るドメイン間の移動ポジション間の移動ポジション間の移動

Slide 25

Slide 25 text

データエンジニアのリ・デザインポジションを明確化することで解像度があがり共通のコンテクストで会話 ● ○○の事業に対応出来るデータアナリティクスエンジニアがターゲットといったより具体的な会話が実現採用エージェント HR（採用担当）データエンジニアアナリティクスエンジニア募集要項 ● 選考フローの効率化 ● 求職者への訴求力、業務理解の向上 ● 採用ターゲットや期待値の明確化データアーキテクト募集要項データソフトウェアエンジニア募集要項

Slide 26

Slide 26 text

採用戦略の立案と施策の実現採用における戦略作りと各施策を体系立て着実に実行基本戦略 ● あらゆる採用のタッチポイントを狙うがリファラルを最優先に実施 ● 選考業務をチームメンバーにも移譲することで当事者意識を芽生えさせる ● 媒体やイベントなどへの露出も積極的におこない、母集団を形成する ● 選考業務が過度な負荷にならないように言語化・プロセス化に務める

Slide 27

Slide 27 text

採用戦略の立案と施策の実現採用における戦略作りと各施策を体系立て着実に実行施策詳細必要な作業リファラル採用の強化・会食などを経て、求職者とタッチポイントを持つ・役割や期待値を伝えつつ Willを醸成・予算確保 ※今回はHR予算採用関連ドキュメントを整備 1. アサインポジション一覧 2. 詳細な判定基準を人材のレベル毎に整備 3. 採用プロセスの定義・各種ドキュメント整備分析環境の整備・求人票へのアクセス解析を行うダッシュボードを整備・Google Dataportalダッシュボード整備外部露出施策の実施・メディア媒体やイベントへの登壇・Twitter広告の配信・各媒体記事準備・イベント登壇準備

Slide 28

Slide 28 text

採用戦略の立案と施策の実現ポジション毎に各指標をモニタリングし施策改善を実施

Slide 29

Slide 29 text

採用戦略の立案と施策の実現現場サイドでの選考業務の自走化と振り返りによる施策実施が実現 ● ドキュメントやノウハウが磨かれていき選考プロセスの質と速度が向上 ● Twitter広告やイベント前後での求人票へのアクセス解析と振り返り ○ 具体的に以下の改善を実施 ■ 遠隔地勤務可能のアピール ■ ポテンシャル枠の準備

Slide 30

Slide 30 text

このパートのまとめデータ活用の人材確保は非常に困難。チームの総力が必要 ● HR・採用担当に委任するのでは無く深く関わり伴走 ○ 戦略と優先順位。それに基づく施策の重要性 ● チームを作るのはマネージャーだけの仕事ではない。チームの仕事 ○ 適切な移譲こそ採用力強化や言語化が進む ● 外部への露出による認知が広まるのは徐々に。失うのは瞬く間に。 ○ 今回改めて認知を再度広げることの難しさを知る

Slide 31

Slide 31 text

仲間が貢献と・成長出来る環境作り 

Slide 32

Slide 32 text

Slide 33

Slide 33 text

キャリアの考え方リ・デザインされたポジション毎にキャリアデザインを設計データアナリティクスエンジニア(AE) データソフトウェアエンジニア(SWE) データアーキテクト(DA) プロダクト・ツールから貢献 ● BIなどプロダクトを提供 ● データ活用の生産性・質を向上 ● AE,DAと連携したプロダクト開発フルスタックな開発 ● フロント〜インフラの広い開発アーキテクチャ・インフラを支える ● 横断的な施策による貢献 ● アーキテクチャの刷新や各種機能・手順の提供により底上げ高難易度のパイプライン開発 ● リアルタイムデータなど高難易度案件を支援データマネジメント・セキュリティ ● データ基盤の安定稼働 ● データ品質の担保 ● セキュリティの担保事業に入り込むポジション ● 事業最適化を追い求める ● ドメインやデータ構造を熟知 ● データマートやレポート。その他、データ利用部分で事業に貢献他のポジションと連携 ● DA,SWEと連携 ● 要件定義にも大きく貢献

Slide 34

Slide 34 text

キャリアの考え方各ポジションをベースに深化・発展を支援する様にデザインジュニアアナリティクスエンジニアデータアーキテクトソフトウェアエンジニアアナリティクスエンジニア経験2-3年位までは、アナリティクスエンジニアとしてデータ活用の現場を理解 ※年数は目安経験3年目以降は、各ポジション毎に以降でキャリアを深化させるミドル〜シニア以降は、キャリアは個人のもの。 Mgrと壁打ちしながら本人が決めるアナリティクスエンジニア特化データアナリスト×データエンジニアエンジニアリングマネージャーテックリードデータ活用コンサル・ PM

Slide 35

Slide 35 text

キャリアの考え方定期的にキャリアの大きな方向性も確認 Individual contributor(IC) Tech lead(TL) Engineering manager(EM) 今後のキャリアの方向性は？・直近はICとしてプロジェクトに貢献・２年後は、EMとして組織立上げやマネジメントも経験したい OK。目標設定もそれを意識しましょう御意に

Slide 36

Slide 36 text

キャリアの考え方各ポジション毎にキャリアラダーを設け成長観点での目安を設けるジュニアレベル  ミドルレベル  シニアレベル  今ココ 1on1などで定期的にメンタリング ● キャリアの方向性確認 ● 上位レベルとのギャップ確認 ● 成長できる環境をすり合わせ ○ 今後発生するProjectでチャレンジ ○ 提案しチャレンジする Project

Slide 37

Slide 37 text

認知負荷の低い開発体制の構築探索と早い変更フローによる素早い価値の提供と学習 ● 探索的型のチームが増えてきており高いフローの効率が求められる事業A 事業B 事業C 事業D エンジニア・課題定義・目標と上流設計・KPI設計・データ探索・モデリング・開発・デリバリ・運用・保守・課題定義・目標と上流設計・KPI設計・データ探索・モデリング・開発・デリバリ設計開発 QA 探索型チームウォーターフォールProject 保守

Slide 38

Slide 38 text

認知負荷の低い開発体制の構築リソース効率とフロー効率の戦略と指標 Project A Project B Project C Project C Project B Project A ● 価値提供の単位で多職種でチームを編成 ● 価値を提供するリードタイムの短さを重視 ● 探索的な開発に向いており、フロー効率と比べてスケジュールは重視されない ● 職種毎にチームを編成 ● 開発リソースの最大活用を重視 ● 固定的な開発に向いており、リソース効率と比べてスケジュールを重視する BIZ BIZ ANL DS ENG BIZ ANL DS ENG BIZ ANL DS ENG ENG ENG ENG BIZ BIZ ANL ANL ANL DS DS DS フロー効率  リソース効率 

Slide 39

Slide 39 text

認知負荷の低い開発体制の構築リソース効率を優先したアサインに限界 ● 一人がドメインも文脈も違うプロジェクトにアサイン ○ 絶え間なく事業が立ち上がる環境だからこそ ● リモートワーク化もありプロジェクト毎に倍々に増える会議 ● プロジェクト間でつける事の出来ない優先度 ● データ活用を通じて、事業やその先のユーザーに価値を   届けることにリソースと認知を集中したい   ● その価値提供を、スピード感を持って実現し学習サイクルを   回し続けたい 

Slide 40

Slide 40 text

認知負荷の低い開発体制の構築チームトポロジーを活用した開発体制を組成中チームトポロジーとは ● 顧客への価値提供のフローを最大化させるためのの組織設計論 ● 組織の形がソフトウェアアーキテクチャに影響を与えるコンウェイの法則を逆手に取った逆コンウェイ戦略でチームを組成する ● LeanとDevOps を補完・補強する理論 ● チームの認知負荷・コミュニケーション負荷を改善し以下を狙う ○ コミュニケーションコストの最適化 ○ チームファーストでの責任境界の明確化 ○ ブロック・非効率な開発フローの改善 ○ メンバーのモチベーション改善

Slide 41

Slide 41 text

認知負荷の低い開発体制の構築チームトポロジーを活用した開発体制を組成中事業ドメイン単位でチームを分割しフロー効率を高める ● 事業ドメインの中でのデータ活用に注力 ○ これをストリームアラインドチームと呼ぶ ● 他のチームとは弱い依存関係を作り認知負荷を下げる ○ ストリームアラインドチーム内で顧客価値まで自律して届ける ● ストリームアラインドチームを支えるチームも組成ゲーム事業ライブストリーミング事業ヘルスケア事業社内利用部門支援チームプロダクトチーム各事業に向くチームフロー効率を高めるために以下を実施・技術、方式のレクチャーを行う・データ活用で利用するプロダクトを提供する一定水準以上のレベルで、データ活用を引っ張るチームを組成する

Slide 42

Slide 42 text

認知負荷の低い開発体制の構築開発体制の組成は道半ば 1. 現時点ではチームを分割し立ち上げのフェーズ 2. チームトポロジーの理念・概念の輪読会・勉強会を実施 3. チーム立ち上げに際し以下のガイドラインを設け運用を進める a. チーム・インタラクションマトリクスの整備と運用 b. チーム立上げ〜終了までのサイクルにおけるガイドライン

Slide 43

Slide 43 text

認知負荷の低い開発体制の構築チーム・インタラクションマトリクスの整備と運用チームA チームB コラボレーション ● お互いの専門性を共有しながら、新たな探索の実施  ● 目的、期限を設け密にコミュニケーションしプロジェクトを実施    チーム名コミュニケーション方法目的チームA-チームB コラボレーション ○○ チームB-チームC ファシリテーション △△ ● コミュニケーションのインタフェースと目的を一元で管理 ● ロギングすると共に、課題認識や振り返りに活用

Slide 44

Slide 44 text

まとめ 

Slide 45

Slide 45 text

まとめ組織を再組成するには仲間づくりと貢献・成長できる環境づくりの両面が必要一緒に貢献する仲間を作る活動・データエンジニアのリ・デザイン・採用活動を移譲・効率化し、組織のことにする仲間が貢献と・成長出来る環境作り・キャリアとラダーのデザイン・認知負荷の低い開発体制の構築

Slide 46

Slide 46 text

まとめ ● ようやく組織改善に向けて１歩を踏み出す。しかし、大きな１歩 ● 今後は、組織・チームに魂（整合性の取れたルール・運用）を込める ○ 今回の組織危機で感じた思いと改善への熱量を文化に変える ● 仲間が活躍し外部に発信しブランディングを行う。その結果、新たな仲間を呼び込み、DeNAのデータ活用を発展させる。そのサイクルを作る

Slide 47

Slide 47 text

We are Hiring!!! DeNAではデータ活用の課題を共に解決に導く仲間を募集しています ● チームは変革期 ● 様々なデータ活用の課題を共に解決しませんか？ DeNA データエンジニア TEAMの紹介ページにアクセス可能です ↓検索はこちら QRコードはこちら