20230725_データエンジニアに求められるソフトスキル

「データエンジニアに求められるソフトスキル」

デジタル庁 Fact & Data Unit hase-ryo

2023/07/25
株式会社トラックレコード主催「データエンジニアのキャリア戦略を考える。」にて発表
https://tech-track.connpass.com/event/288079/

Transcript

1. データエンジニアに求められるソフトスキル 株式会社トラックレコード主催『データエンジニアのキャリア戦略を考える。』 2023-07-25 デジタル庁 ⻑⾕川（hase-ryo）
2. デジタル庁 Fact & Data Unit ⻑⾕川 亮（hase-ryo） • 経歴 ◦ インテージでデータ整備とデータ基盤 
 ◦ Webメディアやリクルートをフラフラしてデータ分析 
 ◦ メルカリでデータ分析とデータマネジメント 
 ◦ デジタル庁（週４） + メルカリ（週１）
 ＆データ経営コンサル『風音屋』アドバイザー 
 • デジタル庁での業務 ◦ Fact & Data Unitでデータ分析基盤の開発・整備 
 ◦ 社会の基本データ（ベース・レジストリ）のオープンデータ化 
 ◦ などなど
 2 ⾃⼰紹介
3. 3 作っているデータ分析基盤についてはデジ庁公式Note参照 デジタル庁のデータ分析基盤「 sukuna」 https://digital-gov.note.jp/n/na227ce427930
4. • ターゲット ◦ 組織の成熟を狙いたいマネージャー ▪ データエンジニアやデータマネジメントなどデータエコシステム関連組織が対象 ◦ 個⼈としてのキャリアの⽅向性を模索したいデータエンジニア • 持ち帰ってほしい知⾒ ◦ データエンジニアの価値の源泉に⽬を向けること ◦ エンジニア組織の外側に⽬を向けること 4 今⽇の話のターゲット
5. 1. キャリアを考える上で想像する「最⾼の職場」 2. データエンジニアリングの前後にある需要と供給 3. パイプラインの外にある壁を突破できるか？ 4. 「ルール」「ツール」「プロセス」に分けてアプローチを変える 5. 事業のPhaseによって「ルール」「ツール」「プロセス」の要求は異なる 5 アジェンダ
6. • データエンジニアにとって最⾼の職場とは何か？ ◦ ミッション、給与、QoL、同僚、etc… ◦ ⼈によって判断基準や評価尺度は異なる ◦ 「データのエンジニアリングに集中できること」は要素の⼀つとして考えられる 6 キャリアを考える上で想像する「最⾼の職場」
7. 7 データエンジニアリングに集中できる職場とは？例えば‧‧ データの価値が理解されている データの扱い方のリテラシーが高い 適切なKPI設計と、 それに紐づくデータが明確 利活用を見越して データが生成されている データの生成から活用まで、 価値創出までの全体が管理されている
8. 8 逆に、データエンジニアリングに集中できない職場とは データの価値が理解されている データの扱い方のリテラシーが高い 適切なKPI設計と、 それに紐づくデータが明確 利活用を見越して データが生成されている データの生成から活用まで、 データフロー全体が管理されている データの価値が理解されない 不適切または実施されないKPI設計、 必要なデータがわからない データの扱い方のリテラシーが低い 利活用と紐づかないデータの生成、 または生成されないデータ 管理されていないデータフロー
9. 9 企業によって状況は様々 データの価値が理解されている データの扱い方のリテラシーが高い 適切なKPI設計と、 それに紐づくデータが明確 利活用を見越して データが生成されている データの生成から活用まで、 データフロー全体が管理されている データの価値が理解されない 不適切または実施されないKPI設計、 必要なデータがわからない データの扱い方のリテラシーが低い 利活用と紐づかないデータの生成、 または生成されないデータ 管理されていないデータフロー
10. 10 データエンジニアリングの前後にある需要と供給 供給 需要 経営・組織企画 マーケティング サービス企画開発 リソース管理の最適化 保守運用の効率化 顧客データ アクセスログ POSなどの トランザクションログ センサー・GPSなど IoT関連データ 外部（有償・公開）データ データエンジニアの領域 ・データの統合 ・基盤設計と運用 ・データの加工 ・可視化ツールの提供 ・etc..
11. 供給側と需要側、両⽅の課題がパイプラインに影響する 11 需要と供給を結びつける パイプライン 供給 需要 データの価値が わからない データの扱い方が わからない 適切なKPIが 設計できない 利用用途のわからない データ 利活用しづらい 非標準なデータ 品質が足りないデータ 提供されないデータ （そもそも） データの需要がない
12. • データエンジニアが幸せに仕事をするために、 データエンジニリングの外側にある課題を解決する必要が出てくる • ビジネスや組織の規模が⼤きい場合、⼤体は他のチーム‧部署が所管する領域 • 技術⼒（ハードスキル）でカバーできる部分もあるが、 多くの場合で様々な壁を突破するソフトスキルが必要 ◦ エンジニアと⾮エンジニアの壁 ◦ 異なるビジネス⽬的の壁 ◦ 異なる前提知識や背景の壁 12 パイプラインの外にある壁を突破できるか？
13. 13 コミュニケーション能⼒！ つまり‧‧
14. • 課題を「ルール」「ツール」「プロセス」に分けて考えてみよう ◦ 「ツール」を作るのはデータエンジニアが得意な領域 ◦ データの供給側には「ルール」の課題が多い ◦ データの需要側には「プロセス」の課題が多い • それぞれの領域で起こっている課題はどれに該当するのか？ ◦ ツールが⾜りなくて使われない？ ◦ ルールがなくて無法地帯？ ◦ プロセスが決まってなくて進まない？ • 課題によってアプローチを変えたりヘルプを呼ぶ ◦ ツールがない → 頑張って作る or 便利なものを導⼊する ◦ ルールがない → トップダウンでビジネスや開発のルールを規定する or 権限のある⼈と協⼒ ◦ プロセスがない → ボトムアップで現場の業務フローを改善 or 企画のプロと協⼒ 14 ソフトスキル＝コミュ⼒を鍛えましょう、ではあんまりだ
15. 15 事業や組織のPhaseも意識する Agile & Fragile Trust & Robust 素早く柔軟な価値創出が求められる 安定性と信頼性が求められる 事業や組織のPhase
16. Agile & Fragile Trust & Robust 事業や組織のPhase 16 事業や組織のPhaseも意識する それぞれのPhaseで「ルール」「ツール」「プロセス」に求められるレベルが異なる
17. • データエンジニアの課題はパイプラインの外側からもやってくる • 技術⼒（ハードスキル）で解決できない課題を、コミュニケーション（ソフトスキル）で 解決する状況が出てくる • パイプライン外の課題を「ルール」「ツール」「プロセス」に分けてアプローチ • 事業Phaseに応じたレベル感を⽬指す → データエンジニアもデータの上流‧下流を含めた事業や現場の状況を把握しておこう 17 まとめ
18. デジタル庁も採⽤やってます 18 宣伝！ 「デジタル庁」「採用」で検索！