Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データチームを率いる現場マネージャーが語る、市場が求めるデータエンジニアに爆速で成長する方法

 データチームを率いる現場マネージャーが語る、市場が求めるデータエンジニアに爆速で成長する方法

2022年9月27日に開催した Cloud Native DataEngineer Community での登壇資料です。

Takaya Nakanishi

September 28, 2022
Tweet

More Decks by Takaya Nakanishi

Other Decks in Technology

Transcript

  1. データチームを率いる現場マネージャーが語る、
    市場が求めるデータエンジニアに爆速で成長する方法
    株式会社ナレッジコミュニケーション
    ビジネス・デベロップメント部 中西 貴哉
    2022年9月27日
    Cloud Native DataEngineer Community 第1回イベント

    View Slide

  2. 自己紹介
    氏名 : 中西 貴哉 (なかにし たかや)
    所属 : ビジネス・デベロップメント部 マネージャー (何でもやる)
    担当 : セールス-運用までのエンジニアリングチームのマネジメント
    2
    データエンジニアを目指す方にオススメな資格 (自分が保有しているもの)

    View Slide

  3. 1
    2
    3
    Agenda
    データエンジニアの ニーズ
    クラウドネイティブ になるメリット
    経験 をどう獲得するか?
    3

    View Slide

  4. 市場が求めるデータエンジニアになる3つのキーワード
    クラウド 経験
    ニーズ
    4

    View Slide

  5. ニーズ

    View Slide

  6. データプロジェクトの実情
    6
    85%
    のビッグデータプロジェクトは失敗
    実は・・・

    View Slide

  7. 7
    ML
    code
    データ収集
    データ検証
    環境構築
    自動化 特徴量エンジニアリング
    テストと
    デバッグ
    モデル評価
    プロセス設計
    モデル提供
    インフラ構築
    メタデータ管理
    リソース
    マネジメント
    Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成
    「分析」そのものは全体のごく一部

    View Slide

  8. データプロジェクトの登場人物
    8
    ▪ コラボレーション、機械学習の実
    験、再現性・再利用性を担保
    ▪ データプレパレーション、特徴量
    抽出
    ▪ 機械学習時間、モデル精度に
    対する最適化
    ▪ 最新のツールや最新アルゴリズ
    ムの導入と適用
    ▪ 常に正確で信頼できる最新
    データにアクセスすることを担保
    ▪ データチームがアクセスするデータ
    の定義と管理者の明確化を推

    ▪ データガバナンスの統合的な管
    理を推進
    ▪ 各プロセス処理の動作担保
    ▪ 各種ユースケースへの対応 (リア
    ルタイム, バッチ)
    ▪ 性能、データ品質の担保
    ▪ 新しいデータソースへの対応
    ▪ スキーマチェックとカラム変更時の
    対応
    ▪ 変更時のデプロイ先アプリへの対

    ▪ ニーズに合わせた環境構築
    ▪ 環境ごとの一貫性の担保
    ▪ コアデータの複数チームへの共有
    ▪ テスト、ダウンタイム、品質管理
    ▪ 各種コンフィギュレーション管理
    ▪ コスト管理、各種自動化
    ▪ システム環境の運用保守
    データ/MLエンジニア データスチュアード
    運用管理担当
    データサイエンティスト

    View Slide

  9. 9
    ML
    code
    データ収集
    データ検証
    環境構築
    自動化 特徴量エンジニアリング
    テストと
    デバッグ
    モデル評価
    プロセス設計
    モデル提供
    インフラ構築
    メタデータ管理
    リソース
    マネジメント
    Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成
    広範な技術領域をカバーする必要がある
    データ/MLエンジニア
    データサイエンティスト
    運用管理担当
    運用管理担当
    データスチュアード

    View Slide

  10. 実際のところ・・・
    10
    ML
    code
    データ収集
    データ検証
    環境構築
    自動化 特徴量エンジニアリング
    テストと
    デバッグ
    モデル評価
    プロセス設計
    モデル提供
    インフラ構築
    メタデータ管理
    リソース
    マネジメント
    Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成
    データ/MLエンジニア

    View Slide

  11. クラウド

    View Slide

  12. なぜクラウドネイティブか?
    12
    ML
    code
    データ収集
    データ検証
    環境構築
    自動化 特徴量エンジニアリング
    テストと
    デバッグ
    モデル評価
    プロセス設計
    モデル提供
    インフラ構築
    Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成
    リソース
    マネジメント
    メタデータ管理

    View Slide

  13. クラウドの理解と活用で大半はカバー可
    13
    ML
    code
    データ収集
    データ検証
    環境構築
    自動化 特徴量エンジニアリング
    テストと
    デバッグ
    リソース
    マネジメント
    モデル評価
    プロセス設計
    モデル提供
    インフラ構築
    メタデタ管理
    メタデータ管理
    Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成

    View Slide

  14. クラウドネイティブで始めるメリット
    14
    「答え」が提供されている
    価値のある課題に集中できる

    View Slide

  15. アーキテクチャの模範解答
    15
    Azure Machine Learning を使用した Python モデル用の MLOps
    AWS ソリューションライブラリー MLOps Workload Orchestrator
    AWS Azure

    View Slide

  16. ビジネス領域へのアプローチ
    16
    製薬
    流通 流通
    All All All All
    All
    金融 金融 製造 金融
    製造 通信 公共 製薬
    製薬 All All All
    All All All
    金融 All
    データブリックス社の公開するソリューションアクセラレータ
    現場の分析アプローチが
    Notebook 形式で公開

    View Slide

  17. 経験

    View Slide

  18. 不確実性の高い時代に求められる学び
    18
    これまで これから
    絶対解
    知識の蓄積
    計画的な学習
    資格取得
    最適解
    知識の更新
    スピード学習
    ラーニング

    View Slide

  19. 市場価値を上げる人のアプローチ




    少 多
    学習の量
    経験偏重
    発展途上 学習偏重
    成長する
    働き方
    仕事から学び






    View Slide

  20. どんな経験も活かせます
    20
    経験 活きる場面
    営業
    運用
    数理知識
    ドメイン理解
    MLOps
    モデル開発

    View Slide

  21. チーム内での経験と学習の両立
    21

    View Slide

  22. まとめ
    クラウドネイティブになれる
    データプロジェクトに飛び込もう!

    View Slide

  23. カジュアル面談やってます
    エントリーページ

    View Slide