2022年9月27日に開催した Cloud Native DataEngineer Community での登壇資料です。
データチームを率いる現場マネージャーが語る、市場が求めるデータエンジニアに爆速で成長する方法株式会社ナレッジコミュニケーションビジネス・デベロップメント部 中西 貴哉2022年9月27日Cloud Native DataEngineer Community 第1回イベント
View Slide
自己紹介氏名 : 中西 貴哉 (なかにし たかや)所属 : ビジネス・デベロップメント部 マネージャー (何でもやる)担当 : セールス-運用までのエンジニアリングチームのマネジメント2データエンジニアを目指す方にオススメな資格 (自分が保有しているもの)
123Agendaデータエンジニアの ニーズクラウドネイティブ になるメリット経験 をどう獲得するか?3
市場が求めるデータエンジニアになる3つのキーワードクラウド 経験ニーズ4
ニーズ
データプロジェクトの実情685%のビッグデータプロジェクトは失敗実は・・・
7MLcodeデータ収集データ検証環境構築自動化 特徴量エンジニアリングテストとデバッグモデル評価プロセス設計モデル提供インフラ構築メタデータ管理リソースマネジメントHidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成「分析」そのものは全体のごく一部
データプロジェクトの登場人物8▪ コラボレーション、機械学習の実験、再現性・再利用性を担保▪ データプレパレーション、特徴量抽出▪ 機械学習時間、モデル精度に対する最適化▪ 最新のツールや最新アルゴリズムの導入と適用▪ 常に正確で信頼できる最新データにアクセスすることを担保▪ データチームがアクセスするデータの定義と管理者の明確化を推進▪ データガバナンスの統合的な管理を推進▪ 各プロセス処理の動作担保▪ 各種ユースケースへの対応 (リアルタイム, バッチ)▪ 性能、データ品質の担保▪ 新しいデータソースへの対応▪ スキーマチェックとカラム変更時の対応▪ 変更時のデプロイ先アプリへの対応▪ ニーズに合わせた環境構築▪ 環境ごとの一貫性の担保▪ コアデータの複数チームへの共有▪ テスト、ダウンタイム、品質管理▪ 各種コンフィギュレーション管理▪ コスト管理、各種自動化▪ システム環境の運用保守データ/MLエンジニア データスチュアード運用管理担当データサイエンティスト
9MLcodeデータ収集データ検証環境構築自動化 特徴量エンジニアリングテストとデバッグモデル評価プロセス設計モデル提供インフラ構築メタデータ管理リソースマネジメントHidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成広範な技術領域をカバーする必要があるデータ/MLエンジニアデータサイエンティスト運用管理担当運用管理担当データスチュアード
実際のところ・・・10MLcodeデータ収集データ検証環境構築自動化 特徴量エンジニアリングテストとデバッグモデル評価プロセス設計モデル提供インフラ構築メタデータ管理リソースマネジメントHidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成データ/MLエンジニア
クラウド
なぜクラウドネイティブか?12MLcodeデータ収集データ検証環境構築自動化 特徴量エンジニアリングテストとデバッグモデル評価プロセス設計モデル提供インフラ構築Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成リソースマネジメントメタデータ管理
クラウドの理解と活用で大半はカバー可13MLcodeデータ収集データ検証環境構築自動化 特徴量エンジニアリングテストとデバッグリソースマネジメントモデル評価プロセス設計モデル提供インフラ構築メタデタ管理メタデータ管理Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成
クラウドネイティブで始めるメリット14「答え」が提供されている価値のある課題に集中できる
アーキテクチャの模範解答15Azure Machine Learning を使用した Python モデル用の MLOpsAWS ソリューションライブラリー MLOps Workload OrchestratorAWS Azure
ビジネス領域へのアプローチ16製薬流通 流通All All All AllAll金融 金融 製造 金融製造 通信 公共 製薬製薬 All All AllAll All All金融 Allデータブリックス社の公開するソリューションアクセラレータ現場の分析アプローチがNotebook 形式で公開
経験
不確実性の高い時代に求められる学び18これまで これから絶対解知識の蓄積計画的な学習資格取得最適解知識の更新スピード学習ラーニング
市場価値を上げる人のアプローチ経験多少少 多学習の量経験偏重発展途上 学習偏重成長する働き方仕事から学び学びから仕事
どんな経験も活かせます20経験 活きる場面営業運用数理知識ドメイン理解MLOpsモデル開発
チーム内での経験と学習の両立21
まとめクラウドネイティブになれるデータプロジェクトに飛び込もう!
カジュアル面談やってますエントリーページ