これまでのキャリアとこれからMLエンジニアとしてどう動くか

ML Career Night #1｜生成AI時代の機械学習エンジニアのキャリア戦略
https://tech-track.connpass.com/event/304056/

これまでのキャリアを振り返りつつ，どういったことを想い今後のチャレンジをして行こうとしているかを話しています．

Transcript

1. © commmune Inc. All rights reserved これまでのキャリアと これからMLエンジニアとしてどう動くか 2024/03/28 ML Career Night #1｜生成AI時代の機械学習エンジニアのキャリア戦略 Masataka Kashiwagi
2. © commmune Inc. All rights reserved 自己紹介 柏木 正隆 Commmune - Machine Learning Engineer & ML Team Lead お仕事 • 機械学習システムの開発（推薦システム...etc） • 機械学習関連の技術検証 • MLOps の推進 • チーム組成 / 採用 SNS • X (旧 Twitter)：@asteriam_fp • Podcast：@double_m2ml その他 MLOps 勉強会の運営メンバーとしても活動してます Masataka Kashiwagi X (旧 Twitter) アイコン
3. Agenda © commmune Inc. All rights reserved • 自己紹介 • はじめに • これまでのキャリア • 現在の仕事と役割 • これからのキャリアパスや展望 • まとめ ※ 本資料は後ほど公開します！
4. © commmune Inc. All rights reserved はじめに • キャリアは十人十色なので，N=1 の意見として聞いてください！ • 色んな人と会話することをオススメします！ ◦ これは僕も最近友人・知人と飲みに行ったりして実践してます笑 • 正解はないと思っているので，自分で正解にする気持ちで！ • 後悔がない選択を！
5. これまでのキャリア
6. © commmune Inc. All rights reserved これまでのキャリアのタイムライン 2016 NTT コミュニケーションズ ソリューション エンジニア 2023 コミューン 2018 2021 コネヒト AI ベンチャー → ここからデータサイエンス/機械学習のキャリアスタート データサイエンティスト 機械学習エンジニア データエンジニア MLOps エンジニア プロジェクトマネージャー キャリアチェンジ
7. © commmune Inc. All rights reserved 初めての転職とキャリアチェンジ（2社目） 2社目：AI ベンチャー 職種：データサイエンティスト / 機械学習エンジニア • 製造業向けの異常検知ソリューション ◦ 機械学習ベースの異常検知を行うソフトウェア の開発 ◦ プロジェクト（PoC）ベースでのクライアント課 題の解決 → 最終的には自社製品で解決する • 機械学習のタスク ◦ 工場機械・設備のセンサーデータを使った異常 検知・不良品の要因分析 ◦ 製品の外観検査（画像） ◦ 組み立て製造の作業者解析（動画） お客さんの手に 渡ると目が届か ないモヤモヤ感 モデルをプロダ クションにデプ ロイ後がむしろ 本番では？ お客さんの製造 プロセスに入り 込んでプロダク トが役に立つ楽 しさ 解決が難しかっ た課題をMLで解 決できるように なる嬉しさ
8. © commmune Inc. All rights reserved 事業会社（toC）での機械学習エンジニア（3社目） 3社目：コネヒト（前職）：ママ向け Q&A サービス 職種：機械学習（ML）エンジニア • 機械学習システム・基盤の開発 / 運用 ◦ 推薦システム（バッチレコメンド） ◦ 検閲システム（オンライン推論） • 継続的な改善を行うための仕組み作り ◦ MLOps の推進（ML Test Score の実施，実験 管理の整備と標準化） • 機械学習以外の領域 ◦ データエンジニアリング ◦ 検索システム • 技術的な発信・コミュニティへの還元・登壇 （自分自身の力不足で）成果を出せなかったこと： • チームでより成果を出すにはどうすればいいか？ • ML がビジネス/事業貢献するためには？ • ML が事業の成長サイクルに寄与できるか • プロダクトへの新しい ML のチャレンジ
9. 現在の仕事と役割
10. © commmune Inc. All rights reserved 現在の仕事と役割 職種：ML エンジニア / MLOps エンジニア 役割：ML チームリードとして，プロダクション環境で動く機械学習システム全般に対して責任を持っている • 1人目の ML エンジニアとして，ML に関連することはなんでもする！ ◦ ML プロジェクトのマネジメント，データ分析，アルゴリズム選定，パイプライン構築，API 開発と機械学 習システムのアーキテクチャ設計やそれに伴う技術選定，運用など • チームビルディング・採用・目標設定（OKR） • ミッション・行動指針の策定 • 外部発信（ブログ執筆・登壇など）
11. © commmune Inc. All rights reserved 生成 AI を活用した PoC プロジェクト • コミュニティマネージャー向けのアシスタント機能の検証・開発 ◦ コミュニティ運営をセルフサーブしやすくする ▪ より効率的な運営 ◦ サポート業務の低減 ◦ 集積された知識の有効活用 • Retrieval-Augmented Generation (RAG) を使った生成 AI システム ◦ データの整備 ◦ 定量・定性評価 ◦ Human-in-the-Loop な取り組み ◦ フィードバックを得られる仕組み ◦ セキュリティ ◦ …etc 企業とユーザーが融け合うカスタマーサクセスプラットフォーム
12. © commmune Inc. All rights reserved 複数社での経験と最近の生成 AI の台頭で感じること • 自分自身の過去の経験では，幅広くジェネラリストとしての素養が求められたし，そうでないと回らなかった ◦ 一方で，スペシャリティもないと際立った成果も出にくいというジレンマも... • 最近の生成 AI の台頭によって必要とされるスキル要件も動的に変化し難しくなってきている ◦ ChatGPT をはじめとしたサービス・ツールを使うことで，壁打ち相手になってくれたり，コーディング支援など もあるので，スペシャリティな部分がジェネラルにもなってきている ◦ API の提供で ML タスク（NLP, 画像, 動画など）をライトに扱えるようになり，ML エンジニアでなくても ML サービスを作れるようになってきている & なってくる • 尖っている領域を持ちつつ，周辺の領域もできると言うのが望ましい（グラデーション） • 目的・やろうとしていることから逆算して必要なスキルを学んでいく方が良い？ 難しい/悩ましい... 🤔
13. © commmune Inc. All rights reserved 複数社での経験と最近の生成 AI の台頭で感じること • 自分自身の過去の経験では，幅広くジェネラリストとしての素養が求められたし，そうでないと回らなかった ◦ 一方で，スペシャリティもないと際立った成果も出にくいというジレンマも... • 最近の生成 AI の台頭によって必要とされるスキルも動的に変化して難しくなってきている ◦ ChatGPT をはじめとしたサービス・ツールを使うことで，壁打ち相手になってくれたり，コーディング支援など もあるので，スペシャリティな部分がジェネラルにもなってきている ◦ API の提供で ML タスク（NLP, 画像, 動画など）をライトに扱えるようになり，ML エンジニアでなくても ML サービスを作れるようになってきている & なってくる • 尖っている領域を持ちつつ，周辺の領域もできると言うのが望ましい（グラデーション） • 目的・やろうとしていることから逆算して必要なスキルを学んでいく方が良い？ 難しい/悩ましい... 🤔 Will / Can / Must を元に武器（軸）を棚卸しつつ 周辺領域まで染み出す！
14. © commmune Inc. All rights reserved 機械学習（ML）とビジネス/事業の関係を考える • 生成 AI が台頭してきた現在でも，継続的に AI/ML に投資して貰えるかは考える必要がある ◦ やってみないとわからない部分もあるので，生成 AI を使ってサクッと検証できることが増えているのは大きい • ML がコアでない会社や事業も多い，not common な領域に対して ML を浸透させる難しさ ◦ ML が事業の成長サイクルに寄与できるか ◦ ML がどう事業に貢献できるか，しているかの説明責任・紐付け ◦ 組織に ML を根付かせる・インストールする ◦ 巻き込み・コミュニケーション • ML とビジネス/事業のフライホイールを描きたい ◦ ドメイン知識 ◦ ML を適切な場所に適用できるかの目利き ◦ Biz / CS など他チームとの連携 https://dataloop.ai/book/the-data-flywheel-effect/ こんな感じのやつ
15. これからのキャリアパスや展望
16. © commmune Inc. All rights reserved これからのキャリアパスや展望 • ML 系のキャリアパスの先が不透明 ◦ IC (Staff Engineer)？EM？VPoE？CAIO？... 🤔 ◦ 再現性のあるキャリアパスを作っていきたいが難しい • ML がプロダクトを通して事業の成長サイクルに寄与し，事業貢献することにチャレンジし成果を出す！ ◦ 自分達（ML エンジニア）が必要になる領域を自分達で増やして開拓していく ◦ ML が not common なビジネス/事業領域でも ML をよりコア・コンピタンスにしていく取り組み ◦ 生成 AI の力を借りる ◦ 上記を考えて取り組んでいる ML エンジニアは多くない 新しいパスが生まれる？
17. © commmune Inc. All rights reserved Data-Centric な取り組みが大事 • 生成AI によって（全てではないが）モデルがコモディティ化する可能性がある ◦ 一方で，データはサービス・ドメイン独自なものになるので，データの扱いが鍵になる ◦ RAG システムにおいても検索部分（Retrieval）のデータ品質次第で結果に影響が出る • LLM を使った Data-Centric なアプローチでデータ・メタデータを補強する話もある ◦ e.g. 推薦系：A Survey on Data-Centric Recommender Systems, LLMRec: Large Language Models with Graph Augmentation for Recommendation • データの価値を高める動き ◦ Human-in-the-Loop な取り組みやフィードバックを得られる仕組みなど以前からも重要な考えだが， データを集める・品質を保つ・補強する・評価するといったデータの価値を高めることは，生成 AI 時代 においてより必要とされる ◦ これらのデータエンジニアリング領域もできる ML エンジニアは重宝されるはず！
18. © commmune Inc. All rights reserved まとめ • 生成 AI 時代においても ML が事業の成長サイクルに寄与できているかどうかは非常に大事！ ◦ 継続的な投資が ML に流れてくるためにも • 自分の武器やスタイルを確立して，尖っている領域を持ちつつ，周辺領域を生成 AI のサポートで拡げていく • データの品質・価値はどんどん高まっていくので，この領域も扱える ML エンジニアは価値が高いと感じる • この先のキャリアは僕もわからないが，再現性あるキャリアを作っていきたい 💪 ◦ とはいえ，自分自身や家族が幸せならそれで良いという楽観的な考え 😉
19. © commmune Inc. All rights reserved 19 Thank you for your listening!! 🚀カジュアル面談募集中🚀 X (旧 Twitter) で直接 DM して頂いても大丈夫です👍 カジュアル面談 / Casual Interview