これまでのキャリアとこれからMLエンジニアとしてどう動くか

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© commmune Inc. All rights reserved 自己紹介柏木正隆 Commmune - Machine Learning Engineer & ML Team Lead お仕事 ● 機械学習システムの開発（推薦システム...etc） ● 機械学習関連の技術検証 ● MLOps の推進 ● チーム組成 / 採用 SNS ● X (旧 Twitter)：@asteriam_fp ● Podcast：@double_m2ml その他 MLOps 勉強会の運営メンバーとしても活動してます Masataka Kashiwagi X (旧 Twitter) アイコン

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

これまでのキャリア

Slide 6

Slide 6 text

© commmune Inc. All rights reserved これまでのキャリアのタイムライン 2016 NTT コミュニケーションズソリューションエンジニア 2023 コミューン 2018 2021 コネヒト AI ベンチャー → ここからデータサイエンス/機械学習のキャリアスタートデータサイエンティスト機械学習エンジニアデータエンジニア MLOps エンジニアプロジェクトマネージャーキャリアチェンジ

Slide 7

Slide 7 text

© commmune Inc. All rights reserved 初めての転職とキャリアチェンジ（2社目） 2社目：AI ベンチャー職種：データサイエンティスト / 機械学習エンジニア ● 製造業向けの異常検知ソリューション ○ 機械学習ベースの異常検知を行うソフトウェアの開発 ○ プロジェクト（PoC）ベースでのクライアント課題の解決 → 最終的には自社製品で解決する ● 機械学習のタスク ○ 工場機械・設備のセンサーデータを使った異常検知・不良品の要因分析 ○ 製品の外観検査（画像） ○ 組み立て製造の作業者解析（動画）お客さんの手に渡ると目が届かないモヤモヤ感モデルをプロダクションにデプロイ後がむしろ本番では？お客さんの製造プロセスに入り込んでプロダクトが役に立つ楽しさ解決が難しかった課題をMLで解決できるようになる嬉しさ

Slide 8

Slide 8 text

© commmune Inc. All rights reserved 事業会社（toC）での機械学習エンジニア（3社目） 3社目：コネヒト（前職）：ママ向け Q&A サービス職種：機械学習（ML）エンジニア ● 機械学習システム・基盤の開発 / 運用 ○ 推薦システム（バッチレコメンド） ○ 検閲システム（オンライン推論） ● 継続的な改善を行うための仕組み作り ○ MLOps の推進（ML Test Score の実施，実験管理の整備と標準化） ● 機械学習以外の領域 ○ データエンジニアリング ○ 検索システム ● 技術的な発信・コミュニティへの還元・登壇（自分自身の力不足で）成果を出せなかったこと： ● チームでより成果を出すにはどうすればいいか？ ● ML がビジネス/事業貢献するためには？ ● ML が事業の成長サイクルに寄与できるか ● プロダクトへの新しい ML のチャレンジ

Slide 9

Slide 9 text

現在の仕事と役割

Slide 10

Slide 10 text

© commmune Inc. All rights reserved 現在の仕事と役割職種：ML エンジニア / MLOps エンジニア役割：ML チームリードとして，プロダクション環境で動く機械学習システム全般に対して責任を持っている ● 1人目の ML エンジニアとして，ML に関連することはなんでもする！ ○ ML プロジェクトのマネジメント，データ分析，アルゴリズム選定，パイプライン構築，API 開発と機械学習システムのアーキテクチャ設計やそれに伴う技術選定，運用など ● チームビルディング・採用・目標設定（OKR） ● ミッション・行動指針の策定 ● 外部発信（ブログ執筆・登壇など）

Slide 11

Slide 11 text

© commmune Inc. All rights reserved 生成 AI を活用した PoC プロジェクト ● コミュニティマネージャー向けのアシスタント機能の検証・開発 ○ コミュニティ運営をセルフサーブしやすくする ■ より効率的な運営 ○ サポート業務の低減 ○ 集積された知識の有効活用 ● Retrieval-Augmented Generation (RAG) を使った生成 AI システム ○ データの整備 ○ 定量・定性評価 ○ Human-in-the-Loop な取り組み ○ フィードバックを得られる仕組み ○ セキュリティ ○ …etc 企業とユーザーが融け合うカスタマーサクセスプラットフォーム

Slide 12

Slide 12 text

© commmune Inc. All rights reserved 複数社での経験と最近の生成 AI の台頭で感じること ● 自分自身の過去の経験では，幅広くジェネラリストとしての素養が求められたし，そうでないと回らなかった ○ 一方で，スペシャリティもないと際立った成果も出にくいというジレンマも... ● 最近の生成 AI の台頭によって必要とされるスキル要件も動的に変化し難しくなってきている ○ ChatGPT をはじめとしたサービス・ツールを使うことで，壁打ち相手になってくれたり，コーディング支援などもあるので，スペシャリティな部分がジェネラルにもなってきている ○ API の提供で ML タスク（NLP, 画像, 動画など）をライトに扱えるようになり，ML エンジニアでなくても ML サービスを作れるようになってきている & なってくる ● 尖っている領域を持ちつつ，周辺の領域もできると言うのが望ましい（グラデーション） ● 目的・やろうとしていることから逆算して必要なスキルを学んでいく方が良い？難しい/悩ましい... 🤔

Slide 13

Slide 13 text

© commmune Inc. All rights reserved 複数社での経験と最近の生成 AI の台頭で感じること ● 自分自身の過去の経験では，幅広くジェネラリストとしての素養が求められたし，そうでないと回らなかった ○ 一方で，スペシャリティもないと際立った成果も出にくいというジレンマも... ● 最近の生成 AI の台頭によって必要とされるスキルも動的に変化して難しくなってきている ○ ChatGPT をはじめとしたサービス・ツールを使うことで，壁打ち相手になってくれたり，コーディング支援などもあるので，スペシャリティな部分がジェネラルにもなってきている ○ API の提供で ML タスク（NLP, 画像, 動画など）をライトに扱えるようになり，ML エンジニアでなくても ML サービスを作れるようになってきている & なってくる ● 尖っている領域を持ちつつ，周辺の領域もできると言うのが望ましい（グラデーション） ● 目的・やろうとしていることから逆算して必要なスキルを学んでいく方が良い？難しい/悩ましい... 🤔 Will / Can / Must を元に武器（軸）を棚卸しつつ周辺領域まで染み出す！

Slide 14

Slide 14 text

© commmune Inc. All rights reserved 機械学習（ML）とビジネス/事業の関係を考える ● 生成 AI が台頭してきた現在でも，継続的に AI/ML に投資して貰えるかは考える必要がある ○ やってみないとわからない部分もあるので，生成 AI を使ってサクッと検証できることが増えているのは大きい ● ML がコアでない会社や事業も多い，not common な領域に対して ML を浸透させる難しさ ○ ML が事業の成長サイクルに寄与できるか ○ ML がどう事業に貢献できるか，しているかの説明責任・紐付け ○ 組織に ML を根付かせる・インストールする ○ 巻き込み・コミュニケーション ● ML とビジネス/事業のフライホイールを描きたい ○ ドメイン知識 ○ ML を適切な場所に適用できるかの目利き ○ Biz / CS など他チームとの連携 https://dataloop.ai/book/the-data-ﬂywheel-effect/ こんな感じのやつ

Slide 15

Slide 15 text

これからのキャリアパスや展望

Slide 16

Slide 16 text

© commmune Inc. All rights reserved これからのキャリアパスや展望 ● ML 系のキャリアパスの先が不透明 ○ IC (Staff Engineer)？EM？VPoE？CAIO？... 🤔 ○ 再現性のあるキャリアパスを作っていきたいが難しい ● ML がプロダクトを通して事業の成長サイクルに寄与し，事業貢献することにチャレンジし成果を出す！ ○ 自分達（ML エンジニア）が必要になる領域を自分達で増やして開拓していく ○ ML が not common なビジネス/事業領域でも ML をよりコア・コンピタンスにしていく取り組み ○ 生成 AI の力を借りる ○ 上記を考えて取り組んでいる ML エンジニアは多くない新しいパスが生まれる？

Slide 17

Slide 17 text

© commmune Inc. All rights reserved Data-Centric な取り組みが大事 ● 生成AI によって（全てではないが）モデルがコモディティ化する可能性がある ○ 一方で，データはサービス・ドメイン独自なものになるので，データの扱いが鍵になる ○ RAG システムにおいても検索部分（Retrieval）のデータ品質次第で結果に影響が出る ● LLM を使った Data-Centric なアプローチでデータ・メタデータを補強する話もある ○ e.g. 推薦系：A Survey on Data-Centric Recommender Systems, LLMRec: Large Language Models with Graph Augmentation for Recommendation ● データの価値を高める動き ○ Human-in-the-Loop な取り組みやフィードバックを得られる仕組みなど以前からも重要な考えだが，データを集める・品質を保つ・補強する・評価するといったデータの価値を高めることは，生成 AI 時代においてより必要とされる ○ これらのデータエンジニアリング領域もできる ML エンジニアは重宝されるはず！

Slide 18

Slide 18 text

© commmune Inc. All rights reserved まとめ ● 生成 AI 時代においても ML が事業の成長サイクルに寄与できているかどうかは非常に大事！ ○ 継続的な投資が ML に流れてくるためにも ● 自分の武器やスタイルを確立して，尖っている領域を持ちつつ，周辺領域を生成 AI のサポートで拡げていく ● データの品質・価値はどんどん高まっていくので，この領域も扱える ML エンジニアは価値が高いと感じる ● この先のキャリアは僕もわからないが，再現性あるキャリアを作っていきたい 💪 ○ とはいえ，自分自身や家族が幸せならそれで良いという楽観的な考え 😉