生成AI・LLM時代における 機械学習エンジニアとしてのキャリア戦略・開発戦略 / my-career-and-development-strategies-for-ml-engineer-2024

2024年03月28日 ML Career Night #1｜生成AI時代の機械学習エンジニアのキャリア戦略
(https://tech-track.connpass.com/event/304056/) におけるLT資料です。

私の考えている、生成AI・LLM時代における機械学習エンジニアとしてのキャリア戦略や開発戦略について紹介しました。

Transcript

1. © 2024 LayerX Inc. 生成AI・LLM時代における 機械学習エンジニアとしてのキャリア戦略・開発戦略 2024/03/28 ML Career Night #1｜生成AI時代の機械学習エンジニアのキャリア戦略 株式会社LayerX Yuya Matsumura(@yu-ya4)
2. © 2024 LayerX Inc. 2 バクラク事業部 機械学習グループ マネージャー/機械学習エンジニア 経歴 京都大学大学院情報学研究科修士課程修了。情報検索や情報推薦に関する研究に取り 組む。 2018年ウォンテッドリー株式会社に新卒入社。レコメンドチームの立ち上げに携わる。 その後、機械学習領域のテックリード、プロダクトマネージャー、エンジニアリングマネー ジャーを務める。 2022年9月に株式会社LayerXに入社。機械学習チームにて、法人支出管理SaaSバ クラクのAI-OCR機能をはじめとする機械学習を活用した機能の開発およびマネジメ ントに従事。 その他活動として、ウォンテッドリー株式会社の機械学習領域の技術顧問やスタート アップの技術支援、大学の非常勤講師、書籍の執筆など。 画像を入れてね 自己紹介 松村 優也（Yuya Matsumura） @yu__ya4
3. © 2024 LayerX Inc. 3 略歴 2018年3月 京都大学大学院 情報学研究科 社会情報学専攻 修了 / 情報検索・情報推薦の研究 ２０１８年4月 新卒で Wantedly に１人目のデータサイエンティストとして入社 推薦システムチームの立ち上げ ２０１9年9月 同チームのリーダーとなり、機械学習活用・推薦システムの開発により一層力を入れる ２０21年3月 開発チームのマネージャーに就任 Wantedly Visit の PdM と 組織全体の EM も兼任することに ２０21年11月 静岡大学 非常勤講師（年に一度、推薦システムの講演） ２０22年5月 兵庫県立大学 非常勤講師（年に一度、推薦システムの講演） / 『推薦システム実践入門』出版 ２０22年9月 LayerXに機械学習エンジニアとして入社 / Wantedly 技術顧問就任 ２０23年2月 機械学習チーム リーダー就任 ２０23年4月 機械学習グループ マネージャー就任
4. 「生成AI時代」で何が変わった？
5. © 2024 LayerX Inc. 5 生成AIやLLMの普及により... • ChatGPTなどを利用することで機械学習の知識や実装なしで文書要約や情報抽出、質問応答など代 表的な自然言語処理タスクを解くことができる。 • OpenAI APIなどを利用することで簡単な機械学習の知識と実装のみで自然言語処理を活用した機 能開発を行うことができる。 ◦ 文書要約、情報抽出, etc. ◦ チャットボット ◦ 文書の埋め込み表現を利用した検索システム AI・機械学習の民主化：誰でも容易に高性能な機械学習モデルを活用できるように 「生成AI時代」で何か変わった？ 実装: ここではいわゆるプログラミングを指します。プロンプト エンジニアリングは別途必要になることが多いです。
6. 生成AI・LLM時代における 機械学習エンジニアとしてのキャリア戦略
7. © 2024 LayerX Inc. 7 機械学習エンジニアとして私が大切にしていること 機械学習をコアに据えたプロダクト開発に携わる 言い換えるならば... • 機械学習がプロダクトの価値を提供するための “nice to have” ではなく “must have” なプロダクト • 機械学習を利用するからこそ十分な価値を提 供できるプロダクト • 機械学習モデルの精度を0.1%改善すれば、プ ロダクトのNSM/KPI が◯%向上し、売り上げ が□%増えるようなプロダクト ※「手段の目的化」ではない。AI・機械学習という技 術を信じてbetしている。 https://note.com/yuya4/n/n0afe63dd4405
8. © 2024 LayerX Inc. 8 なぜ “must have” にこだわるのか “must have” だからこそ機械学習エンジニアが活きる “nice to have” が悪ではない。あった方が良い。ただ、インパクト（提供価値や売り上げ）が限定的。 • 機械学習エンジニアならではの仕事（機械学習モデルの開発やその維持管理、継続的な精度の改善な ど...）には大きなコストがかかる。限定的なインパクトの機能にどこまでコストを払うべきか。 ◦ 経済合理性がないのに、仕事をするための仕事を作っていないか？ • AIの民主化により、ある程度の性能のものならばLLMなどを利用してシュッと作れるようにもなった。 “nice to have”なものならそれで十分なケースが多い。もちろん生成AIならではの難しさもあるが。 • インパクトが小さいので給料も上げにくい。自身もはもちろん、マネージャーはメンバーへの責任も。 • 自分の限られた人生を “nice to have” に捧げるのか？
9. © 2024 LayerX Inc. 9 なぜLayerXなのか？ “must have”な機能の例 AI-OCR機能をはじめとるする“must have”な機能群 AI-OCR機能：紙や画像形式で存在する帳票などから必要 な情報を抽出しデータ化（構造化）する機能 • 顧客が行いたい支払い処理や仕訳処理など後続業務 のためにはこのデータ化が必須。なければ価値を提 供できない。 • 全体の“精度”が0.1%上がるごとに、十分な価値を 提供できるようになる顧客が増える。 ◦ 契約前、一部の帳票をAI-OCR機能にかけて 競合製品と比較するなどして検討される。それ が読み取れるかどうかが勝負。 ◦ 極論、数種類の帳票しか扱っていない顧客に とってはそれが読み取れるかどうかで精度が 0% or 100%になる。
10. © 2024 LayerX Inc. 10 機械学習エンジニアとして私が大切にしていること 機械学習を活用した“must have”が生まれ続けるか “must have”もひとつだけでは取り組み続けるこ とに限界がある。 • LayerXはコンパウンドスタートアップの戦略 を取る。バクラク事業部の中でも半年にひとつ は新しいプロダクトが生まれる。 • プロダクトごとに様々な新しい価値が必要であ り、プロダクト間の連携自体にも価値が必要。 • やるべきことが生まれ続け、それに応じて機械 学習組織も拡大し続ける。 https://speakerdeck.com/layerx/company-deck?slide=23
11. 生成AI・LLM時代における 機械学習エンジニアとしての開発戦略
12. © 2024 LayerX Inc. 12 生成AI・LLM時代におけるAI-OCR機能の開発戦略 生成AI・LLMの進化を想定した開発戦略の必要性 コスト、性能、推論速度、可用性などの問題が近い未来に解消される可能性は十分にある
13. © 2024 LayerX Inc. 13 生成AI・LLM時代におけるAI-OCR機能の開発戦略 質の高いデータセットの構築 新しい公開LLMやAPIを利用した独自タスクの性能評価、ファインチューニングによる独自モデルの作成を実 現するためのデータセットの重要性の再認識 • 新しいモデル(LLM)の採用を検討するにあた り、顧客への提供価値を正しく計測できるよう な評価設計およびデータセット構築は必須 • ベースとなるモデルが凄まじいスピードで進化 する世の中において、モデル単体の性能差分は 独自のデータセットによってのみ生まれる世界 が来るかも？ • 人手によるアノテーション作業の効率向上のた めのLLM活用も https://speakerdeck.com/yuya4/data-centric-ai-bakuraku-dataset
14. © 2024 LayerX Inc. 14 生成AI・LLM時代におけるAI-OCR機能の開発戦略 信頼できるMLOps・LLMOpsの構築 高速に新しいモデルを検証して顧客に安定した価値を届ける仕組み（MLOps・LLMOps）の重要性の再認識 • ファインチューニングや性能検証などモデルの開発、デプロイ、システムへの組み込み、リリース後のモ ニタリングなど一連のワークフローを高速に安定して実現する仕組みがなければ、世の中の進化につ いていけなくなる • LLMという巨大でコストのかかるモデルだからこそ、より効率的なワークフローの構築が求められる • プロンプトの管理やRAGなどLLM特有の（重要性が増した）概念も
15. © 2024 LayerX Inc. 15 生成AI・LLM時代におけるAI-OCR機能の開発戦略 AI-UX: AIを前提とした理想のUXの追求 AI・LLMの活用が当たり前となった世の中におけるUXの重要性の再認識 • AI・LLMで体験を構築すべき部分とそうでな い部分の見極め • AIの精度が100%ではないという前提で、い かにその間違いを体験でカバーできるのか • AIの精度を上げていくため、データ・正解ラベ ルが自動で収集されるような仕組みの構築 https://comemo.nikkei.com/n/n72374ef7b2d9
16. © 2024 LayerX Inc. 16 生成AI・LLM時代におけるAI-OCR機能の開発戦略 あえて内製を諦めない 内製の過程で得られた知見や能力、資産は将来的に必ず役に立つであろう。Bet Technology https://tech.layerx.co.jp/entry/2023/10/02/132854 https://speakerdeck.com/shimacos/layerx-jsai-2023-77615b88-120 0-424e-b485-1021b0b7b55e
17. まとめ
18. © 2024 LayerX Inc. 18 まとめ 生成AI・LLMが前提の世界における新しいキャリアや開発の戦略を 立案し実行していく キャリア戦略 • 機械学習をコアに据えたプロダクト開発に携わる • 機械学習を活用した“must have”が生まれ続けるか 開発戦略 • 質の高いデータセットの構築 • 信頼できるMLOps・LLMOpsの構築 • AI-UX: AIを前提とした理想のUXの追求 • あえて内製を諦めない https://tech.layerx.co.jp/entry/aiocr-in-llm-2023