LLMの普及による機械学習の民主化とMLPdMの重要性 / democratization-of-ml-and-importance-of-mlpdm-by-llm

2023年5月30日 ChatGPT IN ACTION #2 大規模言語モデルがつくる新しい顧客体験(https://rector.connpass.com/event/282064/) における10分LTの資料です。

ChatGPTをはじめとする大規模言語モデル(LLM)の普及を、プロダクト作りに関わる機械学習エンジニアとしてどう考えているか、という内容のLTです。

ChatGPTをはじめとする大規模言語モデル(LLM)の普及により、誰でも容易に高性能な機械学習モデルを活用できるAI・機械学習の民主化が進んだ一方で、きちんとした顧客体験を提供する難易度は高まったように思います。そこで機械学習を活用したプロダクトを作るのに必要な能力・職種であるMachine Learning Product Management(MLPdM)の重要性が高まってきているように思います。

Transcript

1. LLMの普及による機械学習の民主化とMLPdMの重要性
   30.May.2023 ChatGPT IN ACTION #2
   大規模言語モデルがつくる新しい顧客体験
   松村 優也 株式会社LayerX
   機械学習エンジニアから見るプロダクト開発におけるLLM
   

   View Slide

2. Confidential © 2023 LayerX Inc.
   2
   画像を入れてね
   自己紹介
   松村 優也（Yuya Matsumura）
   ● 京都大学大学院 情報学研究科 修士課程修了
   ● 株式会社LayerX ML Team Manager
   ● ウォンテッドリー株式会社 ML領域 技術顧問
   ● NewsPicks AI領域プロピッカー
   ● 共著 『推薦システム実践入門』
   ● 大学にて非常勤講師やスタートアップの技術支援等
   @yu___ya4
   @yu-ya4
   

   View Slide

3. © 2023 LayerX Inc.
   3
   みなさん、生成AI（ChatGPTとか）活用してますか？
   はじめに
   

   View Slide

4. © 2023 LayerX Inc.
   4
   意外と生成AIの普及はまだまだ
   https://www.pwc.com/jp/ja/press-room/generative-ai-survey20230519.html
   PwC 『生成AIに関する実態調査 2023』
   使ったことがある人が10%、業務で活用している人が3%
   

   View Slide

5. © 2023 LayerX Inc.
   5
   とはいえ、IT・プロダクト作り界隈で普及しているのは確実かと思います
   バイアスってすごい、、、
   

   View Slide

6. © 2023 LayerX Inc.
   6
   大規模言語モデルの普及がもたらしたもの
   AI・機械学習の民主化：誰でも容易に高性能な機械学習モデルを活用できるように
   ● ChatGPTなどを利用することで機械学習の知識や実装なしで文書要約や情報抽
   出、質問応答など代表的な自然言語処理タスクを解くことができる。
   ● OpenAI APIなどを利用することで簡単な機械学習の知識と実装のみで自然言語
   処理を活用した機能開発を行うことができる。
   ○ 文書要約、情報抽出, etc.
   ○ チャットボット
   ○ 文書の埋め込み表現を利用した検索システム
   実装: ここではいわゆるプログラミングを指します。プロンプト
   エンジニアリングは別途必要になることが多いです。
   

   View Slide

7. © 2023 LayerX Inc.
   7
   LayerX社内での取り組み例①
   バクラクのAI-OCR機能への組み込みや申請の効率化などをいくつか実験
   

   View Slide

8. © 2023 LayerX Inc.
   8
   LayerX社内での取り組み例②
   発話者分離
   音声ファイル
   文字起こし
   発話者情報付き
   文字起こし
   商談要約
   営業記録の音声を元に文字起こし、話者分離、文書要約を自動化し商談の後処理を効率化
   

   View Slide

9. © 2023 LayerX Inc.
   9
   LayerX LLM Labs
   LayerXでの大規模言語モデル専任チーム
   今後の取り組み
   ・LayerXおよび三井物産デジタル・アセットマネ
   ジメントにおけるLLM活用のフィードバック
   ・LayerXが展開する支出管理サービス「バクラ
   ク」へのLLMの導入検証
   ・LLMを活用した新規事業の検討・探索
   ・LLMに関する勉強会コミュニティの運営
   ・ブログや論文などを通じた情報発信　等
   

   View Slide

10. © 2023 LayerX Inc.
    10
    機械学習エンジニアの仕事がなくなる...?
    人類が好きな話
    

    View Slide

11. © 2023 LayerX Inc.
    11
    （残念ながら）機械学習エンジニアの仕事はなくならない
    MLモデルの作成だけが機械学習エンジニアの仕事ではない
    ● 大規模言語モデルもあくまで道具。いい道具さえあ
    れば良いモノが作れる...？
    ○ 最近はChatGPTなどを利用したサービスや機能がいろい
    ろとリリースされているが、真にユーザーの課題を解決する
    ようなモノがどれほどあるかというと...?
    ○ 使われないモノを作るだけならまだしも、ユーザー体験を大
    きく損ねてしまったり、evilなモノを作ってしまったり、取り
    返しのつかない事故に繋がることも...
    ● そもそも個別のドメイン・タスクで実用的なモデル
    を作成するためのファインチューニングはまだ必要
    https://dic.nicovideo.jp/a/%E9%A1%A7%E5%AE%A2%E3%81%8C%E6%9C%AC%E5%BD%93%E3%81%AB%E5
    %BF%85%E8%A6%81%E3%81%A0%E3%81%A3%E3%81%9F%E3%82%82%E3%81%AE
    例のアレ
    

    View Slide

12. © 2023 LayerX Inc.
    12
    とはいえ手を動かしている人はえらい
    実際にモノを作ってみないと・使ってもらわないと分からないことがたくさんある
    ● 大規模言語モデルという「道具」は間違いなく有用なものなので、それをどう活
    かせばいいのか実際に使ってみて検証することは重要
    ● リリースすることで事例を世の中に共有することの大きな意義
    https://tech-blog.tabelog.com/entry/first-challenge-t
    abelog-chatgpt-plugin-devleopment
    https://note.com/yuya4/n/ncf927e0b7a23
    手を動かすことの重要性を説く私のnote 最高な動きだと思った食べログさんのブログ
    

    View Slide

13. © 2023 LayerX Inc.
    13
    大規模言語モデルを活用してプロダクトを作る際に留意すべき点
    一般的なプロダクトマネジメントの観点に加えて大規模言語モデル(MLモデル)特有の観点が必要
    意図せぬ出力を
    考慮した設計
    性能評価
    データガバナンス
    データ収集
    MLを使ったシステムは大前提「間違う」。 ChatGPTは「嘘をつく(Hallucination)」。意図せ
    ぬ入力やプロンプトインジェクション。入力が同じでも出力が変わる可能性。これらを想
    定した仕組みや体験の設計、使い所の見極めが必要。
    モデルの出力による性能をどのような指標でどのように評価するのか？プロダクトの
    OKRやKPIとの紐付け。適合率（誤検知しない）と再現率（見逃さない）どちらを重視する
    か。セグメントごとに偏りはないか。公平性に問題はないか。説明性・解釈性は必要か。
    この指標に基づいてファインチューニングすることも。誤った指針で学習したモデルはプ
    ロダクトを誤った方向へと導く。
    性能評価のための、あるいはファインチューニングのためのデータを収集する必要があ
    る。追加でログを仕込むなどのアクションが必要なことも。正解データを集めるためにア
    ノテーションの設計も必要かも。
    データの利用やプライバシーに関する倫理的な配慮や規制は十分か。許可していない
    データを使っていないか。気づかぬうちに外部のモデルの学習に使われていないか。
    ユーザーの入力がサービス内の他のユーザーの出力に反映されてしまわないか。ユー
    ザーが退会した際やデータの削除を求めた場合の扱いをどうするのか。
    などなど...
    

    View Slide

14. © 2023 LayerX Inc.
    14
    Machine Learning Product Management(MLPdM)
    MLPdM: 機械学習を活用するプロダクトを作るのに必要な能力・職種
    ● 一般的なプロダクトマネジメントの観点にML特有な観点を加えたもの
    ● 最も必要な能力は「MLを使う必要のない状況で使わない意思決定ができる能力」
    ● AI・機械学習の民主化に伴い今後ますます注目されるであろう
    https://github.com/aws-samples/aws-ml-enablement-workshop
    https://www.youtube.com/watch?v=EhlHKhQv0Qg
    SpotifyのMLPdMの方の講演
    プロダクトマネージャーが、機械学習の「勝ちパターン」を実現する
    チームとロードマップが作れるワークショップ
    

    View Slide

15. © 2023 LayerX Inc.
    15
    まとめ
    大規模言語モデルを活用して新しい顧客体験を届けるに当たり...
    ● AI・機械学習モデルの民主化
    ○ 誰でも容易に高性能な機械学習モデルを活用できるようになった。
    ● Machine Learning Product Management(MLPdM)
    ○ 機械学習を活用するプロダクトを作るのに必要な能力・職種の重要性が高まる。
    ● まだまだ仕事はなくならなさそう（逆に忙しくなりそう）。
    

    View Slide