LLMの普及による機械学習の民主化とMLPdMの重要性 30.May.2023 ChatGPT IN ACTION #2 大規模言語モデルがつくる新しい顧客体験 松村 優也 株式会社LayerX 機械学習エンジニアから見るプロダクト開発におけるLLM

Confidential © 2023 LayerX Inc. 2 画像を入れてね 自己紹介 松村 優也（Yuya Matsumura） ● 京都大学大学院 情報学研究科 修士課程修了 ● 株式会社LayerX ML Team Manager ● ウォンテッドリー株式会社 ML領域 技術顧問 ● NewsPicks AI領域プロピッカー ● 共著 『推薦システム実践入門』 ● 大学にて非常勤講師やスタートアップの技術支援等 @yu___ya4 @yu-ya4

© 2023 LayerX Inc. 3 みなさん、生成AI（ChatGPTとか）活用してますか？ はじめに

© 2023 LayerX Inc. 4 意外と生成AIの普及はまだまだ https://www.pwc.com/jp/ja/press-room/generative-ai-survey20230519.html PwC 『生成AIに関する実態調査 2023』 使ったことがある人が10%、業務で活用している人が3%

© 2023 LayerX Inc. 5 とはいえ、IT・プロダクト作り界隈で普及しているのは確実かと思います バイアスってすごい、、、

© 2023 LayerX Inc. 6 大規模言語モデルの普及がもたらしたもの AI・機械学習の民主化：誰でも容易に高性能な機械学習モデルを活用できるように ● ChatGPTなどを利用することで機械学習の知識や実装なしで文書要約や情報抽 出、質問応答など代表的な自然言語処理タスクを解くことができる。 ● OpenAI APIなどを利用することで簡単な機械学習の知識と実装のみで自然言語 処理を活用した機能開発を行うことができる。 ○ 文書要約、情報抽出, etc. ○ チャットボット ○ 文書の埋め込み表現を利用した検索システム 実装: ここではいわゆるプログラミングを指します。プロンプト エンジニアリングは別途必要になることが多いです。

© 2023 LayerX Inc. 7 LayerX社内での取り組み例① バクラクのAI-OCR機能への組み込みや申請の効率化などをいくつか実験

© 2023 LayerX Inc. 8 LayerX社内での取り組み例② 発話者分離 音声ファイル 文字起こし 発話者情報付き 文字起こし 商談要約 営業記録の音声を元に文字起こし、話者分離、文書要約を自動化し商談の後処理を効率化

© 2023 LayerX Inc. 9 LayerX LLM Labs LayerXでの大規模言語モデル専任チーム 今後の取り組み ・LayerXおよび三井物産デジタル・アセットマネ ジメントにおけるLLM活用のフィードバック ・LayerXが展開する支出管理サービス「バクラ ク」へのLLMの導入検証 ・LLMを活用した新規事業の検討・探索 ・LLMに関する勉強会コミュニティの運営 ・ブログや論文などを通じた情報発信　等

© 2023 LayerX Inc. 10 機械学習エンジニアの仕事がなくなる...? 人類が好きな話

© 2023 LayerX Inc. 11 （残念ながら）機械学習エンジニアの仕事はなくならない MLモデルの作成だけが機械学習エンジニアの仕事ではない ● 大規模言語モデルもあくまで道具。いい道具さえあ れば良いモノが作れる...？ ○ 最近はChatGPTなどを利用したサービスや機能がいろい ろとリリースされているが、真にユーザーの課題を解決する ようなモノがどれほどあるかというと...? ○ 使われないモノを作るだけならまだしも、ユーザー体験を大 きく損ねてしまったり、evilなモノを作ってしまったり、取り 返しのつかない事故に繋がることも... ● そもそも個別のドメイン・タスクで実用的なモデル を作成するためのファインチューニングはまだ必要 https://dic.nicovideo.jp/a/%E9%A1%A7%E5%AE%A2%E3%81%8C%E6%9C%AC%E5%BD%93%E3%81%AB%E5 %BF%85%E8%A6%81%E3%81%A0%E3%81%A3%E3%81%9F%E3%82%82%E3%81%AE 例のアレ

© 2023 LayerX Inc. 12 とはいえ手を動かしている人はえらい 実際にモノを作ってみないと・使ってもらわないと分からないことがたくさんある ● 大規模言語モデルという「道具」は間違いなく有用なものなので、それをどう活 かせばいいのか実際に使ってみて検証することは重要 ● リリースすることで事例を世の中に共有することの大きな意義 https://tech-blog.tabelog.com/entry/first-challenge-t abelog-chatgpt-plugin-devleopment https://note.com/yuya4/n/ncf927e0b7a23 手を動かすことの重要性を説く私のnote 最高な動きだと思った食べログさんのブログ

© 2023 LayerX Inc. 13 大規模言語モデルを活用してプロダクトを作る際に留意すべき点 一般的なプロダクトマネジメントの観点に加えて大規模言語モデル(MLモデル)特有の観点が必要 意図せぬ出力を 考慮した設計 性能評価 データガバナンス データ収集 MLを使ったシステムは大前提「間違う」。 ChatGPTは「嘘をつく(Hallucination)」。意図せ ぬ入力やプロンプトインジェクション。入力が同じでも出力が変わる可能性。これらを想 定した仕組みや体験の設計、使い所の見極めが必要。 モデルの出力による性能をどのような指標でどのように評価するのか？プロダクトの OKRやKPIとの紐付け。適合率（誤検知しない）と再現率（見逃さない）どちらを重視する か。セグメントごとに偏りはないか。公平性に問題はないか。説明性・解釈性は必要か。 この指標に基づいてファインチューニングすることも。誤った指針で学習したモデルはプ ロダクトを誤った方向へと導く。 性能評価のための、あるいはファインチューニングのためのデータを収集する必要があ る。追加でログを仕込むなどのアクションが必要なことも。正解データを集めるためにア ノテーションの設計も必要かも。 データの利用やプライバシーに関する倫理的な配慮や規制は十分か。許可していない データを使っていないか。気づかぬうちに外部のモデルの学習に使われていないか。 ユーザーの入力がサービス内の他のユーザーの出力に反映されてしまわないか。ユー ザーが退会した際やデータの削除を求めた場合の扱いをどうするのか。 などなど...

© 2023 LayerX Inc. 14 Machine Learning Product Management(MLPdM) MLPdM: 機械学習を活用するプロダクトを作るのに必要な能力・職種 ● 一般的なプロダクトマネジメントの観点にML特有な観点を加えたもの ● 最も必要な能力は「MLを使う必要のない状況で使わない意思決定ができる能力」 ● AI・機械学習の民主化に伴い今後ますます注目されるであろう https://github.com/aws-samples/aws-ml-enablement-workshop https://www.youtube.com/watch?v=EhlHKhQv0Qg SpotifyのMLPdMの方の講演 プロダクトマネージャーが、機械学習の「勝ちパターン」を実現する チームとロードマップが作れるワークショップ

© 2023 LayerX Inc. 15 まとめ 大規模言語モデルを活用して新しい顧客体験を届けるに当たり... ● AI・機械学習モデルの民主化 ○ 誰でも容易に高性能な機械学習モデルを活用できるようになった。 ● Machine Learning Product Management(MLPdM) ○ 機械学習を活用するプロダクトを作るのに必要な能力・職種の重要性が高まる。 ● まだまだ仕事はなくならなさそう（逆に忙しくなりそう）。