2024新卒技術研修_機械学習：プロンプト

DMM.comの24新卒エンジニア技術研修_機械学習：プロンプトの資料です。

Transcript

1. © DMM © DMM プロンプトの調整 24新卒技術研修：機械学習 PF開発本部第一開発部 CSプラットフォームグループ
2. © DMM お品書き - 基礎知識（15分） - 弊チームでのプロンプト事例（10分） - 実際に使ってみよう（10分） - 問題に挑戦してみる（30分） 2
3. © DMM 基礎知識
4. © DMM そもそもプロンプトとは？ 4 モデルに与える入力 のことを指します。プロンプトを適切に設計することで、モデルから望む出力を得る ことができます。 プロンプトには主に以下の 2種類の考え方があります。 （あくまでも参考で、技術の進歩や考え方によって変わる場合があります） 1. プロンプト • 自然言語の文章やキーワードなどをモデルに入力するもの • 例えば、”東京の天気を教えてください ”などの質問文をプロンプトとして与える 2. 回答を含んだプロンプト • モデルの出力に部分的に正解を含ませ、それを手がかりとして与えるもの • 例えば、 “東京の天気は晴れで、最高気温は __度です”という部分的な出力を与え、モデルに残りを 補完させる プロンプトの設計は非常に重要で、うまく設計されたプロンプトによって、モデルの出力精度が大きく 変わります。単にキーワードを与えるだけでなく、背景知識や制約条件、出力形式などを適切に盛り込む 必要があります。
5. © DMM プロンプトの役割とは？ システムプロンプトとユーザープロンプトという主に 2種類のプロンプトがあり、それぞれ異なる役割を 果たしています。 1. システムプロンプト • システムプロンプトは、 AIモデルに対して基本的な動作指示やタスクの目的を伝えるための プロンプト • これにより、モデルが期待される 振る舞いや出力の性質 を理解することができる • 例："あなたは親切で丁寧な助手 AIです。ユーザーの質問に対して分かりやすく答えてください "と いったプロンプトがこれに該当 2. ユーザープロンプト • ユーザープロンプトは、実際のユーザーが入力する質問やタスクの内容を表すプロンプト • システムプロンプトで指示された基本動作に基づき、具体的な入力に対する出力を生成 • 例："東京の今日の天気を教えてください "などの質問文がユーザープロンプト 3. （使用モデルによっては ”アシスタントプロンプト ”があるケースがある） 5
6. © DMM 出力の制限 入力をすれば、出力のお話があります。 LLMにおいては出力には下記の制限があります。 1. 出力長さの制限 • 極端に長い出力にならないように調整 　→　特定タスク時（Json出力）、LLM性能低下時の把握、人の理解不能　など 2. 出力内容の制限 • 特定のキーワードの制限 　→　OpenAIのコンテンツフィルター 　→→　余談：所属先ではAzureOpenAIにて全てのコンテンツフィルターを除外して運用 3. 出力形式の制限 • 出力を決まった形式に従わせる 　→　旧名：Function-Calling 4. 出力の言語制限 • 日本語のみの出力？ 5. 出力の視座（役割） • （システムプロンプトの影響） 6
7. © DMM ここまで 7 ここまでのスライドにて気づいたことや質問がありましら、 教えてください〜！ 実は.... - 最初2つスライドにて - Claude 3 Sonnetの支援を受けています（アイディア出し・作成・修正） - スライドタイトル：そもそもプロンプトとは？ /プロンプトの役割 に関してはClaude3からサポートしもらっています - スライドタイトル：出力の制限 は筆者が前のスライドから人力で１から書いています 率直な感想を聞いてみたいです！ 個人的には時間は2枚スライド作成は1枚のスライド作成時の半分で作成できてます。 公開用は画像削除
8. © DMM 基礎知識をまとめる.... 覚えて欲しいこと - LLMには役割がある - システムプロンプトはデフォルトでサービス側が入力 - ユーザープロンプトはユーザーが入力した内容 - 出力の制限 - 開発に関わる人は学んでおくと良き - 出力内容 - 出力形式 は開発時に結構議論が白熱します。。。。。（内容はモデルベンダーの規約要チェック） - 多様なモデルが出ているが、 実際に使用者が使い評価することができる環境に意義 がある - 使ってみて、使えないは防ぐ - 最新内容は全て英語なので英語アレルギーある人は無くしておくとベター 8 公開用は画像削除
9. © DMM 基礎知識をまとめる.... 9 初めに問うこと 「それってAI必要ですか？？」 （数学・システム的処理ができれば一番いい）
10. © DMM 一般的なAI活用の概念を覆す　GPT-4o 5月13日にてOpenAI社のイベントに発表された GPT-4o 大きな特徴 • マルチモーダル（入力：動画・音声・テキスト / 出力：動画・ファイル・テキスト） • 日本語トークンの圧縮が可能になった • 5/15時点では、トークン検索ツールは出てない • 簡単な文章が公式より出ているが、約 30%の削減効果 • 価格が安くなった • 既存のGPT4よりトークンあたり安い • 処理速度の向上 • 普通の会話をしても処理待ちの時間を感じにくくなった • 入力全てにおいて処理速度向上している 10
11. © DMM 弊チームでのプロンプト事例
12. © DMM どんなことしてる？ PF開発本部にてカスタマーサポートの問い合わせ基盤に関わっています。 - 自己解決 　：DMMを利用している方々へ ヘルプ記事の提供 をカスタマーサポート部 　　　　　　（以降：CS部）と作成　 - 問い合わせ ：電話環境とメールでの問い合わせ管理システムの開発運用 - 分析　　　：お問い合わせ内容を分析する基盤開発保守 - AI　　　　：AIを用いた自動化の内製化開発保守 主としては、AIの部分で携わっています。 システム俯瞰→　inside URL 12
13. © DMM プロンプト作成 覚えていますか？ - 実際に使用者が使い評価することができる環境に意義がある ① 使用者（CS部）用のLLM環境構築 　※ マネージドLLMサービスはすでにシステムプロンプトるため、プロンプト検証環境を用意 ② 実データから問題ない部分を抽出しユーザープロンプトに挿入 ③ システムプロンプトを作成し調整 ④ 複数の別データにも試して性能差がないことを確認 という流れでした。現状でも更新を行う時の流れは基本変わりません 13
14. © DMM 提供情報について 14 GPT-4oが情報公開した翌日（2024/05/15）のjp/us情報 公開用は画像削除
15. © DMM 使ってみよう
16. © DMM 試してみよう 16 公開用は削除
17. © DMM 問題に挑戦してみる
18. © DMM どんな問題？ 完全な架空データです。 コールセンターのプロジェクトにて使われているデータを用いて、 目的の出力になるようにデータを作成しましょう プロジェクト：問い合わせ内容から〇〇判定できるようにする • 使用モデル：GPT3.5-Turbo-16K • 前のスライドを使う 18
19. © DMM どんな問題？サンプルデータ一覧 サンプルデータへのリンク 19 公開用は削除
20. © DMM やってみて..... GPT3.5-Turbo-16Kいかがだったでしょうか？ 実は、GTP3.5ではこちらの要件は適さないという結果になりました →　GPT4-Turbo-32Kでは上手くいく →　実運用では、サンプルデータ＋細かい要件がある →→　請求する部分なので確実性が求められる 総合的に判断して、正確性を取りました 20
21. © DMM 運用でのジレンマ • モデルがどんどん出てくる（半年で4つ大きなインパクトモデルがあった） • モデル（バージョン）ごとにプロンプトチューニングの検証必要 • 価格とのトレードオフ • 人件費（工数）との置き換えに費用対効果があるのか • モデルなどの活用関係性 • ベクターサーチ（RAG） • 用途別ファインチューニングモデル • 画像 • 速度 • 出力形式 • その他。。。。。。。。 21
22. © DMM 最後に • 銀の弾丸（究極のマルチモーダル）は”まだ”ない • それまでに組織としてAI活用を進めていく • AIが苦手ではなく、ジェネラルスキルとして当たり前のスキルへ • 使える時に使えるようにしておくとベターかも（いつでも活躍できる人） 22 公開用は画像削除