LLM研究会_社外公開版_プロンプトを改善する15のヒント

(株)セゾン 情報システムズの大規模言語モデル(LLM)研究会にて、プロンプトエンジニアリングの研究内容を社内に公開した資料です。

Transcript

1. 1 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 Prompt Engineering プロンプトを改善する15のヒント プロンプトエンジニアリング基礎 鹿山千愛美
2. 2 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 この資料は、大規模言語モデル(LLM)の事業への活用推進を目的とした全社的な研究会「LLM Mavericks」に て、プロンプトエンジニアリングを研究する中で、基礎となるプロンプトの作成のコツをまとめたものです。 ▶︎セゾン情報システムズの大規模言語モデル(LLM)研究会発足について詳しくはこちら 昨今盛り上がりを見せる生成AIは、その多くがプロンプトを元にテキストや図などを生成するものです。いたる ところで話題に上がっているため、すでに触れたことのある方も多いかと思います。 しかし、対話形式で回答が得られるのは便利なものの、単にテキストの入力を受け付ける画面を見ても、業務に おいてどのように活用していけば良いか迷われる方もいらっしゃるのではないでしょうか。 この資料では、どのような分野にも活用できるプロンプト改善のヒントとなる内容を15個まとめました。この資 料がChatGPT活用の一助となれますと幸いです。 はじめに
3. 3 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 目次 - プロンプトを改善する15のヒント はじめに ....................................................................... P. 2 01. 前提：使用するチャットボット .............. P. 4 02. プロンプトのパーツ ...................................... P. 5 03. プロンプトを改善するヒント ................... P. 6 01 | プロンプトを指示と文脈で分ける ..... P. 7 02 | 詳しい状況や説明を追加する ............... P. 8 03 | 出力方法を指定する .................................. P. 9 04 | 出力の長さを指定する ............................. P. 10 05 | 必要な手順を指定する ............................. P. 11 06 | 参照URLを併記させる ............................ P. 12 07 | 役割を与える ............................................... P. 13 08 | ChatGPT同士で議論させる ................. P. 14 09 | 例を提供する ................................................................... P . 15 10 | 参考情報を提供する ..................................................... P . 16 11 | 複雑なタスクを分割して実行する ......................... P . 17 12 | 会話を続ける .................................................................... P . 18 13 | ChatGPTに出力した答えを考えさせる .............. P . 19 14 | 結論を出す前に、ChatGPTで回答を出す ......... P . 20 15 | 不足する情報を聞き返してもらう ......................... P . 21 まとめ ........................................................................... P . 22 参考文献 ...................................................................... P . 23 おすすめサイト ......................................................... P . 24
4. 4 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 Web AI チャットボット 前提：今回使用するチャットボット モデル Temperature GPT-4 0.7 社内限定公開
5. 5 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 プロンプトの要素は、主に以下のものがあります。 • 役割 …………………… モデルの役割の指定 • 指示 …………………… モデルに実行してほしい特定のタスクまたは命令 • 文脈 …………………… 外部情報や追加の文脈 • 例示 …………………… モデルに実行させたい指示のいくつかの例 • 出力指示子 ………… 出力のタイプや形式 これらすべてが必ずプロンプトの中に出てくるわけではなく、決まった順序もありません。 プロンプトの要素
6. 6 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 Prompt Engineering プロンプトを改善する15のヒント
7. 7 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 以下の文章の重要な点を条件を元に要約してください。 #文章:””” [要約したい文章] #条件:””” - 箇条書きで要約 - 1つの箇条書きは最大100文字 01 | プロンプトを指示と文脈で分ける 以下の文章の重要な点を要約してください。 [要約したい文章] プロンプトを改善するヒント 区切り記号「#」や「” 」などを使用して、提供する要素を分ける。 単純なタスクの場合は区切り文字を使用しても出力結果に差が出ない場合もあるが、タスクが複雑 になる程、詳細を明確にすることが重要。 よい 改善の余地あり 三重引用府で囲まれた文章の重要な点を要約してください。 “”” [要約したい文章]””” AIにとって、 明確に区別されていない文章は認識しづらい。
8. 8 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 02 | 詳しい状況や説明を追加する AIについて教えてください。 # 指示: 私は企業のプロダクトマネージャーです。次の 条件をもとにAIについて教えてください。 # 条件:””” - 業務効率化のためにAIの導入を検討している - SaaSのサービスを開発している - 開発メンバーは8人 プロンプトを改善するヒント 置かれている状況や、求める条件を補足することで、より関連性の高い回答を得られる。 よい 改善の余地あり 総理大臣は誰ですか？ 昭和42年2月時点の日本の総理大臣は誰ですか？ よい 改善の余地あり 目的がはっきりしていないため、 期待と異なる回答が出力される可能性が高くなる。
9. 9 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 • テキスト • テーブル • CSV、TSV • Markdown • JSON ：具体的なサンプルを示すことで細かいフォーマットまで指定できる • コード：各種ファイルの拡張子に合わせたコードが出力できる • Wiki記法 • Mermaid記法：Mermaidというツールを使用でフロー図やシーケンス図が作成できる • BNF • 他の言語への翻訳 • 他の表現への変換：例えばスラングからビジネス語など 03 | 出力方法を指定する プロンプトを改善するヒント 出力方法を指定することで、目的に合わせた出力形式で答えが得られる。また、単に入力したテキ ストのフォーマット変換もできる。
10. 10 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 04 | 出力の長さを指定する プロンプトを改善するヒント 出力する長さを指定することで、目的に合わせたボリュームで答えが得られる。 次の文章を200文字で要約してください。 #文章: “”” [要約したい文章] IT企業で働くビジネスマンを対象にした、セキュリティ教育に関する30枚のスライドを作成します。目次を作成してください。 以下のURLから特に重要な点を箇条書き3点で要約してください。 #URL: [記事のURL] 例 - 文字数の指定 例 - 箇条書きの件数の指定 例 - スライドの件数の指定
11. 11 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 複雑なタスクの場合、タスクを分割してステップを明示的に指示すると、精度の高い回答を得るこ とができる。 三重引用符で囲まれた文章を英語で要約してください。 ""” [英語で要約したい内容] “”” 以下の順でタスクを実行してください。 ステップ 1 - 「概要: 」という接頭辞を付けて、このテキストを 1 つの文で要約します。 ステップ 2 - ステップ 1 の概要を「翻訳: 」という接頭辞を付けて 英語に翻訳します。 ””” [英語で要約したい内容] ””” 05 | 必要な手順を指定する プロンプトを改善するヒント よい 改善の余地あり この場合、出力結果は英訳されるが あまり要約されない
12. 12 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 2021年の技術トレンドを教えてください。情報を提示する際は、出力形式の例を元に参照したURLをすべて記載してください。 参照したURLが複数ある場合は、箇条書きで併記してください。参照したURLがない場合はその技術トレンドを記載しないで ください。 #出力形式のフォーマット:""" - タイトル : <技術トレンドのタイトル> - 概要 : <技術トレンドの概要> - 参照URL: <URL> 06 | 参照URLを併記させる プロンプトを改善するヒント Chat-GPTには確かでない文章を生成してしまうことがある。情報の出典元を確認する必要があ る場合は、URLを併記させると良い。 •タイトル: "AIエンジニアリング" •概要: "AIの適用範囲が広がり、より効果的な運用が求められています。これには、AIモデルの開発、データ管理、ガバナンスが含まれます。" •参照URL: "https://www.gartner.com/en/newsroom/press-releases/2020-10-19-gartner-identifies-the-top-strategic-technology-trends-for-2021" •タイトル: "ハイパーオートメーション" •概要: "テクノロジーを活用して、業務プロセスの自動化を進める取り組みです。RPA（ロボットによるプロセス自動化）やAI、 マシンラーニングが組み合わされます。" •参照URL: "https://www.gartner.com/en/newsroom/press-releases/2020-10-19-gartner-identifies-the-top-strategic-technology-trends-for-2021" …(略) GPT-4 例 - 参照URLの記載
13. 13 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 求める答えに最も詳しい 専門家の役割を与えることにより、精度の高い回答を得られる。 その道の有名な専門家をバイネームで指定するのも精度の高い回答を得るのに役立つ場合がある。 アクセシビリティについて5分のプレゼンを行います。 目次を箇条書きで出力してください。 あなたは優秀なフロントエンドエンジニアです。 アクセシビリティについて30分のプレゼンを行いま す。目次を箇条書きで出力してください。 役割の例 あなたはプロの編集者です。以下の入力文をもとに、最高の要約を出力してください。 あなたはプロのライターです。以下の条件をもとに、記事を作成してください。 あなたはプロの経営コンサルタントです。ブランド力を高めるポイントについて教えてください。 07 | 役割を与える プロンプトを改善するヒント よい 改善の余地あり
14. 14 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 役割を与えた複数人に議論させることで、角度の異なる回答を得られる。 新規事業の計画について議論します。参加者は以下の4人です。 # 新規事業:””” AIを活用して住民の疑問に丁寧に回答する役所関係者に向けたヘルプチャットサービス ""” #参加者:””” - 企画担当者：新規事業全体の提案をする - 財務担当者：経理の観点から新規事業に関する提案をする - 営業担当者：プロの営業マンとして新規事業に関する提案をする - 開発担当者：プロのソフトウェア開発者の立場で新規事業に関する提案をする """ # タスク:””” - 参加者はそれぞれ独自のアイデアを提案し合います。はじめは企画担当者から概要を説明してください。 08 | ChatGPT同士で議論させる プロンプトを改善するヒント また、参加者に自身を含めて議論に参加することもできる。 - 私：参加者に質問をします。
15. 15 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 09 | 例を提供する (Few-shotプロンプト) プロンプトを改善するヒント 例を提供することで回答する内容の精度を上げることができる。 エラーメッセージの内容がマニュアルを見ただけでは分かりづらい →Bad システム開発等の工数削減にもなります →Good 管理画面が使いやすい →Good コマンドが複数が用意されているが、場合によっては、欲しい情報が不足している →Bad タスクスケジューラなどを用いずに決められた時間にファイルのやり取りができる →Good 少し費用がかかる → #ツールの説明: HULFTシステムとは、企業内や企業間におけるファイル転送とデータ連携を提供するミドルウェアです。 HULFTシステムを利用すると、業務処理の一部にファイル転送を組み込み、さまざまなOS間でファイル転送が可能になります。””” #活用方法: 企業間でファイル転送をするため、HULFTを活用します。ファイル転送と業務処理を連携させることで、システムの構築および運用の工数削減に貢献しま す。 #ツールの説明: HULFT DataCatalogは、企業内で分散管理される様々なデータの概要(メタデータ)を自動収集してカタログ化。所在や来歴を可視化し、データに関するナ レッジを共有することで、データ探索の効率化とデータの“中身”に関する理解を支援します。””” #活用方法: 例 - 文章生成 例 - Good/Badの判定
16. 16 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 10 | 参考情報を提供する プロンプトを改善するヒント 提供する情報を使用して回答を作成するようにモデルに指示できる。 三重引用符で区切られた文書と質問を提供します。提供された文書のみを使用して質問に回答してください。 文書にこの質問に回答するための情報が含まれていない場合は、単に"情報が不十分です"と記述してください。 “”“ 文章 """ 質問： 三重引用符で区切られた文書と質問を提供します。 提供された文書のみを使用して質問に回答してください。 文書にこの質問に回答するための情報が含まれていない場合は、単に"情報が不十分です"と記述してください。 """ 1970年9月、 西武流通グループにおける情報処理機能の統合と新しい情報サービス業の創造を目的として西武百貨店と西友の電算部門を統合。株式会社西武情報センターとして設立される。 その後、1975年には西武都市開発（西洋環境開発の前身）の電算部門、1981年には緑屋計算センター（緑屋の電算子会社）を統合[2]。1992年4月、株式会社セゾン情報システムズに商号を 変更した。クレディセゾンが46.8%の株式を所有（2015年3月末現在）する同社の持分法適用関連会社である[3]。 事業の内容として金融システム事業、流通サービスシステム事業、HULFT 事業、その他システム運営管理受託[4]。ファイル転送ソフト「HULFT」は国内シェアNo.1(国内販売数量シェア率75.0%：2008年度実績、販売本数230,000本以上(2023年3月末)、導入社数 10,000社以上(2023年3月末)の実績をもつ[5]。 """ 質問1：HULFTの開発企業はどこですか？ 質問2：DataSpider Servistaはいつ開発されましたか？ 質問1の回答：HULFTの開発企業は株式会社セゾン情報システムズです。 質問2の回答：情報が不十分です。 GPT-4 例 - 参考情報から回答生成
17. 17 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 複雑なタスクを1度で処理しようとせず、簡単な問題に分割することで解答の精度の低下を防ぐこと ができる。 ビジネスマンを対象に、UXについて5分で読める記事を書くための概要を提案してください。 まずは「1. 導入」について書いてください。 タイトル: UXの基本: ビジネスマンが知るべき5つの要素 概要: 1.導入: UX（ユーザーエクスペリエンス）の重要性を説明し、ビジネスマンがUXを理解する上でのメリットを紹介する。 2.UXの基本概念: UXの定義、目的、およびその役割を説明。顧客満足度向上やブランドロイヤルティの重要性を強調する。 3.UXデザインプロセス: ユーザーリサーチ、情報設計、インタラクションデザイン、プロトタイピング、ユーザーテストなどの主要なフェーズを紹介する。 4.効果的なUX戦略の実践: ビジネスマンが日常業務でUXを適用するためのヒントやテクニックを提供。ユーザーセントリックなアプローチの重要性を強調する。 5.UXメトリクスと測定: UXの成功を測定するための主要なメトリクスやツールを紹介。継続的な改善のためにデータを活用する方法を説明する。 6.まとめ: UXの重要性を再確認し、ビジネスマンがUXを取り入れることで競争力を向上させ、顧客満足度を高めることができることを強調する。 11 | 複雑なタスクを分割して実行する プロンプトを改善するヒント GPT-4 1.導入 現代のビジネスにおいて、UX（ユーザーエクスペリエンス）は企業の成功に大きく寄与する要素となっています。優れたUXは、顧客が製品やサービスを使用す る際の感情や反応を向上させ、顧客満足度やブランドロイヤリティを高める効果があります。ビジネスマンにとって、UXの基本を理解し、適切な戦略を…(略) GPT-4 例 - タスクの分割
18. 18 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 他の方法を教えてください。 具体例を教えてください。 根拠を教えてください。 3つの方法を教えてください。 例えを使って教えてください。 小学生でもわかるように教えてくだ さい。 抽象的に教えてください。 〇〇の場合を教えてください。 最も良い方法を教えてください。 続けてください。 例 - 続けて答えを引き出す 例 - 詳しく聞く 例 - 別の条件を聞く 12 | 会話を続ける プロンプトを改善するヒント 得られた回答が不足する場合、会話を続けることで追加情報を引き出す
19. 19 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 生成した文章をもっと[想定ターゲット]にとって面白い内容になるように5回改善を繰り返しながらブラッシュアップしてください。 また、改善するたびに以下の#採点基準で自己評価で点数を教えてください(100点満点)。 #採点基準:””” プラス評価 - 想定ターゲットにとって面白い内容になっている - スピーカーの得意領域を加味した内容になっている - イベントの趣旨に合っている マイナス評価 - 表層的な内容に留まっている - 抽象的すぎる内容である 13 | ChatGPTに出力した答えを考えさせる プロンプトを改善するヒント ChatGPTに出力した回答を評価させ、改善させることができる。 1. 導入（1回目の改善） - 自己評価: 70点 ビジネス環境が急速に変化する中、UX（ユーザーエクスペリエンス）の重要性がますます高まっています。顧客が製品やサービスを使用する際の感情や 反応を…(略) 4.導入（4回目の改善） - 自己評価: 90点 …(略)この記事を通じて、ビジネスマンは自社の製品やサービスの価値を最大化し、顧客満足度を高めるための具体的な方法を学ぶことができます。 また、業界のトレンドやイノベーションを取り入れたUX戦略についても触れることで、より面白く有益な内容になるでしょう。 5.導入（5回目の改善） - 自己評価: 95点 …(略)業界のトレンドやイノベーションを取り入れたUX戦略についても触れることで、より面白く有益な内容になるでしょう。さらに、ビジネスマンが 実際に遭遇する課題に対するUXの解決策や、実務での効果的なアプローチも紹介します。これにより、記事の内容がより具体的で実用的になります。 GPT-4
20. 20 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 まず、自分自身で問題の回答を出してください。 それから、あなたの解答と私の解答を比較し、私の解答が正しいか評価してください。 自分自身で問題を解くまでは、私の解答が正しいかどうかを決めないでください。 #問題:””” [問題の内容] #私の解答:””” - [私の解答] 14 | 結論を出す前に、 ChatGPTで解答を出す プロンプトを改善するヒント 結論を出す前に、まずChatGPT自身に問題を解かせてから判定させることでより良い結果が得られ る場合がある。
21. 21 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 [指示を入力] このタスクで最高の結果を出すために、追加の情報が必要な場合は質問をしてください。 15 | 不足する情報を聞き返してもらう プロンプトを改善するヒント 指示内容を実行するにあたって不足する情報があれば質問してもらうように指示すると、理想的な 回答が得られる。 企業に導入するタスク管理アプリケーションのリーンキャンバスを作成します。このタスクで最高の結果を出すために、追 加の情報が必要な場合は質問をしてください。 ただし、質問をする場合は一度に一つずつにしてください。一度に複数の質 問はしないでください。 例 - リーンキャンバスを作成する 了解しました。まずは、タスク管理アプリケーションのリーンキャンバスを作成するために必要な情報を収集しましょう。以下の情報が不足している場合は、 お知らせください。 1.コンセプト・アイデア (Problem, Solution, Unique Value Proposition) 2.顧客セグメント (Target Customer) 3.競合他社や代替手段 (Existing Alternatives) 4.キーアクティビティ (Key Activities) 5.収益ストリーム (Revenue Streams) 6.キーサプライヤーやパートナー (Key Partners) 7.コスト構造 (Cost Structure) 8.主要指標 (Key Metrics) 9.アンフェアな利点 (Unfair Advantage) どの情報から始めますか？ GPT-4
22. 22 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 まとめ 01 | プロンプトを指示と文脈で分ける 02 | 詳しい状況や説明を追加する 03 | 出力方法を指定する 04 | 出力の長さを指定する 05 | 必要な手順を指定する 06 | 参照URLを併記させる 07 | 役割を与える 08 | ChatGPT同士で議論させる 09 | 例を提供する 10 | 参考情報を提供する 11 | 複雑なタスクを分割して実行する 12 | 会話を続ける 13 | ChatGPTに出力した答えを考えさせる 14 | 結論を出す前に、ChatGPTで回答を出す 15 | 不足する情報を聞き返してもらう プロンプトを改善する15のヒント プロンプトを改善する15のヒントはいかがでしたか？もし1つでも、これまで入力したことのないプロンプトが あれば、一度お試しいただければと思います。AIを活用して業務効率化を一緒に進めていきましょう。 最後までご覧いただきありがとうございました。
23. 23 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 参考文献 • デジタルアカデミー,”ChatGPT 超入門 徹底解説講座”, Udemy, 2023-09, https://www.udemy.com/course/chatgpt-master-course/ • OpenAI LP/OpenAI Inc. ,” GPT Best Practices”, OpenAI platform, https://platform.openai.com/docs/guides/gpt-best-practices/, 2023-09-03 • Learn Prompting ,” Introduction to AI Learn Prompting, 2023-03-29 https://learnprompting.org/docs/basics/intro / • ot12, “【完全保存版】OpenAIが教えるChatGPTからより良い結果を得るためのプロンプトのコツ”, Qiita , 2023-07-30, https://qiita.com/ot12/items/e3270c89a7368d96e4d5 • 深津貴之/徳力基彦, “【ChatGPTの精度を上げる、あらゆる質問の最後に置く「命令」優秀な壁打ち相手を作る、「チャットAI力」の高め方”, logmi Biz , 2023-02-09, https://logmi.jp/business/articles/328359 ◼ 解説講座
24. 24 © SAISON INFORMATION SYSTEMS CO.,LTD. 2023 おすすめサイト ChatGPTなどで使える文例集 | promptia by Infolio, Inc. https://prompt.quel.jp/