2023/9/27 Tues. TAM AIチーム代表 佐川史弥 プロンプト作成、生成AI活用のメンタルモデルとHuman in the Loop ChatGPTの使い方と 業務に組み込む心構え

05 生成AIを業務に組み込むための考え方 04 事例紹介 03 プロンプトの作り方応用 02 プロンプトの作り方基礎 01 ChatGPTとの付き合い方 アジェンダ

05 生成AIを業務に組み込むための考え方 04 事例紹介 03 プロンプトの作り方応用 02 プロンプトの作り方基礎 01 ChatGPTとの付き合い方 アジェンダ

入力の良し悪しによって得られる結果が変わるため、基本的にChatGPTはプロンプトのノウハウが扱われることが多いです。 話題の記事を見ると「最強プロンプト」などが取り上げられています。 しかし具体的なプロンプトは応用しにくいため、ChatGPTやLLMの抽象的な部分を知り「型」を知ったほうが汎用性が高いです。 そこで本資料ではChatGPTを「人材」として捉える方針を提案します。 結局のところ、ChatGPTは どのように使えば良いのか

大規模言語モデルを使ったAIシステムはさまざまな場 面で有益である。しかし、完璧ではなく誤りも犯す。 人とは考え方が違っており、基本的な常識や価値観が 欠けていることもある。 それでは、大規模言語モデルを、誤りを犯すこともあ るし、考え方も異なる、ちょっと変わった「人」とし て付き合うのはどうだろうか。 「大規模言語モデルは新たな知能か」 P.123 より引用

不得意 2022年1月までの知識しか持たない 与えられた情報以外のデータを扱えず、察せない 扱える文字列長に制限がある 自信ありげに間違えることがある(ハルシネーション) 得意 世界中の情報を知っている 思考力、想像力がとても高い 一瞬で情報を読み解く 疲れない、嫌がらない ChatGPTを人として捉えるなら 人として捉えられる一方で、LLMであることから人と全く異なる性質を持ちます。 この得手不得手を理解し、「特殊な人材」に指示を出すスタンスで臨むとわかりやすくなります。

05 生成AIを業務に組み込むための考え方 04 事例紹介 03 プロンプトの作り方応用 02 プロンプトの作り方基礎 01 ChatGPTとの付き合い方 アジェンダ

ChatGPTへの指示出し(プロンプト)を考える前に、そもそも私たちが何を 考えて依頼をしているのかを抑えておきましょう。 まず初めに現在のタスクを整理し、どのような状態になっていればゴー ルになるかを頭に思い浮かべ定義します。 これをもとに、次はそのタスクを人物にアサインします。この際、私た ちは意識的・無意識的に「この人ならやってくれそうだ」などの期待を 抱くはずです。最後に、その人物に対して「口頭による指示・要件・資 料」を用いてタスクの詳細情報を渡します。 その後、依頼を受けた側はもらった指示や資料をもとに作業を行い、最 終的に成果物を依頼主に渡しタスクが終了です。 普段の依頼を考える

ChatGPTへの依頼方法も基本的な考え方は普段と変わらりません。 適切な要件を定義し、そのための参考資料を渡し、依頼がより詳細にわか るよう仕事の仕方を指示する形です。 しかし、２つほど人に依頼する際と異なる点があるため注意しましょう。 １つ目はアサインでです。私たちは無意識的に何らかの期待をして仕事を 人に与えますが、ChatGPTは基本的に属性を持ちません。したがって、 ChatGPTには役割を与えることにより我々の期待通りに動いてもらう必要 があります。 ２つ目はChatGPTはテキストしか扱えず、こちらを察することができない 点でです。つまり、私たちはChatGPTに依頼をする際にテキストコミュニ ケーションのみで私たちの頭の中を伝える必要があります。 ChatGPTへの 依頼方法を考える

プロンプト 汎用テンプレート ChatGPTの 得手不得手を理解した上で、ChatGPTにどのように指示を 出すのか考えましょう。役割を与え、私たちの頭の中の情 報が正しく伝わるよう意識することが重要です。 あなたは　　　　　　です。 あなたのゴールは　　　　　　を出力することです。 以下の要件と参考資料をもとに仕事に取り組んでください。 それでは　　　　　　を作りましょう。 ==== # 要件 ==== ==== # 参考資料 
 ==== 役割名 成果物名 成果物名 追加の指示(あれば) 参考資料の情報 要件の情報

Example

No content

05 生成AIを業務に組み込むための考え方 04 事例紹介 03 プロンプトの作り方応用 02 プロンプトの作り方基礎 01 ChatGPTとの付き合い方 アジェンダ

プロンプトエンジニアリングを行う どういった出力が好ましいかをChatGPTに教えると、そ の例に沿った回答を出力してくれます。これはLLMの性質 を利用したものであり専門用語でFew-shot Learningと呼 ばれるものです。 具体例を与える もし欲しい項目が決まってるのであれば、穴の空いた見出 しだけのテンプレートを与えるのも良い戦略です。特定の ワークフローがあったり、成果物の形式が決まっている際 などに役立ちます。 フォーマットを定義する 人間に仕事をさせるのと同じように、いきなり答えを導き 出すのではなく「仕事の取り組み方」を意識させるとより 良い結果が得られます。 依頼が大規模なものであれば、タスクをサブタスクに分解 させるなども有効です。 戦略や方針を考えさせる 基本的には「人に依頼する」スタンスで良い結果が得られますが、さらに出力のク オリティを求める際にはプロンプトエンジアリングが有効です。これはLLMの性質 をもとに有効とされるプロンプトを追加・改良していく取り組みとなります。

プロンプト 汎用テンプレート 改良版 1/2 ChatGPTの プロンプトエンジニアリングを反映した一例です。これは 正解ではなく、それぞれの要件に合わせて改良が必要とな ります。 ==== # 要件 ==== ==== # 参考資料 
 ==== 参考資料の情報 要件の情報 あなたは　　　　　　です。 あなたのゴールは　　　　　　を出力することです。 以下の要件と参考資料をもとに仕事に取り組んでください。 まず、タスクを遂行するにあたり必要な手順や戦略を考えてください。 (ChatGPTからの返答) 役割名 成果物名

プロンプト 汎用テンプレート 改良版 2/2 ChatGPTの 戦略や案が返ってきたら必要に応じてフィードバックを行 います。何度かラリーを繰り返し、適切な方針だと感じた ら最終的に欲しい成果物の形式を与えて目的の出力を得ま しょう。 次に、　　　　　　を出力しましょう。 先ほどの要件・参考資料・あなたの作成した方針に従いタスクに取り組んでく ださい。 それでは　　　　　　を作成してください。 成果物名 成果物名 ==== # フォーマット ==== 出力は以下のフォーマットに則って行なってください。 項目を指定したフォーマット ==== # 出力例 ==== 出力を行う際は、以下の出力例を参考にしてください。 出力のイメージ

Example

No content

No content

05 生成AIを業務に組み込むための考え方 04 事例紹介 03 プロンプトの作り方応用 02 プロンプトの作り方基礎 01 ChatGPTとの付き合い方 アジェンダ

中国新聞社さまとの 既存業務へのAI活用検証 要件：落ちナシ要約 会員さま向けコンテンツには鍵がかけられており、登録者だけが読めるよう設定されています。 この鍵つき記事の公開部分が魅力的な導入になれば、非会員さまの会員登録を促すことが期待できます。 したがって、本検証では「鍵をかける位置」や「SNS上での紹介文の検討高速化のため、 参考となる「記事のオチを含まない要約」をAIに複数パターン作成させることを狙いとしました。 非公開

第一段落を どのような内容にするか ChatGPTに任せるのではなく、 一緒にアイディアを考える 非公開

ChatGPTと 作業をする流れ ChatGPTにいきなり最終成果物を求めても高いクオリティのものを返して はくれません。したがってゴールから逆算して、ひとつひとつ段階を踏む 必要があります。 今回の場合だと「要約を作る」「オチを省く」の二つが目的ですので、記 事を一度要素にバラしオチを省くことにより達成していきます。 非公開

記事を 箇条書きで 書き換える /プロンプト 背景情報と記事の全文を渡します。 非公開

記事を 箇条書きで 書き換える /結果 先ほどのプロンプトにより要素に分けられ た箇条書きが返ってきます。 ここで満足できる結果が得られれば次に進 み、不十分な場合はフィードバックを返し ましょう。 非公開

箇条書きに 優先度を振る /プロンプト 最終的にChatGPTや我々が取捨選択する際 の手がかりとなるものを用意する。 非公開

箇条書きに 優先度を振る /結果 この際、私たちがフィードバックを行うた めに優先度の理由などを付与させても良 い。 非公開

オチのない要約を作らせる パターン１ 非公開

オチのない要約を作らせる パターン２ 非公開

オチなし要約 改善 非公開

05 生成AIを業務に組み込むための考え方 04 事例紹介 03 プロンプトの作り方応用 02 プロンプトの作り方基礎 01 ChatGPTとの付き合い方 アジェンダ

ChatGPTは特殊な人材だと捉えられることを扱いました。 優秀な思考回路を持ち、何を依頼されても嫌がらないため扱い方によっては強力な戦力になります。 繰り返しになりますが、ChatGPTに仕事を任せる際に必要なことはLLMの特性を理解した上で仕事を依頼することです。 例えば、ChatGPTは基本的にテキストしか扱えませんから「何か画像を見てテキストを書く」といったタスクにはまだ不向きです。 最新の情報も知りませんので時事的な問題を任せるには最新の情報を用意してあげる必要があります。 この任せられる範囲を明確にするためにはワークフローの定義が有効です。 具体的には「どういった流れで何の情報をもとに何を作ってもらうか」という話になります。 ワークフローを考え、 特性を活かしてアサインする

タスクが細分化されていない状態だと、AIに任せるべきタスクが浮かび上 がりません。 アイディアだけでは原稿は作れず、仮にプロンプトとして与えられても事 実に基づかない曖昧な原稿が提出されてしまいます。 ワークフロー 制定前

ワークフローとそれに伴うデータを可視化すると、AIに任せられる部分が わかってきます。具体的には文章のみを扱う部分がChatGPTの得意とする 所です。コンセプト設計、インタビューの計画、アウトラインの作成な ど。テキストではありませんが、書き起こしも音声をテキストに起こすま た違うAIに任せることができます。 一方で、インタビューなどの工程は人間にしかできないことにも着目しま しょう。言語も用いた会話や、インタビュイーの感情の機微を把握するの は人間が最も得意とする所です。 ワークフロー 制定後

Human in the Loop AIが生成する出力は完全ではありません。したがって、AIの生成結果はその仕 事の良し悪しをわかってる人間が評価する必要があります。これは機械学習の 分野におけるHuman in the Loopという考えです。従来からAIは100%の正しい 答えを出せず、AIを用いたワークフローには人間が介入することが推奨されて きました。 このように、人間とAIのコラボレーションを構築することで早くクオリティの 高い仕事が実現できます。