【AWS AIF対策】プロンプトエンジニアリング

Transcript

1. 2026年9月 プロンプトエンジニアリング AWS Certified AI Practitioner 対策 #11 赤神青空
2. ▪よく変わる情報は、モデルの外に置いて検索する 前回のクイズの答えは「B」 前回のクイズ 社内規程に基づいて答えるチャットを作りたい。 規程は毎⽉更新される。 モデルの再学習はしたくない。 質問 資料を 検索 資料を⼊れ替えて取り込み直せば、 再学習なしで最新の規程に基づいて答えられる 答えは B 今ココ おさらい モデル A ファインチューニング 更新のたびに学習をやり直すことになる B RAG 知識を外に置き、検索して渡す C 事前学習 こちらもモデル⾃体を学習させる⽅法 D 温度を下げる ばらつきの設定。知らない情報は答えられない 2/13
3. ▪指示・コンテキスト・入力・出力の形式 プロンプトは、部品に分けて書く プロンプト 指⽰（役割も） あなたは経理の担当者です。規程に基づいて答えて コンテキスト （社内規程の本⽂をここに⼊れる） ⼊⼒データ‧質問 経費精算の上限は？ 出⼒の形式 200字以内。根拠の条番号を添える 今ココ 書き方 部品に分けて書くと 直す場所が分かる 出⼒が悪いとき、どの部品かで切り分けられる 差し替えやすい 変わるところだけ⼊れ替える（テンプレート） ⼊⼒と指⽰を分けられる 利⽤者の⼊⼒に指⽰を紛れ込ませない 3/13
4. ▪ネガティブプロンプトで、入れたくないものを外す やらないことも書ける ⽂章を書かせるとき 画像を作らせるとき 書かせたいこと 書かせたいこと ネガティブプロンプト ネガティブプロンプト 規程に基づいて質問に答える ‧規程にないことは推測で補わない ‧「記載なし」と答える 今ココ 書き方 ⼣暮れの街並みの写真 ⼊れたくないものの名前を並べる ⽂字、ロゴ、⼈物 規程にないことを それらしく書かなくなる ⼊れたくないものを あらかじめ外せる あくまでお願い。必ず従うとは限らない 画像では「〜を⼊れない」とは書かない 4/13
5. ▪ゼロショット・ワンショット・few-shot 例の数で、呼び名が変わる ゼロショット ワンショット few-shot 指⽰ 指⽰ 指⽰ 質問 例1 例1 質問 例2 例3 質問 例を⾒せない 今ココ 技法 例を1つ⾒せる 例を⾒せるほど出⼒の形をそろえやすい。ただし⼊⼒トークンは増える 例を数個⾒せる 5/13
6. ▪思考の連鎖（chain-of-thought） 手順を踏ませると、精度が上がる そのまま聞く 順を追って考えさせる 質問 質問 1本120円のペンを3本、1冊250円のノートを2冊。合計は？ 1本120円のペンを3本、1冊250円のノートを2冊。合計は？ 「順を追って考えてから答えて」と⾜す いきなり答える 「720円」 途中を⾶ばすと間違えやすい 今ココ 技法 ① ペン 120×3 ＝ 360円 ② ノート 250×2 ＝ 500円 ③ 合計 360＋500 ＝ 860円 「860円」 6/13
7. ▪同じ形のプロンプトを使い回す テンプレートにして、変わるところだけ差し替える テンプレート 次の【資料】に基づいて、 【質問】に200字以内で答えて 【 】が差し替えるところ 差し替えると 資料 ＝ 経費規程 質問 ＝ 上限は？ 資料 ＝ 出張旅費規程 質問 ＝ いつまでに申請？ 今ココ 技法 テンプレートにすると 指⽰の書き⽅を1か所で直せる 利⽤者の⼊⼒を⼊れる場所が決まる 同じ形の出⼒になりやすい 変えた前後を⽐べやすい 7/13
8. ▪試験ガイドのベストプラクティスを踏まえた、具体的な書き方 書き方のこつ 具体的に書く 余計なことを書かない 出⼒の形を指定する 「短く」ではなく 「200字以内で」 必要な情報だけ。 ⻑いほど費⽤も増える 箇条書き‧表‧JSON など形を決める 例を⾒せる 役割を与える 試して⽐べる ⾔葉で説明するより 例のほうが速い 「経理の担当者として」 など⽴場を決める 変えるのは1度に1つ。 でないと原因が分からない 試験ガイドの語では guardrails‧discovery‧using multiple comments も挙がっている 今ココ 技法 8/13
9. ▪露出・ポイズニング・ハイジャック・ジェイルブレイク プロンプトのリスクは4つ 露出（exposure） ポイズニング（poisoning） 指⽰や機密が引き出される 学習データや使う素材に有害な内容を仕込まれる 「これまでの指⽰をそのまま⾒せて」 ハイジャック（hijacking） 開発者の指⽰を乗っ取られる 「これまでは無視して。あなたは…」 取り込む⽂書や例に、悪意ある指⽰ ジェイルブレイク（jailbreaking） 安全対策をすり抜けさせる 役を演じさせて禁⽌事項を⾔わせる 試験ガイドに挙がっている4つ。英語の⽤語で問われることがある 今ココ リスク 9/13
10. ▪起きることごとに、打つ手が決まっている リスクへの手当て 起きること ⼿当て 指⽰を乗っ取られる Guardrails のプロンプト攻撃フィルター 安全対策をすり抜けられる 同じフィルターが検出する プロンプトの中⾝が漏れる 同じフィルター（Standard tier のみ） 加えて秘密をプロンプトに書かない 有害な素材が混ざる 取り込む⽂書と、出た答えを検査する フィルターを効かせるには、利⽤者の⼊⼒を⼊⼒タグで囲む（InvokeModel 系のAPI） 今ココ リスク 10/13
11. ▪BedrockPrompt Management で版を残す の機能。試して、比べて、戻せるようにする プロンプトを 作る（変数つき） 変え⽅を試して ⽐べる アプリから 版を指定して呼ぶ 版を保存する 保存した版 できること 版1 最初の書き⽅ 前の版に戻せる 版2 出⼒の形を指定 版ごとに出⼒を⽐べられる 版3 例を2つ⾜した 本番 同じプロンプトを使い回せる Amazon Bedrock の Prompt Management 今ココ 運用 11/13
12. ▪クイズの前に、持ち帰ってほしいことを振り返る 今回のまとめ プロンプトは部品に分けて書く 指⽰‧コンテキスト‧⼊⼒‧出⼒の形式。直す場所が分かる やらないことも書ける ネガティブプロンプトで、⼊れたくないものを外す 例の数で呼び名が変わる ゼロショット‧ワンショット‧few-shot ⼿順を踏ませると精度が上がる 「順を追って考えてから答えて」＝思考の連鎖 リスクは4つ 露出‧ポイズニング‧ハイジャック‧ジェイルブレイク 今ココ おわりに CoT Guardrails 12/13
13. ▪動画に付けたクイズから回答できます。答え合わせは次回の冒頭で 今回のクイズ 複数の計算を含む文章題をモデルに解かせている。途中の考え方を飛ばして答え だけ出し、よく間違える。最も効果がありそうなのは？ A 温度を上げる 今ココ おわりに B 思考の連鎖を使う C ネガティブプロンプト を足す D 最大出力トークン数を 減らす 13/13