Bedrockでのプロンプト管理戦略

Transcript

1. Bedrockでのプロンプト管理戦略 AWS活用 AI/ML/LLM #7 機械学習/大規模言語モデルの実装と運用 株式会社BLUEISH Software Engineer 戸塚 翔太 @totsumaru_dot
2. 自己紹介 株式会社BLUEISH
 AI Lead Engineer @totsumaru_dot 戸塚 翔太 † 普段はLLMアプリケーションの開発をしていまP † 現在は法人向けAIエージェントプラットフォーム「BLUEISH Agents」 の開発を担当しています
3. AWS認定（今年1月から開始）
4. イベントを多数開催しています！
5. 01 Bedrockのプロンプト管理 02 使ってみる！ 03 運用のしやすさ、他の手段 04 所感・まとめ アジェンダ
6. 01 Bedrockのプロンプト管理 02 使ってみる！ 03 運用のしやすさ、他の手段 04 所感・まとめ アジェンダ
7. Bedrockのプロンプト管理 Bedrockのプロンプト管理とは？ i Bedrock上でプロンプトを保存しておき、 推論時はその変数だけを指定すればよb i 1つのプロンプトに対して複数のバージョン （バリアント）を定義できC i 変更差分が分かC i バージョン同士で比較できC i temperatureなどの値も管理できる
8. Bedrockのプロンプト管理 構成 h ドラフトを編集し、編集が完了し たら「バージョン」としてデプロ イすD h ARNを指定して各バージョンのプ ロンプトを使用できD h デプロイ後の削除は可能だが、変 更は不可（別バージョンとしてデ プロイする必要あり）
9. 01 Bedrockのプロンプト管理 02 使ってみる！ 03 運用のしやすさ、他の手段 04 所感・まとめ アジェンダ
10. 使ってみる！ プロンプトを作成 % 「プロンプトを作成」ボタンからプロンプト作成画面へ遷移
11. 使ってみる！ プロンプトビルダーで編集 # 編集はドラフトで行B # 「プロンプトビルダーで編集」か らドラフトの編集が可能
12. 使ってみる！ システム / アシスタント / ユーザー プロンプトの設定 t システムプロンプト（1つ: Optionali t ユーザーメッセージ（複数可: 少なくとも1つ定義i t アシスタントメッセージ（複数可: Optional） 変数は5つまで設定可能。
13. 使ってみる！ モデル・パラメーターを設定 D モデルを選択し、パラメータを設9 D temperatur4 D top-) D response lengt D stop sequences
14. 使ってみる！ 追加設定 " モデル独自の設定項目をJSON形式 で設定可2 " ツールの設定も可能
15. 使ってみる！ テストの実行 3 テスト変数を設定 → テストウィンドウ で検証が可8 3 ダッシュボード上で検証可能
16. 使ってみる！ 保存・バージョンの作成 F 下書きのまま保存 → 「ドラフトを保存% F 本番として保存 → 「バージョンを作成」
17. 使ってみる！ バリアントの比較
18. 使ってみる！ 登録したプロンプトで推論を実行 （Converse APIで実装8 S プロンプトの変数を設定するだ5 S プロンプト本文はBedrock管' S その他パラメータもBedrock管理
19. 01 Bedrockのプロンプト管理 02 使ってみる！ 03 運用のしやすさ、他の手段 04 所感・まとめ アジェンダ
20. 運用のしやすさ・他の手段 運用のしやすさ 0 LLMの主な用途がチャットの場合はすごく有S 0 ソースコードがスッキリする / コードと別管理となるメリッX 0 画像, ツールを多用する場合は複雑化する懸念あり（ただし、エージェントでの管理もある） 他の手段 0 Git / GitHu‘ 0 LangSmith / Langfuse → 評価とともに管理
21. 01 Bedrockのプロンプト管理 02 使ってみる！ 03 運用のしやすさ、他の手段 04 所感・まとめ アジェンダ
22. 所感・まとめ  プロンプトテンプレート, モデル, パラメータを合わせて管理できるため、コードがスッキリすF  バージョン毎の比較はあるものの、実務では常に最新バージョンが有用となる可能性が高いた め、変更差分管理としての用途になりそX  （差分管理だけならGit管理で行う方が楽な気もする..."  ダッシュボードで検証が容易にできるため、変更 → 検証の速度向上に繋がF  Bedrock x チャット の用途であれば有用
23. Thank you!