AWS Step Functions でプロンプト自動育成ワークフローを構築してみた

Transcript

1. うぇぶはち会 AWS Step Functions で プロンプト自動育成 ワークフローを構築してみた 2026 7/1 19:00~20:00
2. 自己紹介 北野（ヤマダ） 好きな食べ物：お豆腐 趣味：日用品の買いだめ、LT 好きなサービス： 　 Figma, AWS Step Funtions
3. みなさん、 こういうプロンプトを 書いたことありませんか？
4. 「遅刻しそう、言い訳文考えて。」
5. プロンプトの現実 ChatGPT / Claude、会社でも使う場面が増えてきた でも「良いプロンプト」を書くのは意外と難しい 試行錯誤して磨いていくのは時間がかかる → 「だったらAIに磨かせればよくない？」
6. 構成を考えていく
7. 構成を考えていく（希望） プロンプトがどんどんよくなっていく 　 　 　 　 　 　 　 ワークフローを作りたい！！
8. 構成を考えていく（要件） 入力: シチュエーション（1行の説明） 叩き台プロンプト（雑でOK） モデル選択（1〜3の数字で振り分け） 出力: 洗練されたプロンプト スコア推移レポート（Markdown）
9. 構成を考えていく（構成） AWS Step Functions → 非同期処理⭕️ ワークフローが可視化されてて良い Amazon Bedrock (Converse API) → 複数モデルを同じ窓口で受付 DynamoDB → ループ事に保存、最高スコアを取り出し S3 → 最終レポート保存
10. 構成を考えていく プロンプト評価 LLMが生成した内容を複数シナリオで評価する LLM-as-a-Judge（自動採点） 評価もLLMで行う 自己修復ループ スコアがイマイチだったら自らブラッシュアップ
11. 構成を考えていく
12. 構成を考えていく（完成品） ① ② ２重Mapで並列に テストを実行 テストケース・Judgeペルソナ・ 評価基準を生成
13. 構成を考えていく（完成品） 履歴を取得し最終レポートを作成 スコア未達は失敗判定 ④ ③ 評価結果を元に採点 スコアによっては戻す
14. 構成を考えていく（完成品） ×３
15. 検証
16. 検証 入力：「遅刻しそう、言い訳考えて」
17. 検証 入力：「遅刻しそう、言い訳考えて」 タスクの二重定義 「何を書くか」と「どう書くか」の分離 ネガティブ制約による誘導 条件分岐の埋め込み 具体例によるアンカリング 実現性の担保
18. 検証 入力：「遅刻しそう、言い訳考えて」
19. 検証 いいプロンプトができたはず！ じゃあこのプロンプトで言い訳を 生成してみよう！
20. 検証（言い訳）
21. 検証（言い訳） 「状況を教えてください。 　 より的確なメールを作成します。」
22. 検証（言い訳）
23. 検証（言い訳） 「渋滞がひどくて全然動かなくて。。」 「朝から体調が優れなくて、 　 　 　 　 　 　 　 様子を見ていました。」
24. 検証（言い訳） シンプルな方がよくね？ 🤔
25. まとめ
26. まとめ プロンプトも生成AIに頼る時代 人間の仕事はやはり評価することに変わっていく LLM-as-a-Judge作るのにも評価がいる SFnは生成AIとの相性がいい 非同期処理 ◎、ワークフローの可視化 コストの予測がしやすい 遅刻する時は言い訳しない
27. ご清聴ありがとうございました！