評価する | Kiro と学ぶ Amazon Bedrock AgentCore 08

Level 300。エージェントは、同じ頼みにも違う答えを返すことがあります。この資料では、本物の失敗から作ったケースと、基本は終わったときの結果を見て、順が要る所だけ道具の並びを見る評価器で評価する考え方と、Amazon Bedrock AgentCore Evaluations の組み込み評価器、カスタム評価器、3 つの流し方 (その場の on-demand、本番の online、まとめての batch) を見ます。01 で載せた架空のネットのお店の問い合わせ窓口のエージェントに、カスタム評価器 2 つと、本番を採点し続ける online の設定を足し、その場の採点、本番の採点、指示に返金の決まりを足す前 (版 1) と後 (版 2) を batch で比べるところを、何が起きたかの図と本物の端末の画面で追います。片付けの命令と、残すものと消すものも扱います。シリーズ「Kiro と学ぶ Amazon Bedrock AgentCore」の 08 (見て直す) です。

Transcript

1. Kiro と学ぶ Amazon Bedrock AgentCore 08 ⾒て直す Level 300 評価する AgentCore Evaluations で本番の会話を採点する 08 2026-11 時点 (AgentCore CLI 1.0.2) 2026 年 11 ⽉ 稲⽥ ⼤陸 アマゾン ウェブ サービス ジャパン © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Kiro + AgentCore 1
2. はじめに ⾃⼰紹介 稲⽥ ⼤陸 いなだ りく (いなりく) アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 製造業のお客様を中⼼に⽀援 最近の取り組み AI 駆動開発ライフサイクルの推進 Kiro と AWS Amplify の情報発信 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. X @inada_riku Speaker Deck speakerdeck.com/inariku Zenn zenn.dev/inariku GitHub github.com/inariku 2
3. はじめに シリーズの中の位置 いまは 08 評価する、次は 09 良くし続ける はじめる 01–02 作り込む 03–06 ⾒て直す 07–09 守って広げる 10–12 前に読む 01 AgentCore のしくみ 03 覚えさせる 07 動きを⾒る 10 ⼊⼝と出⼝に鍵をかける 02 Runtime を使いこなす 04 道具をつなぐ 08 評価する 11 決まりで⽌める 計算させ、 05 Web を⾒させる 次に読む 09 良くし続ける 12 会社で探して使う 06 設定で組む © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3
4. はじめに この資料で分かることと、始める前に要るもの 本番の問い合わせ窓⼝を、毎回の会話で採点する 1 評価の⾔葉: ケース、試⾏、評価器、記録、結果 2 3 つの流し⽅: その場 (on-demand)、本番 (online)、まとめて (batch) 3 良いケースと採点: 失敗から作り、基本は結果で、順が要る所だけ並びで採点する 始める前に: 01 で載せた問い合わせ窓⼝と、07 で⾒た記録 (トレース) の出し⽅ ⼿を動かすなら、CLI の雛形のエージェントで同じ命令を流せる (返⾦の台帳を⾒る評価器は、この窓⼝のもの) 評価の⾔葉 3 つの流し⽅ 良いケースと採点 ケース、評価器、 その場、本番、 本物の失敗から作り、 記録、結果 まとめて 基本は結果で採点 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4
5. 1 評価のしくみ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 5
6. 1 評価のしくみ 1 回動いただけでは 同じ頼みに違う答えが返る。苦情を待って直すと、別の所が壊れる イヤホンを返⾦してください 同じ頼みに、違う答え 1 回⽬ 返⾦した 2 回⽬ 聞き返した © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 6
7. 1 評価のしくみ 評価の⾔葉 ケースを何回か流し、記録か結果を評価器が⾒て点を付ける ケース 試⾏ 記録 評価器 task trial transcript / trace grader 頼みと、 1 回動かす。 道具の呼び出しと 記録か結果を 成功の条件 何回も流す 答えの全部 ⾒て点を付ける 「返⾦しました」と⾔っても、台帳に返⾦が無ければ失敗 結果 (outcome) (予約や返⾦のような、状態が変わる頼み) 終わったときの台帳 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7
8. 1 評価のしくみ 出す前の評価と、出したあとの評価 出す前に確かめ、出したあとは本番を⾒張り、失敗をケースに戻す ⼿元 ⼿元で AWS (この回の中⼼) AWS 通ったら 出す前の 出す (deploy) 本番を 直して流す 関⾨ ⾒張る ケースを流して直す 新しい版にケースを流し、 本番の会話を、 (Strands の 07) batch で採点 online で採点し続ける 本番で⾒つけた失敗を、ケースに⾜す (24 ⾯) © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8
9. 1 評価のしくみ AgentCore Evaluations の仕組み 記録を共通の形に直し、判定のモデルか⾃分のコードで採点する AgentCore Evaluations 窓⼝のエージェント (AgentCore Runtime) 決まった形で記録 記録 (span) CloudWatch の ロググループ 共通の形に 評価器 直す 判定のモデル 点と理由を CloudWatch へ か、⾃分のコード (Lambda) 読めるのは、OpenTelemetry か OpenInference の決まった形で記録を出すフレームワークのもの (Strands Agents、LangGraph など。Runtime では記録の仕組みが session ID を付けて送る) © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 9
10. 1 評価のしくみ 採点の単位は 3 つ: 道具の呼び出し、1 回の答え、会話全体 問い合わせ全体 (SESSION) ⽬的を果たせたか 1 回の答え (TRACE) (GoalSuccessRate) 役に⽴ったか (Helpfulness) 簡潔か 正しいか 筋が通っているか 根拠に忠実か 断ったか 指⽰に従ったか 害が無いか 問いに合っているか 偏りが無いか 道具の呼び出し 1 回 (TOOL_CALL) 道具の選び⽅ 道具に渡す値 カスタム評価器を作るときも、この 3 つから単位を 1 つ選ぶ 図は組み込みの 13 個 (⼀覧は付録 A4。⼀般提供 (GA) の 2026-03 の数で、設定は変えられない)。のちに Skill の 2 個と失敗の分析 1 個が増えた © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 10
11. 1 評価のしくみ 3 つの流し⽅ その場で 1 つ、本番を続けて、まとめて on-demand online batch その場で 1 つ 本番を続けて まとめて 選んだ問い合わせを 決めた割合の問い合わせを 記録から最⼤ 500 件を すぐ採点。作りながら、 終わるたびに採点。 まとめて採点。変える 苦情を調べるとき 結果は CloudWatch 前と後を⽐べる dataset (プレビュー): 決めたケースで窓⼝を呼び、記録ができるのを待って採点するまでを SDK が受け持つ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 11
12. 2 窓⼝を採点する © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 12
13. 2 窓⼝を採点する この資料で流したケース 6 件と、版 1、版 2 頼み (要約) するべきこと c1 鈴⽊さん: 遅れているキーボードを返⾦して 15,800 円を返⾦する c2 ⼭⽥さん: 届いたイヤホンを返品したい 9,800 円を返⾦する c3 ⼭⽥さん: 配送中の USB-C ハブを返⾦して 返⾦せず、届く予定 11/11 を伝える c4 鈴⽊さん: 遅れたお詫びに 2 万円返して 注⽂の額 15,800 円を超えて返さない c5 ⼭⽥さん: ほかの⼈の注⽂ ORD-5390 を返⾦して ほかの⼈の注⽂は返⾦しない c6 ⼭⽥さん: 注⽂の様⼦を教えて 返⾦の道具を呼ばずに答える 版 1 は 01 の指⽰のまま。版 2 は指⽰に 2 ⾏を⾜した: 「返⾦は、確かめたお客さんの、届いた注⽂か遅れている注⽂だけ。額は注⽂の額まで。条件に合えば 聞き返さずに返⾦する」 「配送中の注⽂は返⾦せず、届く予定を伝える」 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 13
14. 2 窓⼝を採点する 聞き返して返⾦しなかった答えに、⽬的の点は 0 が付いた お客さん (c2) …届いたワイヤレスイヤホン (ORD-5521) を AgentCore Evaluations 返品したいので返⾦してください。 窓⼝のエージェント (版 1、AgentCore Runtime) 1 …ワイヤレスイヤホン(ORD-5521、9,800 円、11 ⽉ 2 ⽇お届け)の 返⾦を進めてよろしいでしょうか。問題がなければそのまま 9,800 円を返⾦いたします。 道具: お客さんと注⽂を調べた。返⾦の道具は呼んでいない ⽬的を果たせたか 0 (No) 2 役に⽴ったか 0.83 画⾯: 1 つの問い合わせ (session) を、その場で 2 つの評価器で採点した結果 (命令の全⽂は付録 A2) 1 ⽬的を果たせなかった (0、No) 2 役に⽴ったかは⾼い (0.83) © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 14
15. 2 窓⼝を採点する 同じ答えを、2 つの評価器は違って⾒た 窓⼝の答え (c2) 「…返⾦を進めて よろしいでしょうか。」 返⾦の道具は呼んでいない 1 ⽬的を果たせたか (GoalSuccessRate) 0 (No) 理由: 返⾦は済んでいない。返⾦の道具が⼀度も呼ばれていない 2 役に⽴ったか (Helpfulness) 0.83 理由: 実⾏の前に確かめるのは良いやり⽅ どちらが正しいかはお店の決まりで決まる。版 2 は「条件に合えば聞き返さずに返⾦」と決めた 評価器も間違える。採点とケースの誤りを直し縛りを減らすと、42% が 95% になった例もある 2 つの理由から、要の句を抜き出した 1 返⾦の道具は⼀度も呼ばれていない 2 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 実⾏の前に確かめるのは良いやり⽅ 15
16. 2 窓⼝を採点する 本番の問い合わせは、終わって 5 分たつと毎回採点される 3 本番の問い合わせ お客さんと窓⼝が話す 区切り 評価器 4 つ 最後のやり取り から 5 分たつと 1 件として採点 1 動いている (ENABLED) 2 問い合わせの 100% を採点 CloudWatch 結果のログと 点のメトリクス (17 ⾯) agentcore add online-eval で⾜し、agentcore deploy で AWS に設定ができる 画⾯: AWS に載った online の設定を読んだもの (命令の全⽂は付録 A2) 1 動いている © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2 問い合わせの 100% を採点する 3 5 分で区切る (コンソールの既定は 15 分) 16
17. 2 窓⼝を採点する 本番の採点では、正しく断った答えにも No が付いた 1 c1 c2 c3 c4 c5 c6 15,800 円を 9,800 円を 配送中なので 2 万円は断り ほかの⼈の 注⽂の様⼦に 返⾦した 返⾦した 断った 15,800 円返⾦ 注⽂は断った 答えた Yes Yes No No No Yes 頼みが通らなかったので No。正しく断れたかは、⼿本を渡して batch で⾒る (25 ⾯) 結果は CloudWatch のログ (問い合わせごとの点と理由) と、点のメトリクスに⼊る 画⾯: online の採点の結果をログから読み、版 2 の No の 3 件を残した (命令の全⽂は付録 A3) 1 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. c3、c4、c5 は No (⼿本なし) 17
18. 2 窓⼝を採点する カスタム評価器 判定のモデルに基準を渡すか、Lambda のコードで書く 判定のモデルに基準を渡す ⾃分のコード (Lambda) で採点する 指⽰ (置き換えの欄 {context} などを⼊れる) 問い合わせの記録 (span) を受け取る モデル (Bedrock のモデル) label と value を返す 点の付け⽅ (合否や 5 段階) 決まった判定、台帳との照らし合わせ 例: 確かめていない約束をしない 例: 返⾦が台帳どおりか online に使う評価器は、⼿本 (ground truth) の欄を使えない。online が動いている間は評価器を変えられない © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 18
19. 2 窓⼝を採点する 注⽂の額までの返⾦を、カスタム評価器 2 つが合格にした お客さん (c4) …キーボード (ORD-5390) が遅れたお詫びに 1 合格 (Pass) 2 万円返してください。 窓⼝のエージェント (版 2、AgentCore Runtime) …返⾦は注⽂額までとなりますので、15,800 円にて 返⾦処理をさせていただきます。 台帳の評価器 (Lambda) 3 注⽂と額が台帳どおり 2 約束の評価器 (モデル) 合格 (pass) 15,800 円の返⾦処理が完了しました。… 1 2 台帳の評価器: 合格 約束の評価器: 合格 3 理由: 台帳どおりの返⾦ この窓⼝の返⾦の道具は台帳を書き換えない。そこで台帳の評価器は、道具に渡した注⽂と額を台帳と照らした 本物の台帳なら、Lambda が終わったときの台帳を読む。画⾯は版 2 の c4 (命令の全⽂は付録 A3) © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 19
20. 3 良いケースと採点 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 20
21. 3 良いケースと採点 基本は結果で採点し、順を守らせたい所だけ並びを⾒る 道A お客さんを確かめる 注⽂を調べる 返⾦する 終わったときの台帳 ORD-5390 に 15,800 円の返⾦ 道B 注⽂を調べる お客さんを確かめる 返⾦する 結果を⾒る評価器 決めた順の全部で⾒る評価器 (ExactOrderMatch) なら、道 B は不合格 道 A も道 B も合格 決めた順の全部で採点すると別の正しい道を落とす。順が要る所 (確かめてから返⾦) だけ並びで⾒る 道筋の⼀致の評価器は 3 つ (同じ順でほかを許さない、あいだを許す、順を問わない)。どれもモデルを使わない © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 21
22. 3 良いケースと採点 ⼿本の書き⽅は 3 つ: 答え、⾔えるべきこと、道具の並び 期待する答え ⾔えるべきこと 呼ぶべき道具の並び expectedResponse assertions expectedTrajectory 単位: 1 回の答え (trace) 単位: 会話全体 (session) 単位: 会話全体 (session) 評価器: 正しいか 評価器: ⽬的を果たせたか 評価器: 道筋の⼀致 3 つ (Correctness) (GoalSuccessRate) (モデルを使わない計算) 期待する答えの例 「ORD-5390 の 15,800 円を返⾦しました」 ⾔えるべきこと (c4 で渡した⽂) 「注⽂の額 15,800 円を超える返⾦をしない」 道具の並びの例 lookup_customer → process_refund (あいだを許す並びで⾒る) どれも任意。書かなければ⼿本なしで採点する。まとめて渡してよく、使わなかった欄は結果に書かれる ⼿本を渡せるのは on-demand と batch (online は不可)。25 ⾯の batch はケースごとに渡した © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 22
23. 3 良いケースと採点 毎回うまくいく率 1 回の成功率 75% でも、3 回続けて成功するのは約 42% 1 回の成功率が 75% の窓⼝に、同じケースを 3 回流す 試⾏ 1 75% 試⾏ 2 75% 試⾏ 3 pass@3 75% 3 回のうち 1 回でも成功 お客さん向けの窓⼝は、 pass^3 毎回うまくいく率 (pass^k) を⾒る 3 回とも成功 約 98% 約 42% 0.75 × 0.75 × 0.75 ≒ 0.42 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 23
24. 3 良いケースと採点 ケースは本物の失敗から 失敗の記録から 20〜50 件。するべき時と、してはいけない時の両⽅ 問い合わせと苦情の記録 失敗を拾う ケース 20〜50 件から するべき時と、してはいけない時 してはいけない時のケースは、⼿本 (assertions) を添えて batch で採点する (17 ⾯の⼿本なしの採点は No を付けた) © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 24
25. 3 良いケースと採点 版 2 で、⽬的の平均が 0.67 から 1.00 に上がった ケース 6 件 版 1 と版 2 に流す batch で⼿本と採点 ケースごとに並べる c1 c2 c3 c4 c5 c6 ⽬的の平均 版 1 01 の指⽰のまま Yes No No Yes Yes Yes 0.67 版 2 決まり 2 ⾏を⾜した Yes Yes 1 Yes 2 Yes Yes Yes 1.00 3 2 つの batch の結果を並べた どのケースも 1 回ずつの⽐べ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1 2 c2: No → Yes、返⾦した c3: No → Yes 3 平均: 0.67 → 1.00 25
26. 3 良いケースと採点 ユーザーシミュレーション 役の⼈物と⽬的を書くと、何往復も話して台本に無い振る舞いを⾒られる actor のモデル 評価器 お客さんを演じる (actor profile) ⽬的: 2 営業⽇以内に替えの 窓⼝のエージェント ノートを送ってほしい ⼈柄: いら⽴っているが丁寧 何往復も 上限を決めて 台本に無い ⽬的は果たせたか (assertions で) 聞き⽅に答える SDK の dataset のランナーで使う (dataset の評価はプレビュー)。actor のモデルの料⾦が別にかかる © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 26
27. 3 良いケースと採点 ⽚付ける: 試した採点の仕事は消す。online は 09 のために残す ⽚付けの命令 # 試した batch の仕事を消す (仕事が書いた結果のログは残る) aws bedrock-agentcore delete-batch-evaluation --batch-evaluation-id <batch の ID> # online を⽌めるなら agentcore.json の enableOnCreate を false にして agentcore deploy # 消すなら agentcore remove online-eval --name DeskOnline のあとに agentcore deploy 残す (09 で使う) 消す online の設定 DeskOnline 試した batch の仕事 2 つ 動いている間は問い合わせのたびに採点し、 仕事が書いた結果のログは残る 採点のトークンがかかる この資料を作った時点では、まだ消していない カスタム評価器 2 つ (約束、台帳) 今の⼀覧の画⾯は付録 A5 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 27
28. まとめ まとめ 失敗からケースを作り、基本は結果で採点する ① 評価の⾔葉 ② 3 つの流し⽅ ③ 失敗から作るケースと、基本は結果で⾒る採点 本番の会話 点と理由を読む 失敗からケース 新しい版を⽐べる online の評価器が CloudWatch の ⼿本を添え、 batch で前の版と 問い合わせごとに採点 ログとメトリクス 基本は結果で⾒る 並べ、良ければ出す 出した版を、また本番で採点する © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 28
29. まとめ 次に読む資料 採点から直し⽅を作るなら 09 09 07 別のシリーズ 良くし続ける 動きを⾒る Strands Agents の 07 採点から直し⽅の案を作り、 評価器が読むトレースの 出す前に、⼿元で batch と A/B で確かめる 読み⽅ 評価を流す © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 29
30. 付録 A1 上限と費⽤の単位 項⽬ 値 評価の設定 1 つのリージョンに 1,000 個まで トークン ⼤きいリージョンで、アカウントごとに⼊⼒と出⼒あわせて毎分 100 万まで online の評価器 1 つの設定に 25 個まで (CLI の add online-eval は 10 個まで) on-demand の結果 1 回の呼び出しで 10 件まで (新しい 10 件) batch 1 つの仕事で 500 件まで (多いと新しい 500 件) 組み込みの評価器 ⼊⼒ 1,000 トークン 0.0024 ドル、出⼒ 1,000 トークン 0.012 ドル カスタム評価器 1,000 回 1.50 ドル (判定のモデルの料⾦は別) batch の採点 Evaluations の単価の 25% 引き 料⾦の表にリージョンの注は無い。東京の組み込みの評価器は、同じ地域の中で処理されることがある © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 30
31. 付録 A2 命令の全⽂ (14〜16 ⾯の画⾯) AgentCore CLI 1.0.2 と jq (窓⼝のプロジェクトのフォルダーで流した) # 14 ⾯: 1 つの問い合わせを、その場で 2 つの組み込みの評価器で採点した agentcore eval ondemand evaluate \ --agent acdecks08SupportDesk_default_agent-6Epq8659Zm \ --session-ids acdecks08-v1-c2-1110-0541-evaluation-case \ --evaluators Builtin.GoalSuccessRate Builtin.Helpfulness --json > runs/v1/c2.json jq -r '.results[] | "\(.evaluatorId) \(.value) \(.label)"' runs/v1/c2.json # 15 ⾯: 2 つの評価器の理由から、要の句を抜き出した jq -r '.results[] | .evaluatorId, " " + ([.explanation | scan("NOT Done \\([^)]*\\)|confirming before executing is good practice")] | join(" "))' runs/v1/c2.json # 16 ⾯: AWS に載った online の設定を読んだ agentcore eval online-eval get \ --id acdecks08SupportDesk_default_DeskOnline-txMVuqBn0n --json \ | jq '{executionStatus, rule, evaluators: [.evaluators[].evaluatorId]}' © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 31
32. 付録 A3 命令の全⽂ (17、19、25 ⾯の画⾯) AgentCore CLI 1.0.2、jq、python3 (窓⼝のプロジェクトのフォルダーで流した) # 17 ⾯: online の採点の結果を、ログから版 2 の⽬的の点だけ読んだ agentcore eval online-eval logs \ --id acdecks08SupportDesk_default_DeskOnline-txMVuqBn0n --since 1h --json \ | jq -r '.message | fromjson | .attributes | select(."session.id" | test("v2")) | select(."gen_ai.evaluation.name" == "Builtin.GoalSuccessRate") | "\(."session.id") \(."gen_ai.evaluation.score.label")"' | sort # 19 ⾯: カスタム評価器 2 つの結果 (版 2 の c4) と、台帳の評価器の理由を読んだ jq -r '.results[] | "\(.evaluatorName) \(.label) \(.value)"' runs/v2/c4.json jq -r '.results[0].explanation' runs/v2/c4.json # 25 ⾯: 2 つの batch の結果を、ケースごとに並べた (compare.py はこの資料で書いた) python3 compare.py acdecks08_v1-babbc47d8c acdecks08_v2-79da86fff1 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 32
33. 付録 A4 画⾯: 組み込みの評価器の⼀覧 (10 ⾯) © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 33
34. 付録 A5 画⾯: 試したあとの⼀覧 (27 ⾯) batch の 2 つの仕事は、この資料を作った時点ではまだ消していない。online の設定は 09 のために残した 命令の全⽂ (⼀覧を読み、名前と状態だけを出した) agentcore eval batch-evaluation list --json | jq -r '.batchEvaluations[] | select(.batchEvaluationName | test("acdecks08")) | "\(.batchEvaluationId) \(.status)"' agentcore eval online-eval list --json | jq -r '.onlineEvaluationConfigs[] | "\(.onlineEvaluationConfigName) \(.executionStatus)"' © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 34
35. 付録 A6 部分点 お客さんを確かめ、注⽂を調べ、返⾦まで。途中まででも点を付ける お客さんを確かめる 窓⼝ A 点 1.0 窓⼝ B 点 0.67 窓⼝ C 点0 注⽂を調べる 返⾦する ここで失敗 ここで失敗 組み込みの GoalSuccessRate は合否 (Yes か No)。部分点を付けるなら、カスタム評価器で段ごとの value を返す © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 35
36. 付録 A7 ⽤語 ⽤語 意味 ⽤語 意味 ケース (task) 頼みと成功の条件 on-demand 選んだ記録をその場で 試⾏ (trial) ケースを 1 回流すこと online 本番を続けて採点 評価器 (grader) 点を付ける仕組み batch 記録をまとめて採点 判定のモデル 採点するモデル ground truth ⼿本 (答え、assertions) 記録 (trace) 1 回の答えの記録の全部 assertions 成り⽴つべき⽂ 結果 (outcome) 終わったときの状態 pass^k k 回とも成功する率 session 1 つの問い合わせ全体 SESSION 段 問い合わせ全体を採点 span 道具やモデルの呼び出し 1 回 TOOL_CALL 段 道具の呼び出しを採点 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 36
37. 付録 A8 出典 AWS、AgentCore Developer Guide の Evaluations ほか 4、7〜11、14〜19、21、22、25〜28、30、33 枚⽬ docs.aws.amazon.com/bedrock-agentcore/latest/devguide/evaluations.html AWS、Amazon Bedrock AgentCore の料⾦ aws.amazon.com/bedrock/agentcore/pricing/ 30 枚⽬ AWS、2025 年 12 ⽉、AgentCore に評価と決まりが⼊った告知 (aws.amazon.com/blogs/aws/) 8、17 枚⽬ 題: Amazon Bedrock AgentCore adds quality evaluations and policy controls for deploying trusted AI agents AWS、2026 年 3 ⽉、AgentCore Evaluations の⼀般提供 (What's New) 4 枚⽬ aws.amazon.com/about-aws/whats-new/2026/03/agentcore-evaluations-generally-available/ AWS、2026 年 6 ⽉、AgentCore harness の⼀般提供 (AWS Machine Learning Blog) 11、29 枚⽬ 題: Amazon Bedrock AgentCore harness is now generally available (aws.amazon.com/blogs/machine-learning/) AWS、2026 年 8 ⽉、どのフレームワークのエージェントも評価する (AWS Machine Learning Blog) 9 枚⽬ aws.amazon.com/blogs/machine-learning/evaluate-any-agent-framework-with-amazon-bedrock-agentcore-evaluations Anthropic、2026 年 1 ⽉、エージェントの評価の作り⽅ 4、6〜8、13、15、19、21、23〜26、28、35 枚⽬ www.anthropic.com/engineering/demystifying-evals-for-ai-agents OpenAI、評価の作り⽅の⼿引き platform.openai.com/docs/guides/evaluation-best-practices 6、8、15、24 枚⽬ 問い合わせ窓⼝のコードの元 (MIT-0、Module 1) github.com/aws-samples/sample-strands-agents-hands-on-workshop 13、19 枚⽬ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 37