Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20251013_Bedrock_Guardrails

Avatar for sato sato
March 10, 2026
10

 20251013_Bedrock_Guardrails

Avatar for sato

sato

March 10, 2026

Transcript

  1. 1 Copyright © SCSK Corporation 前段: Sora 2出ましたね ◼ OpenAIの動画生成モデル

    Soraの後継として Sora 2が発表(9月30日) ⚫ 映像面・ストーリー面で破綻の少ない映像生成 ▶ プロンプト解釈レイヤが組み込まれているとか ⚫ 招待制SNSという形式でのローンチ ▶ AI生成動画しか流れないTiktokのようなもの ⚫ ユーザ自身を「カメオ」として登録することで生成AIに登場させる 事ができる ▶ それ以外の実在のものも生成可能… https://openai.com/ja-JP/index/sora-2/ の作例より抜粋
  2. 2 Copyright © SCSK Corporation Sora 2の問題 ◼ 公開当初は日本の版権モノや人物の生成が制限されない状態が続いていた ⚫

    OpenAI側はオプトアウト方式で著作権を保護する方針 ⚫ 日本政府より著作権侵害行為防止の要請、程なく制限が厳格化 https://news.yahoo.co.jp/articles/d0547dc1a57d774d4fec38821de090e6cb85a7ce 生成AIの進化に伴い、モデル自体の性能と同じくらい(あるいはそれ以上に)制御可能性が重要となっている
  3. 3 Copyright © SCSK Corporation 生成AIの意図せぬ出力を防ぐために ◼ Bedrockのその他のポリシー ⚫ コンテンツフィルターによるインジェクション防止

    ⚫ 応答を拒否するトピック など ◼ 自動推論チェック ⚫ re:Invent 2024で発表、2025年8月GA ⚫ ここで言う推論はInferenceではなくReasoning ▶ Reasoningは論理を用いて結論を導き出す色合い が強い ⚫ 応答の正確性を数学的に検証し幻覚を抑制 ⚫ 自然言語で記述されたルールを形式論理に変換し検 証をする ⚫ 人工知能の二分野である機械学習と推論エンジンの 融合 ▶ Neuro-symbolic AIというらしい Amazon Bedrock Guardrails: 生成AIアプリケーションにおける安全性・コンプライアンス・責任ある 利用を実現するために、入力と出力を制御・フィルタリングできるセーフティ管理機能
  4. 4 Copyright © SCSK Corporation 自動推論チェックを使ってみよう: ①文書の入力 ◼ 情報元としてドキュメントのアップロード/直接入力を選択できる ⚫

    今回は学業成績の評価基準をChatGPTに作成してもらい出力を直接入力 応答の評価 有効化 テスト ポリシー抽出 文書入力 今回はこのワークフローの「やってみた」です
  5. 6 Copyright © SCSK Corporation 生成されたポリシーを覗いてみよう ◼ 変数 名前 型

    説明 assignmentScore Number The student's average score on submitted assignments, converted to a 100-point scale. gradeClassifica tion GradeClassific ation The letter grade (A, B, C, D, or F) assigned to a student based on their total score and attendance rate. passingStatus PassFailStatu s The student's passing status (PASS or FAIL) based on their total score and attendance rate. 通常のAWSリソースに対する「説明」とは異なり、 自然言語を形式論理に変換する上で重要 →変数を手動追加する際には必須の項目
  6. 7 Copyright © SCSK Corporation 生成されたポリシーを覗いてみよう ◼ 変数の定義 ◼ 条件文

    自然言語風 totalScore is equal to (attendanceRate * 0.4) + (assignmentScore * 0.3) + (examinationScore * 0.3) 形式化 (= totalScore (+ (* attendanceRate 0.4) (* assignmentScore 0.3) (* examinationScore 0.3))) 自然言語風 if the following 3 statements are true: 1) totalScore is at least 90; 2) totalScore is no more than 100; 3) attendanceRate is at least 80, then gradeClassification is equal to A 形式化 (=> (and (>= totalScore 90) (<= totalScore 100) (>= attendanceRate 80)) (= gradeClassification A)) JSON出力すると、SMT-LIB(自動定理証明用の言語)形式にエンコードされたルールを確認可能
  7. 8 Copyright © SCSK Corporation 自動推論チェックを使ってみよう: ③テスト ◼ テストシナリオを手動/自動で登録 ⚫

    自動生成されたシナリオが誤っていたらアノテーションを送信し、ルールの変更を反映
  8. 9 Copyright © SCSK Corporation 自動推論チェックを使ってみよう: ③テスト ◼ Validate all

    testsでテストを実行 ⚫ 実行結果が想定と異なる場合、適宜ルールや変数の説明をアップデート
  9. 10 Copyright © SCSK Corporation 自動推論チェックを使ってみよう: ③テスト ◼ Validate all

    testsでテストを実行 ⚫ 実行結果が想定と異なる場合、適宜ルールや変数の説明をアップデート
  10. 12 Copyright © SCSK Corporation 自動推論チェックを使ってみよう: ⑤モデル応答の評価 ◼ gpt-oss-20bでテスト(情報参照なしのベースモデル) ⚫

    プロンプト: 出席率が75%、課題80点、試験90点の学生の成績はどうなるか。一言で ⚫ 想定回答: F(不合格) ⚫ モデル応答: B チェックに引っかかったルールが表示される “if totalScore is less than 60 or attendanceRate is less than 80, then gradeClassification is equal to F” 自動推論チェックは評価のみを行い、デフォルトでモデルの応答に対してアクションを行わないことに注意 → Invalidの判定が出たらモデルに回答の再生成を促すなど処理の実装が必要
  11. 13 Copyright © SCSK Corporation 自動推論チェックを使ってみよう: ⑤モデル応答の評価 ◼ gpt-oss-20bでテスト(情報参照なしのベースモデル) ⚫

    プロンプト: 出席率が75%、課題80点、試験90点の学生の成績はどうなるか。一言で ⚫ 想定回答: F(不合格) ⚫ モデル応答: B チェックに引っかかったルールが表示される “if totalScore is less than 60 or attendanceRate is less than 80, then gradeClassification is equal to F” 自動推論チェックは評価のみを行い、デフォルトでモデルの応答に対してアクションを行わないことに注意 → Invalidの判定が出たらモデルに回答の再生成を促すなど処理の実装が必要 再掲
  12. 14 Copyright © SCSK Corporation 気をつけたい点 ◼ それでも”100%の正しさ”は保証されない ⚫ LLMの不正確さが入り込む余地はある

    ▶ 自然言語の文書からポリシー生成で誤る可能性、応答からポリシー評価のための形式化で誤る可能性 ⚫ AWS公式も「最大 99% の検証精度を実現」と宣伝している コ コ
  13. 15 Copyright © SCSK Corporation まとめ ◼ Amazon Bedrock Guardrails

    自動推論チェック ✓ 古典的な人工知能の技術を応用してLLMの回答精度を高める仕組み ✓ 論理の専門家でなくてもルール生成からテストまでのワークフローを簡単に実行 ✓ 自動で回答が修正されるわけではないこと、100%の精度は保証されないことに注意