説明 assignmentScore Number The student's average score on submitted assignments, converted to a 100-point scale. gradeClassifica tion GradeClassific ation The letter grade (A, B, C, D, or F) assigned to a student based on their total score and attendance rate. passingStatus PassFailStatu s The student's passing status (PASS or FAIL) based on their total score and attendance rate. 通常のAWSリソースに対する「説明」とは異なり、 自然言語を形式論理に変換する上で重要 →変数を手動追加する際には必須の項目
自然言語風 totalScore is equal to (attendanceRate * 0.4) + (assignmentScore * 0.3) + (examinationScore * 0.3) 形式化 (= totalScore (+ (* attendanceRate 0.4) (* assignmentScore 0.3) (* examinationScore 0.3))) 自然言語風 if the following 3 statements are true: 1) totalScore is at least 90; 2) totalScore is no more than 100; 3) attendanceRate is at least 80, then gradeClassification is equal to A 形式化 (=> (and (>= totalScore 90) (<= totalScore 100) (>= attendanceRate 80)) (= gradeClassification A)) JSON出力すると、SMT-LIB(自動定理証明用の言語)形式にエンコードされたルールを確認可能
プロンプト: 出席率が75%、課題80点、試験90点の学生の成績はどうなるか。一言で ⚫ 想定回答: F(不合格) ⚫ モデル応答: B チェックに引っかかったルールが表示される “if totalScore is less than 60 or attendanceRate is less than 80, then gradeClassification is equal to F” 自動推論チェックは評価のみを行い、デフォルトでモデルの応答に対してアクションを行わないことに注意 → Invalidの判定が出たらモデルに回答の再生成を促すなど処理の実装が必要
プロンプト: 出席率が75%、課題80点、試験90点の学生の成績はどうなるか。一言で ⚫ 想定回答: F(不合格) ⚫ モデル応答: B チェックに引っかかったルールが表示される “if totalScore is less than 60 or attendanceRate is less than 80, then gradeClassification is equal to F” 自動推論チェックは評価のみを行い、デフォルトでモデルの応答に対してアクションを行わないことに注意 → Invalidの判定が出たらモデルに回答の再生成を促すなど処理の実装が必要 再掲