Slide 11
Slide 11 text
2. プロンプトを評価する ~ 出力を機械的に評価する ~
Vertex AI には
Evaluation Service API
があります
Pointwise、 Pairwise など
様々な観点において API を叩くことで
評価することができます
https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/evaluation
https://sreake.com/blog/google-cloud-rapid-evaluation-api-verification/