Slide 6
Slide 6 text
from datasets import Dataset
ground_truths = [
["中国"],
["太くて柔らかい"],
["とんこつラーメン"],
["ヘルシー志向のものやベジタリアン対応、地域ごとの特色活かしたものの登場によって多様性が拡大している"],
]
ds = Dataset.from_dict(
{
"question": questions,
"answer": answers,
"contexts": contexts,
"ground_truths": ground_truths,
}
)
for row in ds:
print(f'question: {row["question"]}')
print(f'contexts: {row["contexts"]}')
print(f'answer: {row["answer"]}')
print(f'ground_truths: {row["ground_truths"]}')
print("-----")
---
question: ラーメンはどこの国発祥ですか
contexts: ['ラーメンは、中国から発祥し、日本で独自の進化を遂げた麺料理です。この料理は小麦粉から作られた細い麺と、鶏、
豚、魚介など多様な材料から抽出されたスープ、そして様々な具材で構成されます。日本各地には地域ご']
answer: ラーメンは中国から発祥し、日本で独自の進化を遂げた麺料理です。
Therefore, the context provided indicates that ramen originated from China.
ground_truths: ['中国']
-----
question: うどんの麺の特徴は?
contexts: ['他の麺料理との比較では、麺の種類やスープ、具材に大きな違いが見られます。うどんは太くて柔らかい麺、そばはそば
粉を使用した麺、パスタは小麦粉と卵で作られた麺で、それぞれ独自の食感と風味があります。また']
answer: うどんの麺の特徴は太くて柔らかい、とあります。
ground_truths: ['太くて柔らかい']
-----
question: 博多はどんなラーメンが多い?
contexts: ['たスープ、そして様々な具材で構成されます。日本各地には地域ごとに異なるラーメンスタイルが存在し、札幌の味噌ラ
ーメン、博多のとんこつラーメン、東京の醤油ラーメンなどが特に有名です。']
answer: とんこつラーメンが多いです。
ground_truths: ['とんこつラーメン']
-----
question: 最近のラーメンの進化について教えてください
contexts: ['形で展開されています。また、地域ごとの特色を活かした新しいタイプのラーメンが登場することもあり、その多様性は
さらに広がりを見せています。']
answer: この文脈からは、ラーメンが形で展開されているとか、地域ごとに新しいタイプのラーメンが登場することがある、と書か
れています。最近のラーメンの進化についての具体的な内容はこの文脈からは分かりません。
ground_truths: ['ヘルシー志向のものやベジタリアン対応、地域ごとの特色活かしたものの登場によって多様性が拡大している']
from ragas import evaluate
"""
評価の実行
- answer_relevancy
- context_precision
- faithfulness
- context_recall
"""
result = evaluate(ds)
print(result)
---
{
'answer_relevancy': 0.8139,
'context_precision': 1.0000,
'faithfulness': 1.0000,
'context_recall': 1.0000
}