Slide 9
Slide 9 text
コンペ概要:評価指標
• 系列ごとの類似度スコアの平均が評価指標
• 類似度は系列が数値の場合はRMSE、文字列の場合はレーベンシュタイン距離で算出
• 0.0~1.0の範囲で出力されていて、1.0に近いほど良いスコアと思ってもらえればOK
• チャートタイプの予測が一致していないとスコアは0
• 予測した点の数がGTと完全に一致していないとスコアは0
8
GT
Type: VerticalBar
X: [“Group1”, “Group2”]
Pred1
Type: VerticalBar
X: [“Grouq1”, “Gruop2”]
X_gt: [“Group1”, “Group2”]
X_pred: [“Grouq1”, “Gruop2”]
Lev Dists 1 2
𝑠𝑐𝑜𝑟𝑒 = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 σ𝑖
𝐿𝑒𝑣𝑖
𝑙𝑒𝑛 𝑥𝑖
= 0.876
Pred2
Type: HorizontalBar
X: [“Group1”, “Group2”]
𝑠𝑐𝑜𝑟𝑒 = 0.0
Pred3
Type: VerticalBar
X: [“Group1”, “Group2”, “Group3”]
𝑠𝑐𝑜𝑟𝑒 = 0.0