Slide 20
Slide 20 text
実験 (5/α) | 比較評価の方法
5都市について,それぞれ4つの旅程を作成し,1つの旅程を10 identical
HITsにして,各都市のground-truth旅程と比較 (4×10×5=200回)
2つ (A, B) 提示し「どちらが良いか?」を聞く;
Q1: AがBと比較して…: significantly better, somewhat better,
similar, somewhat worse, significantly worse
Q2: 表示されているPOIのappropriateness (たぶん↑の5段階)
評価指標
: においてワーカが問 に を投票した回数
: 問 に を投票した総数