Slide 24
Slide 24 text
今後の課題1: より確度の高いオフライン評価方法の構築
24
A/Bテストのコストが下がれば、オフライン評価方法も改善ができるはず...!
● 一度は定量的なオフライン評価を諦めたが、A/Bテストよりも短期間、低コストで推薦モデルの
フィードバックを得られるため、確度の高いオフライン評価ができたらそりゃあ嬉しい!
● オフライン評価の問題設定:
○ データ収集時の推薦モデル π_0 で収集した過去のログデータ D:=(x,a,r)^N を用いて、(π_0
とは異なる) 評価したい推薦モデル π の性能を推定すること
● → 推薦モデル A , B で収集したログデータD_ , D_ さえ用意できれば、Aの真の性能 V(pi_A | D
と推定値 \hat{V}(pi_Aを比較することで、オフライン評価の精度を検証できる
○ A/Bテストしやすい基盤を作り、A/Bテストの実施によってデータセット(D_ , D_ )を収集する
ことができれば、自社の環境に適したオフライン評価方法を見つけられるのでは...!!
● もし確度の高いオフライン評価方法が実現できれば... Kaggleができる! オフライン学習もできる!