AIを用いた競馬オッズ予測手法の紹介とゲームへの応用可能性

7/27(木) 開催の「AIは最高のパートナー!? ゲームづくりの新しいカタチを考える」でお話させていただいた、開発本部 たんぽぽ室の渡辺の登壇資料です。

▼イベントURL
https://aws-startup-lofts.com/apj/loft/tokyo/event/ce2eeb8f-e5c5-42c2-ac23-e5c164e875af

Transcript

1. ©MIXI AIを用いた競馬オッズ予測手法の 紹介とゲームへの応用可能性 2023/07 開発本部たんぽぽ室たんぽぽグループ 渡辺 莉央
2. ©MIXI 2 本日のおしながき • 自己紹介 • オッズ予測AIについて Ø netkeiba.comとオッズ予測 Ø オッズ予測ができると何が嬉しい？ Ø オッズはどうやって決まる？ Ø モデルの紹介と評価 • ゲームへの応用可能性について Ø ランク学習とゲームレコメンデーション Ø ゲームへの応用例: ステージレコメンド • まとめ
3. ©MIXI 3 • 渡辺 莉央 (2018年新卒) • 開発本部たんぽぽ室たんぽぽグループ • 仕事内容 Ø プロダクトへの機械学習導入検証 Ø AI関連技術の調査及び検証 • 趣味 Ø ダーツ テニス Ø サッカー & バスケ観戦 (Liverpool & 千葉ジェッツ) 自己紹介
4. ©MIXI 4 オッズ予測AIについて
5. ©MIXI 5 netkeiba.com • 国内最大級の競馬情報サイト • 競馬を楽しむためのさまざまな 情報やニュースを公開 netkeiba.comとオッズ予測
6. ©MIXI 6 オッズ予測 ü 各レースの出馬表で「予想オッズ」 を確認することができる netkeiba.comとオッズ予測
7. ©MIXI 7 オッズ予測 ü 各レースの出馬表で「予想オッズ」 を確認することができる ü 予想オッズは「俺プロオッズ」を 用いた「集合知」によって形成される netkeiba.comとオッズ予測
8. ©MIXI 8 オッズ予測 ü 各レースの出馬表で「予想オッズ」 を確認することができる ü 予想オッズは「俺プロオッズ」を 用いた「集合知」によって形成される netkeiba.comとオッズ予測 イケてないところ
9. ©MIXI 9 オッズ予測 ü 各レースの出馬表で「予想オッズ」 を確認することができる ü 予想オッズは「俺プロオッズ」を 用いた「集合知」によって形成される netkeiba.comとオッズ予測 イケてないところ l 精度が投票数に左右される
10. ©MIXI 10 オッズ予測 ü 各レースの出馬表で「予想オッズ」 を確認することができる ü 予想オッズは「俺プロオッズ」を 用いた「集合知」によって形成される netkeiba.comとオッズ予測 l 精度が投票数に左右される l 意図的な操作をされる可能性がある イケてないところ
11. ©MIXI 11 ü ü netkeiba.comとオッズ予測 AIを用いたオッズ予測で 「イケてない 」を解決
12. ©MIXI 12 Q. そもそもオッズがわかると何が嬉しいの？ (勝つ馬がわかるのは嬉しいけど…)
13. ©MIXI 13 A. 馬券予測AIの精度向上が期待できます 40% 20% 5% 2倍 7倍 20倍 80% 100% 回収率 AIモデル 勝率 オッズ 140% × × × 馬券予測AIの仕組み オッズ精度が回収率の精度に影響
14. ©MIXI 14 A. 一般ユーザーが賭け先を選ぶ指標となります • オッズは一般ユーザーがわかりやすく 人気/不人気の馬を確認できる指標 • 予想印だと予想家によって 印の意味が違うことも
15. ©MIXI 15 オッズ予測について考えてみる
16. ©MIXI 16 Q.オッズはどうやって決まるんだろう？
17. ©MIXI 17 オッズはユーザーの投票数の比率によって決まる 投票数 50票 43票 32票 25票 支持率 0.33％ 0.29％ 0.21％ 0.17％ オッズ 2.42倍 2.76倍 3.81倍 4.71倍 オッズ = 払戻率(=0.8) / 支持率
18. ©MIXI 18 Q.AIに学習させる値はオッズ？支持率？
19. ©MIXI 19 ラベルは支持率を使った方が良い l 値が小さいほどより上位人気の馬となる Ø オッズが1倍近くになると、予測値のズレで負値になってしまうことも l 比率計算しにくい ü 値が大きいほどより上位人気の馬となる Ø オッズが1倍近くでも、予測値が負値になることはない ü 比率計算しやすい オッズ 支持率
20. ©MIXI 20 予測モデルを考えてみる
21. ©MIXI 21 オッズ予測モデルその1: 構成図
22. ©MIXI 22 オッズ予測モデルその1: オッズ学習/予測フロー
23. ©MIXI 23 オッズ予測モデルその1: 「イケてない 」ところ l 予測データが単体での予測になってしまう Ø オッズはレースで走る他馬との力関係が考慮されて決まる l 後処理で出力値の調整をする必要がある Ø (単体の)Lossが0でも予測値とラベルが一致しなくなる l 下位順位が負値になってしまう Ø 予測オッズが100倍の場合、支持率は0.008となり限りなく負値に近づく
24. ©MIXI 24 l 予測データが単体での予測になってしまう ランク学習を導入する l 比率計算が損失計算に含まれない l 下位順位が負値になってしまう ↳ オッズ予測モデルその1: 「イケてない 」ところ
25. ©MIXI 25 l 予測データが単体での予測になってしまう ランク学習を導入する l 比率計算が損失計算に含まれない モデル内で比率計算も行えるようにする l 下位順位が負値になってしまう ↳ ↳ オッズ予測モデルその1: 「イケてない 」ところ
26. ©MIXI 26 l 予測データが単体での予測になってしまう ランク学習を導入する l 比率計算が損失計算に含まれない モデル内で比率計算も行えるようにする l 下位順位が負値になってしまう 出力値に負値が含まれないようにする ↳ ↳ ↳ オッズ予測モデルその1: 「イケてない 」ところ
27. ©MIXI 27 • • • オッズ予測モデルその1: 「イケてない 」ところ QuerySoftmaxを用いた 支持率予測
28. ©MIXI 28 • CatBoostで提供されているランク学習アルゴリズムの一種 • グループ内のTop1を予測する際に使用される • 最終出力がグループ内の確率値になることを活かし支持率予測 QuerySoftmaxを用いた支持率予測 1 0 0 0.6 0.3 0.1 0.47 0.31 0.22 0.50 0.27 0.23 QuerySoftmax
29. ©MIXI 29 • 損失計算の主要部分はCrossEntropy(CE) Ø CE(0<x<1)をグラフにすると、値が大きいほど減少率が下がる 支持率が低い馬(=下位人気の馬)の誤差の改善を優先してしまう 前段に順位予測モデルを挟み、予測順位に応じて重み付けすることで より支持率が高い馬を優先するように 順位予測モデルによるRank Weight ↳ y=-log(x) 0<x<1 のグラフ
30. ©MIXI 30 オッズ予測モデルその2: 構成図
31. ©MIXI 31 オッズ予測モデルその2: オッズ学習/予測フロー
32. ©MIXI 32 オッズ予測モデルその2: 評価 実オッズと予測オッズの二乗平均平方根誤差(RMSE) • 全レースに対するRMSE その1 その2 既存予測
33. ©MIXI 33 オッズ予測モデルその2: 評価 • 重賞レースに対するRMSE その1 その2 既存予測 実オッズと予測オッズの二乗平均平方根誤差(RMSE)
34. ©MIXI 34 オッズ予測モデルその2: 評価 • 新馬戦に対するRMSE その1 その2 既存予測 実オッズと予測オッズの二乗平均平方根誤差(RMSE)
35. ©MIXI 35 オッズ予測モデルその2: 評価 • 順位Accuracy比較(その2モデルの1-5位まで) 実オッズと予測オッズからなる順位の正解率
36. ©MIXI 36 ゲームへの応用可能性について
37. ©MIXI 37 • ランク学習によって、グループ毎に順位を推定することができる Ø レコメンデーションとの相性が◎ • ゲームではクエストやキャラクターなどの情報が増えていく Ø レコメンデーションのニーズが高い ü クエスト(ステージ)レコメンド ü 編成レコメンド ランク学習とゲーム内レコメンデーション 弊社例
38. ©MIXI 38 • ステージ、ユーザー、キャラ所持等の情報からステージをレコメンド • ユーザー毎にステージのスコアを出力してソートする Ø パーソナライゼーション オッズ予測手法の応用例: ステージレコメンド
39. ©MIXI 39 • オッズ予測手法の紹介 Ø 支持率を予測してオッズに変換することで予測 Ø ランク学習を使うことで、出走馬の力関係を考慮した支持率予測を実現 Ø QuerySoftMaxを使うことで比率計算を含んだ損失計算を実現 • ゲームへの応用 Ø ランク学習とゲームレコメンデーション及び弊社事例について Ø オッズ予測手法を応用したゲーム内レコメンデーションの一例 まとめ
40. ©MIXI