AIを用いた競馬オッズ予測手法の紹介とゲームへの応用可能性

7/27(木) 開催の「AIは最高のパートナー!? ゲームづくりの新しいカタチを考える」でお話させていただいた、開発本部 たんぽぽ室の渡辺の登壇資料です。

▼イベントURL
https://aws-startup-lofts.com/apj/loft/tokyo/event/ce2eeb8f-e5c5-42c2-ac23-e5c164e875af

Transcript

1. ©MIXI
   AIを用いた競馬オッズ予測手法の
   紹介とゲームへの応用可能性
   2023/07
   開発本部たんぽぽ室たんぽぽグループ
   渡辺 莉央
   

   View Slide

2. ©MIXI
   2
   本日のおしながき
   • 自己紹介
   • オッズ予測AIについて
   Ø netkeiba.comとオッズ予測
   Ø オッズ予測ができると何が嬉しい？
   Ø オッズはどうやって決まる？
   Ø モデルの紹介と評価
   • ゲームへの応用可能性について
   Ø ランク学習とゲームレコメンデーション
   Ø ゲームへの応用例: ステージレコメンド
   • まとめ
   

   View Slide

3. ©MIXI
   3
   • 渡辺 莉央 (2018年新卒)
   • 開発本部たんぽぽ室たんぽぽグループ
   • 仕事内容
   Ø プロダクトへの機械学習導入検証
   Ø AI関連技術の調査及び検証
   • 趣味
   Ø ダーツ テニス
   Ø サッカー & バスケ観戦 (Liverpool & 千葉ジェッツ)
   自己紹介
   

   View Slide

4. ©MIXI
   4
   オッズ予測AIについて
   

   View Slide

5. ©MIXI
   5
   netkeiba.com
   • 国内最大級の競馬情報サイト
   • 競馬を楽しむためのさまざまな
   情報やニュースを公開
   netkeiba.comとオッズ予測
   

   View Slide

6. ©MIXI
   6
   オッズ予測
   ü 各レースの出馬表で「予想オッズ」
   を確認することができる
   netkeiba.comとオッズ予測
   

   View Slide

7. ©MIXI
   7
   オッズ予測
   ü 各レースの出馬表で「予想オッズ」
   を確認することができる
   ü 予想オッズは「俺プロオッズ」を
   用いた「集合知」によって形成される
   netkeiba.comとオッズ予測
   

   View Slide

8. ©MIXI
   8
   オッズ予測
   ü 各レースの出馬表で「予想オッズ」
   を確認することができる
   ü 予想オッズは「俺プロオッズ」を
   用いた「集合知」によって形成される
   netkeiba.comとオッズ予測
   イケてないところ
   

   View Slide

9. ©MIXI
   9
   オッズ予測
   ü 各レースの出馬表で「予想オッズ」
   を確認することができる
   ü 予想オッズは「俺プロオッズ」を
   用いた「集合知」によって形成される
   netkeiba.comとオッズ予測
   イケてないところ
   l 精度が投票数に左右される
   

   View Slide

10. ©MIXI
    10
    オッズ予測
    ü 各レースの出馬表で「予想オッズ」
    を確認することができる
    ü 予想オッズは「俺プロオッズ」を
    用いた「集合知」によって形成される
    netkeiba.comとオッズ予測
    l 精度が投票数に左右される
    l 意図的な操作をされる可能性がある
    イケてないところ
    

    View Slide

11. ©MIXI
    11
    ü
    ü
    netkeiba.comとオッズ予測
    AIを用いたオッズ予測で
    「イケてない 」を解決
    

    View Slide

12. ©MIXI
    12
    Q. そもそもオッズがわかると何が嬉しいの？
    (勝つ馬がわかるのは嬉しいけど…)
    

    View Slide

13. ©MIXI
    13
    A. 馬券予測AIの精度向上が期待できます
    40%
    20%
    5%
    2倍
    7倍
    20倍
    80%
    100%
    回収率
    AIモデル 勝率 オッズ
    140%
    ×
    ×
    ×
    馬券予測AIの仕組み
    オッズ精度が回収率の精度に影響
    

    View Slide

14. ©MIXI
    14
    A. 一般ユーザーが賭け先を選ぶ指標となります
    • オッズは一般ユーザーがわかりやすく
    人気/不人気の馬を確認できる指標
    • 予想印だと予想家によって
    印の意味が違うことも
    

    View Slide

15. ©MIXI
    15
    オッズ予測について考えてみる
    

    View Slide

16. ©MIXI
    16
    Q.オッズはどうやって決まるんだろう？
    

    View Slide

17. ©MIXI
    17
    オッズはユーザーの投票数の比率によって決まる
    投票数
    50票
    43票
    32票
    25票
    支持率
    0.33％
    0.29％
    0.21％
    0.17％
    オッズ
    2.42倍
    2.76倍
    3.81倍
    4.71倍
    オッズ = 払戻率(=0.8) / 支持率
    

    View Slide

18. ©MIXI
    18
    Q.AIに学習させる値はオッズ？支持率？
    

    View Slide

19. ©MIXI
    19
    ラベルは支持率を使った方が良い
    l 値が小さいほどより上位人気の馬となる
    Ø オッズが1倍近くになると、予測値のズレで負値になってしまうことも
    l 比率計算しにくい
    ü 値が大きいほどより上位人気の馬となる
    Ø オッズが1倍近くでも、予測値が負値になることはない
    ü 比率計算しやすい
    オッズ
    支持率
    

    View Slide

20. ©MIXI
    20
    予測モデルを考えてみる
    

    View Slide

21. ©MIXI
    21
    オッズ予測モデルその1: 構成図
    

    View Slide

22. ©MIXI
    22
    オッズ予測モデルその1: オッズ学習/予測フロー
    

    View Slide

23. ©MIXI
    23
    オッズ予測モデルその1: 「イケてない 」ところ
    l 予測データが単体での予測になってしまう
    Ø オッズはレースで走る他馬との力関係が考慮されて決まる
    l 後処理で出力値の調整をする必要がある
    Ø (単体の)Lossが0でも予測値とラベルが一致しなくなる
    l 下位順位が負値になってしまう
    Ø 予測オッズが100倍の場合、支持率は0.008となり限りなく負値に近づく
    

    View Slide

24. ©MIXI
    24
    l 予測データが単体での予測になってしまう
    ランク学習を導入する
    l 比率計算が損失計算に含まれない
    l 下位順位が負値になってしまう
    ↳
    オッズ予測モデルその1: 「イケてない 」ところ
    

    View Slide

25. ©MIXI
    25
    l 予測データが単体での予測になってしまう
    ランク学習を導入する
    l 比率計算が損失計算に含まれない
    モデル内で比率計算も行えるようにする
    l 下位順位が負値になってしまう
    ↳
    ↳
    オッズ予測モデルその1: 「イケてない 」ところ
    

    View Slide

26. ©MIXI
    26
    l 予測データが単体での予測になってしまう
    ランク学習を導入する
    l 比率計算が損失計算に含まれない
    モデル内で比率計算も行えるようにする
    l 下位順位が負値になってしまう
    出力値に負値が含まれないようにする
    ↳
    ↳
    ↳
    オッズ予測モデルその1: 「イケてない 」ところ
    

    View Slide

27. ©MIXI
    27
    •
    •
    •
    オッズ予測モデルその1: 「イケてない 」ところ
    QuerySoftmaxを用いた
    支持率予測
    

    View Slide

28. ©MIXI
    28
    • CatBoostで提供されているランク学習アルゴリズムの一種
    • グループ内のTop1を予測する際に使用される
    • 最終出力がグループ内の確率値になることを活かし支持率予測
    QuerySoftmaxを用いた支持率予測
    1
    0
    0
    0.6
    0.3
    0.1
    0.47
    0.31
    0.22
    0.50
    0.27
    0.23
    QuerySoftmax
    

    View Slide

29. ©MIXI
    29
    • 損失計算の主要部分はCrossEntropy(CE)
    Ø CE(0支持率が低い馬(=下位人気の馬)の誤差の改善を優先してしまう
    前段に順位予測モデルを挟み、予測順位に応じて重み付けすることで
    より支持率が高い馬を優先するように
    順位予測モデルによるRank Weight
    ↳
    y=-log(x) 0

    View Slide

30. ©MIXI
    30
    オッズ予測モデルその2: 構成図
    

    View Slide

31. ©MIXI
    31
    オッズ予測モデルその2: オッズ学習/予測フロー
    

    View Slide

32. ©MIXI
    32
    オッズ予測モデルその2: 評価
    実オッズと予測オッズの二乗平均平方根誤差(RMSE)
    • 全レースに対するRMSE
    その1 その2
    既存予測
    

    View Slide

33. ©MIXI
    33
    オッズ予測モデルその2: 評価
    • 重賞レースに対するRMSE
    その1 その2
    既存予測
    実オッズと予測オッズの二乗平均平方根誤差(RMSE)
    

    View Slide

34. ©MIXI
    34
    オッズ予測モデルその2: 評価
    • 新馬戦に対するRMSE
    その1 その2
    既存予測
    実オッズと予測オッズの二乗平均平方根誤差(RMSE)
    

    View Slide

35. ©MIXI
    35
    オッズ予測モデルその2: 評価
    • 順位Accuracy比較(その2モデルの1-5位まで)
    実オッズと予測オッズからなる順位の正解率
    

    View Slide

36. ©MIXI
    36
    ゲームへの応用可能性について
    

    View Slide

37. ©MIXI
    37
    • ランク学習によって、グループ毎に順位を推定することができる
    Ø レコメンデーションとの相性が◎
    • ゲームではクエストやキャラクターなどの情報が増えていく
    Ø レコメンデーションのニーズが高い
    ü クエスト(ステージ)レコメンド
    ü 編成レコメンド
    ランク学習とゲーム内レコメンデーション
    弊社例
    

    View Slide

38. ©MIXI
    38
    • ステージ、ユーザー、キャラ所持等の情報からステージをレコメンド
    • ユーザー毎にステージのスコアを出力してソートする
    Ø パーソナライゼーション
    オッズ予測手法の応用例: ステージレコメンド
    

    View Slide

39. ©MIXI
    39
    • オッズ予測手法の紹介
    Ø 支持率を予測してオッズに変換することで予測
    Ø ランク学習を使うことで、出走馬の力関係を考慮した支持率予測を実現
    Ø QuerySoftMaxを使うことで比率計算を含んだ損失計算を実現
    • ゲームへの応用
    Ø ランク学習とゲームレコメンデーション及び弊社事例について
    Ø オッズ予測手法を応用したゲーム内レコメンデーションの一例
    まとめ
    

    View Slide

40. ©MIXI
    

    View Slide