AIを用いた競馬オッズ予測手法の紹介とゲームへの応用可能性

by MIXI ENGINEERS

Slide 1

Slide 1 text

©MIXI AIを用いた競馬オッズ予測手法の紹介とゲームへの応用可能性 2023/07 開発本部たんぽぽ室たんぽぽグループ渡辺莉央

Slide 2

Slide 2 text

©MIXI 2 本日のおしながき • 自己紹介 • オッズ予測AIについて Ø netkeiba.comとオッズ予測 Ø オッズ予測ができると何が嬉しい？ Ø オッズはどうやって決まる？ Ø モデルの紹介と評価 • ゲームへの応用可能性について Ø ランク学習とゲームレコメンデーション Ø ゲームへの応用例: ステージレコメンド • まとめ

Slide 3

Slide 3 text

©MIXI 3 • 渡辺莉央 (2018年新卒) • 開発本部たんぽぽ室たんぽぽグループ • 仕事内容 Ø プロダクトへの機械学習導入検証 Ø AI関連技術の調査及び検証 • 趣味 Ø ダーツテニス Ø サッカー & バスケ観戦 (Liverpool & 千葉ジェッツ) 自己紹介

Slide 4

Slide 4 text

©MIXI 4 オッズ予測AIについて

Slide 5

Slide 5 text

©MIXI 5 netkeiba.com • 国内最大級の競馬情報サイト • 競馬を楽しむためのさまざまな情報やニュースを公開 netkeiba.comとオッズ予測

Slide 6

Slide 6 text

©MIXI 6 オッズ予測 ü 各レースの出馬表で「予想オッズ」を確認することができる netkeiba.comとオッズ予測

Slide 7

Slide 7 text

©MIXI 7 オッズ予測 ü 各レースの出馬表で「予想オッズ」を確認することができる ü 予想オッズは「俺プロオッズ」を用いた「集合知」によって形成される netkeiba.comとオッズ予測

Slide 8

Slide 8 text

©MIXI 8 オッズ予測 ü 各レースの出馬表で「予想オッズ」を確認することができる ü 予想オッズは「俺プロオッズ」を用いた「集合知」によって形成される netkeiba.comとオッズ予測イケてないところ

Slide 9

Slide 9 text

©MIXI 9 オッズ予測 ü 各レースの出馬表で「予想オッズ」を確認することができる ü 予想オッズは「俺プロオッズ」を用いた「集合知」によって形成される netkeiba.comとオッズ予測イケてないところ l 精度が投票数に左右される

Slide 10

Slide 10 text

©MIXI 10 オッズ予測 ü 各レースの出馬表で「予想オッズ」を確認することができる ü 予想オッズは「俺プロオッズ」を用いた「集合知」によって形成される netkeiba.comとオッズ予測 l 精度が投票数に左右される l 意図的な操作をされる可能性があるイケてないところ

Slide 11

Slide 11 text

©MIXI 11 ü ü netkeiba.comとオッズ予測 AIを用いたオッズ予測で「イケてない」を解決

Slide 12

Slide 12 text

©MIXI 12 Q. そもそもオッズがわかると何が嬉しいの？ (勝つ馬がわかるのは嬉しいけど…)

Slide 13

Slide 13 text

©MIXI 13 A. 馬券予測AIの精度向上が期待できます 40% 20% 5% 2倍 7倍 20倍 80% 100% 回収率 AIモデル勝率オッズ 140% × × × 馬券予測AIの仕組みオッズ精度が回収率の精度に影響

Slide 14

Slide 14 text

©MIXI 14 A. 一般ユーザーが賭け先を選ぶ指標となります • オッズは一般ユーザーがわかりやすく人気/不人気の馬を確認できる指標 • 予想印だと予想家によって印の意味が違うことも

Slide 15

Slide 15 text

©MIXI 15 オッズ予測について考えてみる

Slide 16

Slide 16 text

©MIXI 16 Q.オッズはどうやって決まるんだろう？

Slide 17

Slide 17 text

©MIXI 17 オッズはユーザーの投票数の比率によって決まる投票数 50票 43票 32票 25票支持率 0.33％ 0.29％ 0.21％ 0.17％オッズ 2.42倍 2.76倍 3.81倍 4.71倍オッズ = 払戻率(=0.8) / 支持率

Slide 18

Slide 18 text

©MIXI 18 Q.AIに学習させる値はオッズ？支持率？

Slide 19

Slide 19 text

©MIXI 19 ラベルは支持率を使った方が良い l 値が小さいほどより上位人気の馬となる Ø オッズが1倍近くになると、予測値のズレで負値になってしまうことも l 比率計算しにくい ü 値が大きいほどより上位人気の馬となる Ø オッズが1倍近くでも、予測値が負値になることはない ü 比率計算しやすいオッズ支持率

Slide 20

Slide 20 text

©MIXI 20 予測モデルを考えてみる

Slide 21

Slide 21 text

©MIXI 21 オッズ予測モデルその1: 構成図

Slide 22

Slide 22 text

©MIXI 22 オッズ予測モデルその1: オッズ学習/予測フロー

Slide 23

Slide 23 text

©MIXI 23 オッズ予測モデルその1: 「イケてない」ところ l 予測データが単体での予測になってしまう Ø オッズはレースで走る他馬との力関係が考慮されて決まる l 後処理で出力値の調整をする必要がある Ø (単体の)Lossが0でも予測値とラベルが一致しなくなる l 下位順位が負値になってしまう Ø 予測オッズが100倍の場合、支持率は0.008となり限りなく負値に近づく

Slide 24

Slide 24 text

©MIXI 24 l 予測データが単体での予測になってしまうランク学習を導入する l 比率計算が損失計算に含まれない l 下位順位が負値になってしまう ↳ オッズ予測モデルその1: 「イケてない」ところ

Slide 25

Slide 25 text

©MIXI 25 l 予測データが単体での予測になってしまうランク学習を導入する l 比率計算が損失計算に含まれないモデル内で比率計算も行えるようにする l 下位順位が負値になってしまう ↳ ↳ オッズ予測モデルその1: 「イケてない」ところ

Slide 26

Slide 26 text

©MIXI 26 l 予測データが単体での予測になってしまうランク学習を導入する l 比率計算が損失計算に含まれないモデル内で比率計算も行えるようにする l 下位順位が負値になってしまう出力値に負値が含まれないようにする ↳ ↳ ↳ オッズ予測モデルその1: 「イケてない」ところ

Slide 27

Slide 27 text

©MIXI 27 • • • オッズ予測モデルその1: 「イケてない」ところ QuerySoftmaxを用いた支持率予測

Slide 28

Slide 28 text

©MIXI 28 • CatBoostで提供されているランク学習アルゴリズムの一種 • グループ内のTop1を予測する際に使用される • 最終出力がグループ内の確率値になることを活かし支持率予測 QuerySoftmaxを用いた支持率予測 1 0 0 0.6 0.3 0.1 0.47 0.31 0.22 0.50 0.27 0.23 QuerySoftmax

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

©MIXI 37 • ランク学習によって、グループ毎に順位を推定することができる Ø レコメンデーションとの相性が◎ • ゲームではクエストやキャラクターなどの情報が増えていく Ø レコメンデーションのニーズが高い ü クエスト(ステージ)レコメンド ü 編成レコメンドランク学習とゲーム内レコメンデーション弊社例

Slide 38

Slide 38 text

Slide 39

Slide 39 text

©MIXI 39 • オッズ予測手法の紹介 Ø 支持率を予測してオッズに変換することで予測 Ø ランク学習を使うことで、出走馬の力関係を考慮した支持率予測を実現 Ø QuerySoftMaxを使うことで比率計算を含んだ損失計算を実現 • ゲームへの応用 Ø ランク学習とゲームレコメンデーション及び弊社事例について Ø オッズ予測手法を応用したゲーム内レコメンデーションの一例まとめ