【D1-6】netkeibaにおける機械学習を用いた競馬オッズ予測手法の開発とその変革 | #MTDC2024 | MIXI TECH DESIGN CONFERENCE 2024

━━━━━━━━━━━━━━━━━━━━━━━━━━━━
MIXI TECH DESIGN CONFERENCE 2024 - SESSION ARCHIVE
━━━━━━━━━━━━━━━━━━━━━━━━━━━━
3/18(月) 16:00 〜 16:20｜D1-6

netkeibaにおける機械学習を用いた競馬オッズ予測手法の開発とその変革

弊社のグループ会社であるネットドリーマーズでは、競馬情報サイトnetkeibaの運営を行っています。本セッションでは、netkeiba内で提供されている競馬予想オッズ機能の背景技術に焦点を当て、機械学習を活用して精度を大幅に向上させたプロセスと、その変革について詳しくご紹介します。

開発本部 たんぽぽ室 たんぽぽグループ
渡辺 莉央 / Rio Watanabe

────────────────────────────
□セッション情報
https://techcon.mixi.co.jp/2024/d1-6.html
□イベントハッシュタグ
#MTDC2024
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

◇◆◇ Information ◇◆◇
X（旧Twitter）
https://twitter.com/mixi_engineers
MIXI Developers Blog (medium)
https://mixi-developers.mixi.co.jp/
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_engineers/
MIXI Design note
https://note.com/mixi_design/
採用情報
https://mixigroup-recruit.mixi.co.jp/
connpass
https://mixi.connpass.com/
HP
https://mixi.co.jp/

Transcript

1. ©MIXI netkeibaにおける 機械学習を用いた競馬オッズ 予測手法の開発とその変革 氏名: 渡辺 莉央 開発本部 CTO室 たんぽぽ室たんぽぽグループ
2. ©MIXI 自己紹介 • 渡辺 莉央 (2018年新卒) • 開発本部たんぽぽ室たんぽぽグループ • 仕事内容 Ø プロダクトへの機械学習導入検証 Ø AI関連技術の調査および検証 • 趣味 Ø ダーツ Ø テニス Ø サッカー & バスケ観戦 (Liverpool & 千葉ジェッツ)
3. ©MIXI 本日のお品書き • netkeibaと「予想オッズ」 Ø netkeibaについて Ø 従来の予想オッズの仕組み • 競馬オッズについて Ø オッズがわかるメリット Ø 予想オッズの算出方法 • 「予想オッズ」について Ø 「予想オッズ」の問題点 Ø 「予想オッズ」から「予測オッズ」へ • 「予測オッズ」について Ø ベースモデルと現行モデル Ø 精度検証 • まとめ
4. ©MIXI 4 netkeibaと「予想オッズ」
5. ©MIXI 5 netkeibaとは • 国内最大級の競馬情報サイト • 競馬を楽しむためのさまざまな 情報やニュースを公開
6. ©MIXI 6 予想オッズとは • 各レースのページ内で提供している コンテンツのひとつ • (従来の仕様は) ユーザーの事前投票 を用いた「集合知」によって算出
7. ©MIXI 7 競馬オッズについて
8. ©MIXI 8 オッズはどのように決められている のだろう？ Q.
9. ©MIXI 9 50票 43票 32票 25票 0.33％ 0.29％ 0.21％ 0.17％ 2.42倍 2.76倍 3.81倍 4.71倍 オッズ = 払戻率(=0.8) / 支持率 A. オッズは投票比率によって決められます 投票数 支持率 オッズ
10. ©MIXI 10 オッズがわかると何が嬉しい？ Q.
11. ©MIXI 11 A. 馬券購入の指標になります • オッズは、ユーザーが一番わかりやすく 人気/不人気の馬を確認できる指標 • 予想印では、予想家によって印の意味が 異なる可能性があり不正確 順位精度が指標の精度に影響
12. ©MIXI 12 A. 馬券予測の期待値が計算できるようになります 40% 20% 5% 2倍 7倍 20倍 80% 100% 140% × × × オッズ精度が回収率の精度に影響 馬券予測AIの仕組み 勝率 オッズ 回収率 AIオッズ
13. ©MIXI 13 「予想オッズ」について
14. ©MIXI 14 従来の予想オッズ 算出方法 問題点 「俺プロ」での一般投票を元にオッズ算出
15. ©MIXI 15 従来の予想オッズ 算出方法 問題点 • 精度が投票数に左右される 「俺プロ」での一般投票を元にオッズ算出
16. ©MIXI 16 従来の予想オッズ 算出方法 問題点 • 精度が投票数に左右される • 意図的な投票操作をされる可能性がある 「俺プロ」での一般投票を元にオッズ算出
17. ©MIXI 17 「予想オッズ」から「予測オッズ」へ 算出方法 問題点 • 精度が投票数に左右される • 意図的な投票操作をされる可能性がある 「俺プロ」での一般投票を元にオッズ算出 過去のオッズとレース情報からAIでオッズ予測 • 投票数による精度のばらつきが無い • 人為的な影響を受けなくなる ↳ ↳
18. ©MIXI 18 「予測オッズ」について
19. ©MIXI 19 予測オッズ開発の変革 : ベースモデル概要 AIに学習させる値(ラベル) 概要 前処理 モデル 後処理 馬/騎手/場に対して統計/カテゴリ変換等を行う(詳細は割愛) LightGBMを用いた回帰予測(支持率の数値を出力) レース毎に比率に直した後オッズに変換 オッズ 支持率
20. ©MIXI 20 ラベルに支持率を採用している理由 オッズ 支持率 • 値が小さいほどより上位の人気馬 Ø オッズが1倍に近づくと共に、予測値が負値に近づく • 後処理での比率計算がしづらい ü 値が大きいほどより上位人気の馬となる Ø オッズが1倍に近づくと共に、予測値が負値から遠ざかる ü 後処理での比率計算がしやすい
21. ©MIXI 21 予測オッズ開発の変革 : ベースモデル 構成図
22. ©MIXI 22 ベースモデル 学習/予測フロー
23. ©MIXI 23 • 単体予測であり、レースでの力関係が考慮されていない • 後処理で出力調整をしているため、予測値とラベル値が一致しない • 下位順位になるほど、予測値が負値になる可能性が高くなる Ø 予測オッズが100倍の場合、学習する支持率のラベルは0.008となる ベースモデルの問題点
24. ©MIXI 24 • 単体予測であり、レースでの力関係が考慮されていない • 後処理で出力調整をしているため、予測値とラベル値が一致しない • 下位順位になるほど、予測値が負値になる可能性が高くなる Ø 予測オッズが100倍の場合、学習する支持率のラベルは0.008となる ベースモデルの問題点 ↳ ↳ ↳ ランク学習を導入する モデル内で比率計算を行えるような構成にする 出力値に負値が含まれないようにする
25. ©MIXI 25 • • • Ø 改善手法 QuerySoftmaxを用いた 支持率予測
26. ©MIXI 26 • CatBoostで提供されているランク学習アルゴリズムの一種 • グループ内のTop1を予測する際に使用される • 最終出力がグループ内の確率値になることを利用し、支持率を予測 QuerySoftmaxとは 1 0 0 0.6 0.3 0.1 文章のTop1を予測する場合 レースの支持率を予測する場合 0.47 0.31 0.22 0.50 0.27 0.23
27. ©MIXI 27 • 損失計算の主要部分はCross Entropy Ø y=-log(x) 0<x<1 では、値が1に近づくにつれて(誤差の)減少率が下がる 順位予測モデルによるRank Weight 支持率が低い馬(=下位人気馬)の誤差改善を優先してしまう… ↳ 順位予測モデルを追加し、重み付けすることで 支持率が高い馬(=上位人気馬)を優先するように のグラフ
28. ©MIXI 28 予測オッズ開発の変革 : 現行モデル 概要 AIに学習させる値 概要 前処理 モデル 後処理 馬/騎手/場に対して統計/カテゴリ変換等を行う(詳細は割愛) 1. CatBoostを用いた順位予測(PairLogit) 2. CatBoostを用いた支持率予測(QuerySoftmax) 出力値をオッズに変換 (比率変換は不要) オッズ 支持率
29. ©MIXI 29 現行モデル 構成図
30. ©MIXI 30 現行モデル 学習/予測フロー
31. ©MIXI 31 モデルの評価 実オッズと予測オッズの二乗平均平方根誤差(RMSE) • 全レースに対するRMSEの比較 従来の 予想オッズ ベースモデル 現行モデル
32. ©MIXI 32 モデルの評価 実オッズと予測オッズの二乗平均平方根誤差(RMSE) • 重賞レースに対するRMSEの比較 従来の 予想オッズ ベース モデル 現行モデル
33. ©MIXI 33 モデルの評価 実オッズと予測オッズの二乗平均平方根誤差(RMSE) • 新馬戦に対するRMSEの比較 従来の 予想オッズ ベース モデル 現行モデル
34. ©MIXI 34 • 予想オッズと現行モデルの順位の正解率を比較 モデルの評価 実オッズと予測オッズの順位に対する正解率(Accuracy)
35. ©MIXI 35 まとめ • 予想オッズ改善の背景について Ø 集合知による「予想オッズ」からAIによる「予測オッズ」にすることで、 投票数や人為的な操作を受け付けないように • 予測オッズ手法について Ø 支持率を予測して、後処理でオッズに変換することでオッズを予測 Ø ランク学習を用いることで、出走馬の力関係を考慮した支持率予測に対応 Ø QuerySoftmaxを用いることで、比率計算を含んだ損失計算に対応 Ø 数値精度、および順位精度において、従来モデルより高精度に
36. ©MIXI