$30 off During Our Annual Pro Sale. View Details »

KDD2021読み会

Keisuke OGAKI
September 13, 2021

 KDD2021読み会

社内で行われたKDD2021読み会で以下の3本の論文の議論を行った資料です

マーケット + 他の株からの相互作用を考慮した株価予測
Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts

多重解像度の過去データを入力にして天候予測
Micro-climate Prediction - Multi Scale Encoder-decoder based Deep Learning Framework

強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る
Globally Optimized Matchmaking in Online Games

Keisuke OGAKI

September 13, 2021
Tweet

More Decks by Keisuke OGAKI

Other Decks in Technology

Transcript

  1. マーケット + 他の株からの相互作用を考慮した株価予測
    Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts
    多重解像度の過去データを入力にして天候予測
    Micro-climate Prediction - Multi Scale Encoder-decoder based Deep Learning Framework
    強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る
    Globally Optimized Matchmaking in Online Games
    KDD2021読み会

    View Slide

  2. Accurate Multivariate Stock Movement Prediction via
    Data-Axis Transformer with Multi-Level Contexts
    一言で: マーケット + 他の株からの相互作用を考慮した株価予測
    超シンプルに、
    ● 過去の市場全体の株
    価リストを入力にして
    ● 翌日株価が上がるかど
    うか
    を当てる
    もっとたくさんやられてる問題だと思った

    View Slide

  3. 過去の株価変動をLSTMで吸収
    マーケット指標モ
    デルとそれぞれ
    結合
    銘柄同士の相互作用
    上がるか
    下がるか

    View Slide

  4. 投資シミュレーション
    各国のデータを使ってこのシス
    テムを使った場合の投資シミュ
    レーション(毎日予測値top3に
    リバランスするというシンプル
    なもの)
    既存手法は突然大失敗する日
    がある
    -> 株価同士・マーケットとの相
    対的な値を見ていないからだ
    と説明(負けてるときに頑張っ
    てる株が評価されない?)

    View Slide

  5. Micro-climate Prediction - Multi Scale Encoder-decoder
    based Deep Learning Framework
    一言で: 多重解像度の過去データを入力にして天候予測
    Microsoft Research
    Azure Farmbeatsという農業用
    センサデータ可視化platformが
    ある
    -> このデータを元に局所的な天
    候予測

    View Slide

  6. 解像度ごとのモデル
    (ちなみにlong scaleはこの時
    点でもLSTMをかませる)
    複数レベルのWaveletを用いて
    多重解像度の時間周波数画像
    を得る

    View Slide

  7. 複数時間解像度の混合モデルであることで、バースト的な値にも綺麗に追従

    View Slide

  8. Globally Optimized Matchmaking in Online Games
    一言で: 強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る
    Netease社 Fuxi AI Lab

    View Slide

  9. View Slide

  10. 既存のオンラインマッチは
    1. ユーザー単位のElo ratingなど
    をつける
    2. いまいるプレイヤーの中から、
    Elo ratingが近いプレイヤーを
    分ける感じでgreedyに2チーム
    にする
    あくまでもbyユーザーのスコアの上での最適化

    View Slide

  11. マッチしてみないといいマッチかわからない報酬が疎な問題 -> 強化学習で解こう

    TeamAとTeamBにすでに選ばれたメンバー

    残りの人から次に誰をTeamAまたはBにいれるか

    ドラフト方式

    マッチ毎に決まるものなら自由だが、例えば点差


    View Slide

  12. テクニック
    プレイヤーの特徴量はもちろんゲームによって異なるし、ドメインエキスパート
    が設計
    リリース時にハチャメチャな挙動をしないように、オフライン事前学習
    * 1. すでに行われたマッチ結果を使って疑似報酬関数を作る
    * (TeamA, TeamB) -> 予想点差モデル
    * 2. ↑の報酬関数を最大化するように一旦オフラインで強化学習
    * 3. 最終的にリリースして実点差を使ってfine-tune

    View Slide

  13. 結果
    ところで、Netease Fuxi AI LabはよくFeverBasketballを使ってるようで、強化学習で FeverBasketをやるエージェントも公開
    してる
    https://github.com/FuxiRL/FeverBasketball
    実環境にデプロイしての効果検証
    (100,000試合以上)
    Original(ゲーム内の実実装)よりも点
    差が小さくなった

    View Slide