KDD2021読み会

社内で行われたKDD2021読み会で以下の3本の論文の議論を行った資料です

マーケット + 他の株からの相互作用を考慮した株価予測
Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts

多重解像度の過去データを入力にして天候予測
Micro-climate Prediction - Multi Scale Encoder-decoder based Deep Learning Framework

強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る
Globally Optimized Matchmaking in Online Games

Transcript

1. マーケット + 他の株からの相互作用を考慮した株価予測
   Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts
   多重解像度の過去データを入力にして天候予測
   Micro-climate Prediction - Multi Scale Encoder-decoder based Deep Learning Framework
   強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る
   Globally Optimized Matchmaking in Online Games
   KDD2021読み会
   

   View Slide

2. Accurate Multivariate Stock Movement Prediction via
   Data-Axis Transformer with Multi-Level Contexts
   一言で: マーケット + 他の株からの相互作用を考慮した株価予測
   超シンプルに、
   ● 過去の市場全体の株
   価リストを入力にして
   ● 翌日株価が上がるかど
   うか
   を当てる
   もっとたくさんやられてる問題だと思った
   

   View Slide

3. 過去の株価変動をLSTMで吸収
   マーケット指標モ
   デルとそれぞれ
   結合
   銘柄同士の相互作用
   上がるか
   下がるか
   

   View Slide

4. 投資シミュレーション
   各国のデータを使ってこのシス
   テムを使った場合の投資シミュ
   レーション(毎日予測値top3に
   リバランスするというシンプル
   なもの)
   既存手法は突然大失敗する日
   がある
   -> 株価同士・マーケットとの相
   対的な値を見ていないからだ
   と説明(負けてるときに頑張っ
   てる株が評価されない？)
   

   View Slide

5. Micro-climate Prediction - Multi Scale Encoder-decoder
   based Deep Learning Framework
   一言で: 多重解像度の過去データを入力にして天候予測
   Microsoft Research
   Azure Farmbeatsという農業用
   センサデータ可視化platformが
   ある
   -> このデータを元に局所的な天
   候予測
   

   View Slide

6. 解像度ごとのモデル
   (ちなみにlong scaleはこの時
   点でもLSTMをかませる)
   複数レベルのWaveletを用いて
   多重解像度の時間周波数画像
   を得る
   

   View Slide

7. 複数時間解像度の混合モデルであることで、バースト的な値にも綺麗に追従
   

   View Slide

8. Globally Optimized Matchmaking in Online Games
   一言で: 強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る
   Netease社 Fuxi AI Lab
   

   View Slide

9. View Slide

10. 既存のオンラインマッチは
    1. ユーザー単位のElo ratingなど
    をつける
    2. いまいるプレイヤーの中から、
    Elo ratingが近いプレイヤーを
    分ける感じでgreedyに2チーム
    にする
    あくまでもbyユーザーのスコアの上での最適化
    

    View Slide

11. マッチしてみないといいマッチかわからない報酬が疎な問題 -> 強化学習で解こう

    TeamAとTeamBにすでに選ばれたメンバー

    残りの人から次に誰をTeamAまたはBにいれるか

    ドラフト方式

    マッチ毎に決まるものなら自由だが、例えば点差

    

    View Slide

12. テクニック
    プレイヤーの特徴量はもちろんゲームによって異なるし、ドメインエキスパート
    が設計
    リリース時にハチャメチャな挙動をしないように、オフライン事前学習
    * 1. すでに行われたマッチ結果を使って疑似報酬関数を作る
    * (TeamA, TeamB) -> 予想点差モデル
    * 2. ↑の報酬関数を最大化するように一旦オフラインで強化学習
    * 3. 最終的にリリースして実点差を使ってfine-tune
    

    View Slide

13. 結果
    ところで、Netease Fuxi AI LabはよくFeverBasketballを使ってるようで、強化学習で FeverBasketをやるエージェントも公開
    してる
    https://github.com/FuxiRL/FeverBasketball
    実環境にデプロイしての効果検証
    (100,000試合以上)
    Original(ゲーム内の実実装)よりも点
    差が小さくなった
    

    View Slide