AIで株をやる！～株の売り買いを深層強化学習で予想

Transcript

1. GMOインターネット株式会社 次世代システム研究室 AIで株をやる！ ～株の売り買いを深層強化学習で予測～

2. 1 ▪目次 ▪ 概要と本研究目的 ▪ 深層強化学習（Deep Q-Network） •Prioritised Experience Replay

   •Dueling Architecture ▪ 株式市場のマーケットインパクト ▪ 実践 ▪ まとめ

3. 2 たくさんお金を増やしたいですか？

4. 3 お金を増やす方法の一つは株式投資ですね～ [PR]安い手数料で スマホアプリも使いやすい 株が儲かれば、たくさんお金が増えていきます～

5. 4 お金を増やす方法の一つは株式投資ですね しかし、 株価はこんな感じで上がったり、下がったり いつ買って売れば儲けられるか？

6. 5 過去の株価 データ 株の売り買い 過去の株価情報を使って、 株の売り買いを予測できないか？ データが複雑で予測が難しい

7. 6 AI 最近、人工知能（AI）が進化してきて、 人が見出だせないことを 「データから見つける」能力が高くなっ てきました 答えの発見

8. 7 深層強化学習によりAIは全ての行動を最適化。 その結果、ゲームで人間を打ち負かすように！ その後も関連技術と共に大きく発展しています

9. 8 ▪本研究の目的 最先端の深層強化学習によるAIで、 株式市場の情報を学習し、 株の売買で儲けられるかチャレンジ

10. 9 深層強化学習 深層強化学習 （深層学習＋強化学習）

11. 10 深層強化学習 深層強化学習 （深層学習＋強化学習）

12. 11 Ref: https://www.cs.utexas.edu/~eladlieb/RLRG.html ▪強化学習とは、 状態 行動 報酬 報酬が良い行動に最適化するように試行錯誤する 機械学習アルゴリズム 環境

    Agent（=ねずみ）が迷路（＝環境）での状態をもとに、報酬（＝チ ーズ）が最も高くなるように、最適な行動するよう学習させるケース

13. 12 Ref: https://www.cs.utexas.edu/~eladlieb/RLRG.html ：環境のどこにいるか ：左右どちらに進むか ：チーズをもらえる、もらえない ▪強化学習 行動 報酬 状態

    ：迷路 環境 Agent:ねずみ

14. 13 ▪強化学習 環境情報（＝迷路に関する情 報）が一通りあれば、環境モデ ルを作って、多くの報酬をもらえる ように行動を最適化できる ：環境のどこにいるか ：左右どちらに進むか ：チーズをもらえる、もらえない 状態

    行動 報酬 Ref: https://www.cs.utexas.edu/~eladlieb/RLRG.html

15. 14 ▪強化学習 今回は株なので、環境は迷路 ではなく株式市場。 １社の株価データ（状態）の 取得は簡単ですが、株式市場 全体のデータ（環境）の取得 が難しい 株をやりたい ？

    ：環境のどこにいるか ：左右どちらに進むか ：チーズをもらえる、もらえない 状態 行動 報酬

16. 15 強化学習の代表的なアルゴリズムの Q-learning を利用 目的：環境情報を必要とせず、最終的な報酬を最適化 ▪Q-learning どうやって？ ？

17. 16 ▪Q-learning Ludvig et al, Computational Neuroscience for Advancing Artificial

    Intelligence, 2011 各状態で 報酬 最終的に一番良い報酬 [Q値(Quality値)]となるような 最適な行動を学習します。 全ルートを試す必要あるか？

18. 17 ▪Q-learningの学習ステップ ① ランダムに行動（学習） • 最終的な報酬を記録 株になると、複雑なネットワークになる +2 +3 +5

    ② 報酬が高いルートの近くを選んで行動 • 新たに得られた最終的な報酬を記録 ③ 最終的な報酬が良くなるよう、繰り返す

19. 18 深層強化学習 深層強化学習 （深層学習＋強化学習）

20. 19 ▪深層学習(Deep Learning)とは 多層のニューラルネットワークによる機械学習 入 力 デ ー タ 出

    力 デ ー タ 入力層 隠れ層 出力層 層を重ねることで複雑処理が可能 脳神経のような 複雑なネットワークで 複雑なパターン認識。 解決手法を学習

21. 20 ▪Deep Q-Network (DQN) 深層学習(Deep Learning)と 強化学習(Q-learning)を組み合わせた深層強化 学習の一つが、Deep Q-Network (DQN)

    株の売り買いにも使えそうですね～

22. 21 DEMO 深層強化学習で株の売り買い

23. 22 行動： 買い、売り、 何もしない 状態：株価 報酬：儲け 儲けられるか、やってみましょう！ ？

24. 23 ▪深層強化学習がちゃんと学習したか？

25. 24 ▪深層強化学習がちゃんと学習したか？ 学習回数 儲 け 儲けが増えませんでしたね～

26. 25 この学習はうまく行かなかった～ 残念

27. 26 この科学論文によると、Deep Q-Networkは Dueling ArchitectureとPrioritised Experience Replayという機能を組み合わせれば、 学習精度が上がる！ どうしようか？ なんとかしましょう！

    論文 発見！ Wang et al, 2016: arXiv:1511.06581 [cs.LG]

28. 30 優先順位を付けて 学習するので、 最終報酬がよくなると 期待できます。 C A B 優先順位 ▪Prioritised

    Experience Replay（優先順位付き経験再生） Schaul et al, 2016: arXiv:1511.05952 [cs.LG]

29. 31 ▪Dueling Architecture（デュエリングアーキテクチャ） Wang et al, 2016: arXiv:1511.06581 [cs.LG] 学習アーキテクチャ（有意な行動Aを追加）を

    改良することで、学習精度がよくなると期待できます 従来 V Q V A 最新 Q

30. 33 ▪深層強化学習のまとめ • 深層強化学習（Deep Q-Network: DQN） • 強化学習に深層学習を組み合わせることで複雑な 状態のデータに対応することが可能に •

    DQNに追加機能 • Prioritised Experience Replay • Dueling Architecture  計算時間が早くなる  学習精度がよくなる

31. 34 行動： 買い、売り、 何もしない 状態：株価 報酬：儲け 儲けられるか、再度やってみた。 ▪深層強化学習と２つ機能追加でのテスト 前回より結果が良くなったが、うまく行かなかった～

32. 35 また、 残念でしたね...!

33. 36 株価は上がったり、下がったり、 よくわからない動きなので、 深層強化学習が株価を学習できない 代わりに、 株価に影響するもの、だったら？

34. 37 株式市場 マーケットインパクト

35. 38 ▪マーケットインパクトとは 会社の業績などから投資家が一斉に買ったり売ったり すると株価に影響が出ること 株 買いたい 売りたい 買いたい 売りたい 株価上昇

    株価下落

36. 39 ▪マーケットインパクトから株価の変動を予測 λ = ∆株価 出来高 出 来 高 株価の

    変化 マーケット インパクト 実際に売買された 取引量＝出来高 マーケットインパクト発生時、この出来高を見るこ とで、ある程度の株価変動を予測できる可能性 がある。

37. 42 実践 それでは出来高と株価の変化を学習して、 深層強化学習で売り買いしてみましょう！

38. 43 ▪深層強化学習の流れ 出来高 買い 出来高 売り 出来高 始値差 深層強化学習（DQN) 学習

    終了 評価 繰り返し学習 不 十 分 十分 行動 状態 報酬 最終報酬 （儲け）

39. 44 ▪深層強化学習の流れ 出来高 買い 出来高 売り 出来高 始値差 深層強化学習（DQN) 学習

    終了 評価 繰り返し学習 不 十 分 十分 行動 状態 報酬 最終報酬 （儲け）

40. 45 ▪データ：Yahoo ファイナンス 出来高と株価をDQNで検討するため、 いろいろな大型株を検索し、 変動が多い株を選択～

41. 46 ▪データ：Yahoo ファイナンス ▪ 7201-日産自動車（大型株） •2016年のデータ（1/1～12/31） •株価（始値、終値）と出来高をダウンロード

42. 47 ▪データ：Yahoo ファイナンス ▪ 7201-日産自動車（大型株） データ一年分の70%は 学習データ データの一年分30%は 評価データ •2016-01-01から、2016-12-31までを選び

    •株価（始値、終値）と出来高をダウンロード データを期間によって、学習用と評価用の ２グループに分けて使いました

43. 49 ▪深層強化学習の流れ 出来高 買い 出来高 売り 出来高 始値差 深層強化学習（DQN) 学習

    終了 評価 繰り返し学習 不 十 分 十分 行動 状態 報酬 最終報酬 （儲け） データ準備 完了

44. 50 ▪深層強化学習の流れ 出来高 買い 出来高 売り 出来高 始値差 深層強化学習（DQN) 学習

    終了 評価 繰り返し学習 不 十 分 十分 行動 状態 報酬 最終報酬 （儲け）

45. 51 ▪深層強化学習の行動（株の売り買い） 今回は一日ごとに評価したいので、 一日で儲けが確定する方法（デイト レード）で深層強化学習を実施

46. 52 ▪一日で儲けを確定（デイトレード） 始値で買い終値で売る。終値 – 始値 = 儲け。 日をまたがず儲けを確定させる 一日の 値動き

    高値 終値 始値 安値 高値 始値 終値 安値 上がる （儲かる） 下がる （損する） ローソク足一本＝一日

47. 53 ▪デイトレードにおける状態・行動・報酬 行動： 買う、買わない 状態： 出来高、買い出来高、売り出来高、始値差 報酬：儲け (終値 – 始値)

    • 買った日に必ず売って儲けを確定させる前提としているので、 売り行動をなくして学習をシンプルに

48. 54  マシンスペック  GPU : NVIDIA GeForce GTX 1070

     言語環境  Python 3.5  ツール  深層強化学習 OpenAI Gym  Prioritised Experience Replay OpenAI Baselines  Dueling Architecture TensorFlow ▪検証環境

49. 55 実行

50. 56 まず、精度を確認 最初から、言ったような、深層強化学習は ランダム処理が入っているため、ちゃんと 同じ答えが再現できるとは限らないです。 なので、 計算を100回繰り返します～

51. 57 ▪DQN Performance確認→100回繰り返し 儲け（％） 確 率 ランダムトレード 深層強化学習 2.73±3.60 -21.47±99.64

    Duel = Dueling Architecture、Pri = Prioritised Experience Replay random = ランダムトレード （同じ期間で10-50回売買）

52. 58 株の売り買い結果を 細かくみてみしょう！

53. 59 ▪日産自動車2016年の株価 日付 株 価 学習データ 一年分の70%

54. 60 学習回数が増えると 報酬が増えている 学習回数 報 酬 うまく学習できている！ ▪深層強化学習がちゃんと学習したか？

55. 61 ▪日産自動車2016年の株価 日付 株 価 学習できた 評価

56. 62 評価データ 日付 株 価 始値で買い、終値で売り 買うと儲け 買うと損 深層強化学習はどう行動する？

57. 63 収益：3.41% 100万を投資すると、3万で利益。 銀行の利益よりよい～ ちゃんと株価が上がる日を選択してくれた 日付 株 価 買って儲けた 買って損した

    買わなかった

58. 64 ちょっと、待って、 わざと株が上がりしやすい時期を 選んで評価したのでは？

59. 65 時期をずらしてみる

60. 67 １Q分ずらす 2016年データを 2016-04-01～2017-03-30に 学習 評価 日付 株 価

61. 68 赤ローソクが多く、株の景気がよくないね 日付 株 価 深層強化学習はどう行動する？ 買うと儲け 買うと損

62. 69 日付 株 価 収益：0.75% 間違い（損）があるが、ちゃんと収益をとった 買って儲けた 買って損した 買わなかった

63. 70 さらに時期をずらして学習 を評価してみましょう！

64. 71 2016年データを 2016-07-01～2017-06-30に ２Q分ずらす 学習 評価 日付 株 価

65. 72 株の変動がよくわからないね～ 日付 株 価 買うと儲け 買うと損 深層強化学習はどう行動する？

66. 73 収益：1.98% 日付 株 価 また、ちゃんと収益をとったね～ 買って儲けた 買って損した 買わなかった

67. 74 出来高と株価の変化（マーケットインパクト情 報）をもとにある程度、大型株を学習できて、 株の売り買いすべきタイミングも予測し、 なかなかよかった！

68. 75 ちなみに、 GMOインターネット株は？

69. 76 DEMO GMOインターネットの株

70. 77 株価データをダウンロード

71. 78 学習 評価 日付 株 価  データを期間によって、２グループに分け 一年分の 70%

    一年分の 30%

72. 79 株価と出来高を 深層強化学習のプログラム に入力し、学習開始

73. 80 学習が終わりました

74. 82 収益：8.87% 間違いはまだありますが、 ちゃんと収益を取れましたね！ GMOインターネット売り買いの評価 日付 株 価 買って儲けた 買って損した

    買わなかった

75. 83 ▪まとめ マーケットインパクト • 出来高 • 株価の変化 深層強化学習（Deep Q-Network） •

    Prioritised Experience Replay • Dueling Architecture 株の売り買いを深層強化学習で予測 わかったこと • 深層強化学習と株価を入力データにして売り買いの予測は難しい • 株価と出来高は因果関係があった • デイトレードで出来高と株価の変化の組み合わせで、株の売り買い の予測は可能に まだ、できなかったこと • 予測の精度と再現性を改良する必要

76. 84 ご清聴ありがとうございました！