論文「時系列数値データにおける変化要因の記述」の再現

Chainer Meetup #08 Lighting Talk資料
https://chainer.connpass.com/event/106292/

Transcript

1. Robot as a Service 論文「時系列数値データにおける 変化要因の記述」の再現 2018年9月29日 ロボット投信株式会社
2. Robot as a Service 時系列数値データにおける変化要因の記述 2 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 • 青木 竜哉, 宮澤 彬, 青木 花純, 五島 圭一, 小林 一郎, 高村 大 也, 宮尾 祐介 • 言語処理学会 第24 回年次大会 (2018) • 発表論文集 p372-375 • http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/A 3-1.pdf • 日経平均株価のヘッドラインを生成する • 外部要因への言及文も生成する • Encoder-Decoder型ネットワーク
3. Robot as a Service 指標値を扱うコンポーネント 3 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 標準偏差 終値差分 256次元 128次元 全層結合 全層結合 標準偏差と終値差分の2つの実数を128次元の特徴ベクトルに変換
4. Robot as a Service 指標値処理の大まかな流れ 4 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018
5. Robot as a Service 外部指標の扱い 5 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018
6. Robot as a Service 市況説明デコーダ 6 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018
7. Robot as a Service データセット 7 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 • 日経平均終値に関するヘッドライン • 2013年2月〜2018年6月 • 論文では2011年〜2016年を使用 • 公開されたものではない • 1200件程度 • mecabを用いて単語分割 • 日経平均の1日の値動き情報 • 5分単位 • 外部指標の終値情報 • 東証株価指数、ダウ平均、円ドル等
8. Robot as a Service 生成例 8 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 • 数値以外はおおむね良好 • 数値の連続を一つの単語としているためこのままでは正確な値 にはならない # source : 日経 平均 、 急 反発 大引け は 471 円 高 の 1 万 9378 円 # result : 日経 平均 、 反発 大引け は 315 円 高 の 1 万 6807 円 # source : 日経 平均 、 小幅 続落 大引け は 28 円 安 の 2 万 0110 円 # result : 日経 平均 、 小幅 続落 大引け は 36 円 安 の 1 万 4018 円
9. Robot as a Service 正しくない生成例 9 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 # source : 日経 平均 、 続伸 大引け は 133 円 高 の 1 万 8797 円 # result : 日経 平均 、 反発 大引け は 228 円 高 の 1 万 6693 円 # source : 日経 平均 、 反落 大引け は 135 円 安 の 2 万 2261 円 # result : 日経 平均 大引け 、 反落 利益 確定 売り で 個別 株 物色 支え に 底堅 さ • 「続伸」を期待しているが「反発」が生成されている • 1日前の情報は持っていない •根拠不明な解説文を出力 • 訓練データでたまたま合致したものをそのまま出力した可能性が高 い
10. Robot as a Service 正しいかどうか不明 10 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 # source : 日経 平均 、 続落 大引け は 103 円 安 の 1 万 8787 円 # result : 日経 平均 大引け 、 反落 米 株 安 で 売り 先行 、 様子見 姿勢 も 強まる # source : 日経 平均 、 4 日 ぶり 反落 91 円 安 の 2 万 0138 円 # result : 日経 平均 大引け 、 3 日 ぶり 反落 円 高 ・ ドル 安 が 利益 確定 売り 誘う •円ドル指標は参照しているので正しい可能性もある
11. Robot as a Service 訓練データに外部指標外の情報がある 11 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 # source : 日経 平均 大引け 続落 108 円 安 米 補選 結果 を 嫌気 # result : 日経 平均 大引け 、 反落 58 円 安 、 FOMC 前 に 利益 確定 の 動き # source : 日経 平均 、 18 年 は 2 万 7000 円 も 視野 ・ 壁谷 氏 米 ダウ 平均 と 水準 逆転 も # result : 日経 平均 、 反落 大引け は 27 円 安 の 1 万 4457 円 •このようなデータは訓練対象から外したほうが良い # source : 日経 平均 、 3 日 続伸 大引け は 27 円 高 の 2 万 2550 円 # result : 日経 平均 、 4 日 続伸 大引け は 20 円 高 の 1 万 9879 円 •1日と1週間の情報しかないので「～日続伸(続落)」は正しく出せない
12. Robot as a Service 課題 12 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 • 数値に関しては正確な表現が必要 • 訓練データの「 391 円 高 の 1 万 5195 円」などの表現を「<差 分> の <終値>」に置き換える • 出力時に正確な値を算出して代入 • 外部指標と無関係の文言の削除 • こればかりは人力が必要 • 相対的な日付への言及 • 案1: 文言の削除 • 案2: 外部指標にn日分のデータを追加する • 意味が反対の単語出力を抑制 • 反落、続落、反発、続伸などについては1日前のデータが必要と 予想 • 事前訓練の実施 • 適切なタスクの選定が必要
13. Robot as a Service 論文での評価 13 Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018 • 客観的な指標値としてBLEUを用いている • 同じような単語がある程度あればスコアは上昇する • 「～日ぶり続伸」といった表現 • 日数が合っていなくてもほかの部分が合っていれば高スコアになる • 意味についての評価が実運用には必要 • 客観指標として使えるものがあるかどうかは不明 • 存在していればどこかの論文で目に触れるはずなのでおそらく ない • 翻訳についてはGooge, MS等は人間の評価との比較も行ってい る(主観評価) • ルールベース手法 • 外部指標への参照をしない範囲ではこちらのほうが確実
14. Robot as a Service Copyright © Robot Fund Co., Ltd. All Rights Reserved 2018