レヴィ過程の経験尤度推定の紹介

Transcript

1. レヴィ過程の経験尤度推定 [1] の紹介 2019 年 10 月 10 日 三原 千尋
2. 目次 1. はじめに 2. 安定分布に対する経験尤度法 3. 最大経験尤度推定量の漸近的性質 4. 経験尤度を用いた検定 5. レヴィ過程の推定 6. 推定方程式 7. シミュレーション 8. まとめ 1
3. はじめに
4. はじめに データを生成した分布を推定する方法で代表的なものに最尤法 があるが、これは確率密度関数のパラメトリックな表式 p(Xk|θ) が手に入っている状況でなければ使用できない。 ˆ θ = argmax θ n k=1 p(Xk|θ) レヴィ過程は等時間間隔ごとの増分が独立に同一の分布 (無限 分解可能分布) にしたがうが、一般にこの確率密度関数は解析 的に記述することができない。 解析的に記述できる分布を仮定することも考えられるが、ファ ットテールな現象のモデリングには安定分布というクラスの分 布を利用したいケースがある。安定分布は一般に確率密度関数 を記述できない。特性関数はパラメトリックに記述できる。 2
5. はじめに 特性関数のパラメータを推定する方法に経験尤度[2][3] を用い る方法がある。 経験尤度法 [4] では、分布の確率密度関数の代わりに、分布上 での期待値が 0 になるべき何らかのパラメトリックな確率変数 g(Xk, θ) で分布を特徴付ける。この θ を推定する。 最適な ˆ θ の推定は以下の手順による。 • 各データ Xk に「経験尤度」pk を割り当てる ( pk ≧ 0, n k=1 pk = 1 )。経験尤度関数は Ln(θ) = n k=1 pk である。 • g(Xk, θ) の経験尤度による分布上の期待値 n k=1 pkg(Xk, θ) が 0 となる制約のもとで、Ln(θ) が最大 になるように {pk} の割り当てを最適化する。 • Ln(θ) が最大になるような θ を推定値とする。 3
6. はじめに 最尤法 ˆ θ = argmax θ n k=1 p(Xk|θ) 経験尤度法 ˆ θ = argmax θ n k=1 pk subject to pk ≧ 0, n k=1 pk = 1, n k=1 pkg(Xk, θ) = 0 4
7. はじめに 特性関数 ϕ(t) ≡ E[eitX] は eitX の期待値なので、これを経験尤 度による分布上の期待値 n k=1 pkeitXk に代えて (経験特性関 数)、これがパラメトリックな特性関数 ϕθ(t) に等しくなるよう 制約 n k=1 pk eitX − ϕθ(t) = 0 を課せば、経験尤度法のスキー ムで特性関数のパラメータを推定することができる (但しこの 制約式の左辺は t の関数である)。 経験尤度法のスキームでのレヴィ過程の推定は Kunitomo (2004) [1] と Chan (2009) [5] によって提案されている。 両者は経験特性関数への制約の仕方が異なり、前者では、t ∈ R からサンプリングした適当な m 点での値を制約し、後者では t ∈ R 内の適当な区間での積分の値を制約している。 以下では前者の手法を紹介する。 5
8. 安定分布に対する経験尤度法
9. 安定分布の特性関数 安定分布の特性関数 ϕθ(t) は以下のようにかける (i は虚数単 位)。 ϕθ(t) = exp −|γt|α + iδt + iβγt |γt|α−1 − 1 tan πα 2 ϕR θ (t) と ϕI θ (t) を特性関数の実部と虚部とすれば、 ϕR θ (t) = e−|γt|α cos δt + βγt |γt|α−1 − 1 tan πα 2 ϕI θ (t) = e−|γt|α sin δt + βγt |γt|α−1 − 1 tan πα 2 とかける。θ = (α, β, γ, δ) が推定対象である。パラメータ空間 は以下である。 Θ = {0 < α ≦ 2, −1 < β ≦ 1, 0 < γ, δ ∈ R} 6
10. 安定分布の特性関数による制約 経験特性関数 n k=1 pkeitXk = n k=1 pk etX が先の安定分布の 特性関数 ϕθ(t) に一致するようにしたい。そこで、相異なる m 点 t1, t2, · · · , tm での値が一致するようにする。 つまり、以下のような 2m 次元のベクトルの経験尤度 {pk} に よる期待値 n k=1 pkg(Xk, θ) がゼロベクトルになるようにする。 g(Xk, θ) =            cos(t1Xk) − ϕR θ (t1) . . . cos(tmXk) − ϕR θ (tm) sin(t1Xk) − ϕI θ (t1) . . . sin(tmXk) − ϕI θ (tm)            (2.4) 7
11. 最適化 以下の最適化問題を解くことになる。 ˆ θ = argmax θ n k=1 npk subject to pk ≧ 0, n k=1 pk = 1, n k=1 pkg(Xk, θ) = 0 この最適化問題のラグランジュ関数は以下となる。 µ ∈ R, λ ∈ R2m はラグランジュ乗数である。 Ln(θ) = n k=1 log(npk) − µ n k=1 pk − 1 − nλ⊤ n k=1 pkg(Xk, θ) min µ, λ max θ Ln(θ) が双対問題である。 8
12. 最適化 Ln(θ) = n k=1 log(npk) − µ n k=1 pk − 1 − nλ⊤ n k=1 pkg(Xk, θ) したがって、 ∂Ln(θ) ∂pk = 0 ⇒ 1 pk = µ + nλ⊤g(Xk, θ) (k = 1, · · · , n) より、この式の両辺に pk をかけて k について和をとれば ˆ µ = n を得る。よって ˆ pk = n−1 1 + λ⊤g(Xk, θ) −1 である。 また、λ = λ(θ) は n k=1 ˆ pkg(Xk, θ) = 0 を満たす。 9
13. 最適化 ここで、もし 2m × 2m 行列 n−1 n k=1 g(Xk, θ)g(Xk, θ)⊤ が正定 値で pk ≧ 0 ならば、以下も正定値になる。 ∂2 ∂λ∂λ⊤ − 1 n n k=1 log 1 + λ⊤g(Xk, θ) = 1 n n k=1 g(Xk, θ)g(Xk, θ)⊤ [1 + λ⊤g(Xk, θ)]2 よって、λ = λ(θ) は以下の括弧内の式の唯一の最小点となる。 λ(θ) = argmin λ − 1 n n k=1 log 1 + λ⊤g(Xk, θ) なのでラグランジュ乗数 µ, λ は特定でき、結局以下の対数尤度 関数 ln(θ) を最大化する ˆ θ を探せばよい。 ln(θ) = log n k=1 n ˆ pk = − n k=1 log 1 + λ(θ)⊤g(Xk, θ) これは通常二段階のプロセスで最適化される [6]。 10
14. 最大経験尤度推定量の漸近的性質
15. 最大経験尤度推定量の漸近的性質 前節の安定分布のパラメータの最大経験尤度推定量 ˆ θ は、真の パラメータがパラメータ空間内の特殊なところになければ、 n → +∞ で以下の漸近的性質をもつ。 • 一致性と漸近正規性をもつ (定理 2.1)。 • さらに、m = [n1 3 −η] ([c] は c を超えない最大の整数、 0 < η < 1/3) とし、tl = Kl/m (K は正定数) とすれば、 漸近有効性ももつ (定理 2.2)。 11
16. 最大経験尤度推定量の漸近的性質 定理 2.1 X1 , · · · , Xn を独立に同一の安定分布 Fθ (·) にしたがう確率変数と し、真のパラメータ θ0 = (α0 , β0 , γ0 , δ0 ) は θ0 ∈ Int(Θ1 ) とする。 Θ1 = {(α, β, γ, δ) | ϵ ≦ α ≦ 1 − ϵ ∨ 1 + ϵ ≦ α ≦ 2, − 1 ≦ β ≦ 1, ϵ ≦ γ ≦ M} このとき、最大経験尤度推定量 ˆ θn = argmaxθ Rn (θ) と Rn (θ) = n k=1 npk n k=1 pk g(Xk , θ) = 0, pk ≧ 0, n k=1 pk = 1 以下の解であるラグランジュ乗数ベクトル ˆ λn は 1 n n k=1 g(Xk , ˆ θn ) 1 + ˆ λ⊤ n g(Xk , ˆ θn ) = 0 n → +∞ で以下にしたがう。 12
17. 最大経験尤度推定量の漸近的性質 定理 2.1 (承前) √ n ˆ θn − θ0 ˆ λn d − → N4+2m 0 0 , Ωm O O Γm 但し、Φθ = ϕR θ (t1 ), · · · , ϕR θ (tm ), ϕI θ (t1 ), · · · , ϕI θ (tm ) ⊤、 Bm (θ) = ∂Φθ,i ∂θj 、Am (θ) = Eθ g(X1 , θ)g(X1 , θ)⊤ として、 Ωm = B⊤ m (θ0 )Am (θ0 )−1Bm (θ0 ) −1 Γm = Am (θ0 )−1 Am (θ0 ) − Bm (θ0 )Ωm Bm (θ0 )⊤ Am (θ0 )−1 と定義する。Am (θ) の (i, j) 成分は以下で与えられる。 13
18. 経験尤度を用いた検定
19. 経験尤度を用いた検定 経験尤度を用いた検定を構成することもできる。 定理 2.3 14
20. レヴィ過程の推定
21. レヴィ過程 Zν をレヴィ過程とする。簡単のため νi = i (i = 0, 1, · · · , n) と し、Xi = Zνi − Zνi−1 とすれば、{Xi} は無限分解可能分布にし たがい、その特性関数は以下のようにかける1。 ϕθ(t) = exp ibt − a 2 t2 + R eitx − 1 − itxI(|x| < 1) νc(dx) (3.1) ただし νc(·) はレヴィ測度とよばれる R 上の測度で、 νc({0}) = 0 と以下を満たす2。 |x|>0 |x|2 ∧ 1 νc(dx) < +∞ (3.2) 1Lévy-Khintchine の標準形。θ = (a, b, c⊤)⊤ に関して連続である。 2 |x|2 ∧ 1 = min(|x|2, 1) のはず。 15
22. レヴィ過程 無限分解可能分布で、特に金融データのモデリングの上で重要 なのは以下の 3 ケースである。 1. 安定分布 (0 < α < 2 の場合) 2. CGMY 過程 3. 正規逆ガウス過程 これらのケースでは一般にパラメトリックな密度関数をかき下 すことができず最尤法を用いることができない。しかし、経験 尤度法は適用することができる。 16
23. レヴィ過程の推定 定理 3.1 X1 , · · · , Xn を独立に同一の無限分解可能分布 (3.1) にしたがう確率 変数とし、レヴィ測度 νc はルベーグ測度に関して絶対連続3である とする。真のパラメータは θ0 ∈ Int(Θ3 ) とする。但し、Θ3 は (3.1) の特性関数に対応する分布が退化分布でない連続密度となるような コンパクト集合とする。このとき、(2.4) の 2m 個の制約を課し、 m = [n1 3 −η] ([c] は c を超えない最大の整数、0 < η < 1/3)、 tl = Kl/m (K は正定数) としたときの最大経験尤度推定量 ˆ θn = argmaxθ Rn (θ) は ˆ θn p − → θ0 を満たす。 Rn (θ) = n k=1 npk n k=1 pk g(Xk , θ) = 0, pk ≧ 0, n k=1 pk = 1 3同じ可測空間上の 2 つの測度 µ と ν について、µ(A) = 0 となる可測集合 が必ず ν(A) = 0 を満たすとき ν は µ に関して絶対連続であるという。 17
24. レヴィ過程の推定 定理 3.1 (承前) さらに、真のパラメータが θ0 ∈ Int(Θ4 ) とし ( Θ4 はフィッシャー 情報行列が正定値になるようなコンパクト集合)、ϕθ (t) は θ に関し て連続 2 回微分可能であるとし、その微分が可積分関数で抑えられ るとすると、以下が成り立つ。 √ n(ˆ θn − θ0 ) d − → N (0, JK (θ0 )) 18
25. 推定方程式
26. 推定方程式 y1j = h1(y2j, z1j, θ1) + uj (j = 1, · · · , n) 19
27. シミュレーション
28. 安定分布のシミュレーション 今回の推定手法の性能を検証するため、モンテカルロシミュレ ーションを行った。 γ = 1, δ = 0 とし、Chamber et al. の手法 [7] で 1000 個の乱数 を生成した。 (α, β) ∈ (0, 1.8) × [−1, 1] のときは、t = 0.1, 1.1, 2.1, 3.1, 4.1 の 5 つの制約だけで比較的正確な推定値が得られた。 (α, β) ∈ [1.8, 2) × [−1, 1] のときは、収束が遅いことがあった。 20
29. 推定方程式のシミュレーション 21
30. まとめ
31. まとめ • 経験尤度を用いて安定分布の特性関数のパラメータを推定 することができる。 • この最大経験尤度推定量は一致性と漸近正規性をもつ。 適当な制約の課し方をした場合には漸近有効性ももつ。 • 一般のレヴィ過程についても経験尤度を用いてパラメータ を推定することができる。 • このときも、適当な仮定の下で最大経験尤度推定量は一致 性、漸近正規性、漸近有効性をもつ。 22
32. Appendix. レヴィ過程の概要 [8] レヴィ過程とは、添え字 0 でとる値がほとんど確実に 0 であ り、独立増分性と時間的一様性と確率連続性をもち、見本関数 が右連続左極限関数であるような確率過程である。
33. 参考文献 i [1] Kunitomo Naoto and Takashi Owada. Empirical likelihood estimation of levy processes. CIRJE-F-272, Graduate School of Economics, University of Tokyo, 2004. [2] Art B. Owen. Empirical likelihood ratio confidence intervals for a single functional. Biometrika, Vol. 75, No. 2, pp. 237–249, 1988. [3] Art Owen. Empirical likelihood ratio confidence regions. Ann. Statist., Vol. 18, No. 1, pp. 90–120, 03 1990.
34. 参考文献 ii [4] Jin Qin and Jerry Lawless. Empirical likelihood and general estimating equations. Ann. Statist., Vol. 22, No. 1, pp. 300–325, 03 1994. [5] Ngai Hang Chan, Song Xi Chen, Liang Peng, and Cindy Long Yu. Empirical likelihood methods based on characteristic functions with applications to lévy processes. 2009. [6] A.B. Owen. Empirical Likelihood. Chapman & Hall/CRC Monographs on Statistics & Applied Probability. CRC Press, 2001.
35. 参考文献 iii [7] J. M. Chambers, C. L. Mallows, and B. W. Stuck. A method for simulating stable random variables. Journal of the American Statistical Association, Vol. 71, No. 354, pp. 340–344, 1976. [8] 平場誠示 (Seiji HIRABA). Lévy 過程 (Lévy Processes). https://www.ma.noda.tus.ac.jp/u/sh/pdfdvi/ Levy.pdf, 2018.