レヴィ過程の経験尤度推定の紹介

レヴィ過程の経験尤度推定 [1] の紹介
2019 年 10 月 10 日
三原千尋

View Slide

目次
1. はじめに
2. 安定分布に対する経験尤度法
3. 最大経験尤度推定量の漸近的性質
4. 経験尤度を用いた検定
5. レヴィ過程の推定
6. 推定方程式
7. シミュレーション
8. まとめ
1

View Slide

はじめに

View Slide

はじめに
データを生成した分布を推定する方法で代表的なものに最尤法
があるが、これは確率密度関数のパラメトリックな表式
p(Xk|θ) が手に入っている状況でなければ使用できない。
ˆ
θ = argmax
θ
n
k=1
p(Xk|θ)
レヴィ過程は等時間間隔ごとの増分が独立に同一の分布 (無限
分解可能分布) にしたがうが、一般にこの確率密度関数は解析
的に記述することができない。
解析的に記述できる分布を仮定することも考えられるが、ファ
ットテールな現象のモデリングには安定分布というクラスの分
布を利用したいケースがある。安定分布は一般に確率密度関数
を記述できない。特性関数はパラメトリックに記述できる。
2

View Slide

はじめに
特性関数のパラメータを推定する方法に経験尤度[2][3] を用い
る方法がある。
経験尤度法 [4] では、分布の確率密度関数の代わりに、分布上
での期待値が 0 になるべき何らかのパラメトリックな確率変数
g(Xk, θ) で分布を特徴付ける。この θ を推定する。
最適な ˆ
θ の推定は以下の手順による。
• 各データ Xk
に「経験尤度」pk
を割り当てる ( pk
≧ 0,
n
k=1
pk = 1 )。経験尤度関数は Ln(θ) = n
k=1
pk
である。
• g(Xk, θ) の経験尤度による分布上の期待値
n
k=1
pkg(Xk, θ) が 0 となる制約のもとで、Ln(θ) が最大
になるように {pk} の割り当てを最適化する。
• Ln(θ) が最大になるような θ を推定値とする。
3

View Slide

はじめに
最尤法
ˆ
θ = argmax
θ
n
k=1
p(Xk|θ)
経験尤度法
ˆ
θ = argmax
θ
n
k=1
pk
subject to pk
≧ 0,
n
k=1
pk = 1,
n
k=1
pkg(Xk, θ) = 0
4

View Slide

はじめに
特性関数 ϕ(t) ≡ E[eitX] は eitX の期待値なので、これを経験尤
度による分布上の期待値 n
k=1
pkeitXk に代えて (経験特性関
数)、これがパラメトリックな特性関数 ϕθ(t) に等しくなるよう
制約 n
k=1
pk eitX − ϕθ(t) = 0 を課せば、経験尤度法のスキー
ムで特性関数のパラメータを推定することができる (但しこの
制約式の左辺は t の関数である)。
経験尤度法のスキームでのレヴィ過程の推定は Kunitomo
(2004) [1] と Chan (2009) [5] によって提案されている。
両者は経験特性関数への制約の仕方が異なり、前者では、t ∈ R
からサンプリングした適当な m 点での値を制約し、後者では
t ∈ R 内の適当な区間での積分の値を制約している。
以下では前者の手法を紹介する。
5

View Slide

安定分布に対する経験尤度法

View Slide

安定分布の特性関数
安定分布の特性関数 ϕθ(t) は以下のようにかける (i は虚数単
位)。
ϕθ(t) = exp −|γt|α + iδt + iβγt |γt|α−1 − 1 tan
πα
2
ϕR
θ
(t) と ϕI
θ
(t) を特性関数の実部と虚部とすれば、
ϕR
θ
(t) = e−|γt|α
cos δt + βγt |γt|α−1 − 1 tan
πα
2
ϕI
θ
(t) = e−|γt|α
sin δt + βγt |γt|α−1 − 1 tan
πα
2
とかける。θ = (α, β, γ, δ) が推定対象である。パラメータ空間
は以下である。
Θ = {0 < α ≦ 2, −1 < β ≦ 1, 0 < γ, δ ∈ R}
6

View Slide

安定分布の特性関数による制約
経験特性関数 n
k=1
pkeitXk = n
k=1
pk etX が先の安定分布の
特性関数 ϕθ(t) に一致するようにしたい。そこで、相異なる m
点 t1, t2, · · · , tm
での値が一致するようにする。
つまり、以下のような 2m 次元のベクトルの経験尤度 {pk} に
よる期待値 n
k=1
pkg(Xk, θ) がゼロベクトルになるようにする。
g(Xk, θ) =











cos(t1Xk) − ϕR
θ
(t1)
.
.
.
cos(tmXk) − ϕR
θ
(tm)
sin(t1Xk) − ϕI
θ
(t1)
.
.
.
sin(tmXk) − ϕI
θ
(tm)











(2.4)
7

View Slide

最適化
以下の最適化問題を解くことになる。
ˆ
θ = argmax
θ
n
k=1
npk
subject to pk
≧ 0,
n
k=1
pk = 1,
n
k=1
pkg(Xk, θ) = 0
この最適化問題のラグランジュ関数は以下となる。
µ ∈ R, λ ∈ R2m はラグランジュ乗数である。
Ln(θ) =
n
k=1
log(npk) − µ
n
k=1
pk − 1 − nλ⊤
n
k=1
pkg(Xk, θ)
min
µ, λ
max
θ
Ln(θ) が双対問題である。
8

View Slide

最適化
Ln(θ) =
n
k=1
log(npk) − µ
n
k=1
pk − 1 − nλ⊤
n
k=1
pkg(Xk, θ)
したがって、
∂Ln(θ)
∂pk
= 0 ⇒
1
pk
= µ + nλ⊤g(Xk, θ) (k = 1, · · · , n)
より、この式の両辺に pk
をかけて k について和をとれば
ˆ
µ = n を得る。よって ˆ
pk = n−1 1 + λ⊤g(Xk, θ) −1 である。
また、λ = λ(θ) は n
k=1
ˆ
pkg(Xk, θ) = 0 を満たす。
9

View Slide

最適化
ここで、もし 2m × 2m 行列 n−1 n
k=1
g(Xk, θ)g(Xk, θ)⊤ が正定
値で pk
≧ 0 ならば、以下も正定値になる。
∂2
∂λ∂λ⊤
−
1
n
n
k=1
log 1 + λ⊤g(Xk, θ) =
1
n
n
k=1
g(Xk, θ)g(Xk, θ)⊤
[1 + λ⊤g(Xk, θ)]2
よって、λ = λ(θ) は以下の括弧内の式の唯一の最小点となる。
λ(θ) = argmin
λ
−
1
n
n
k=1
log 1 + λ⊤g(Xk, θ)
なのでラグランジュ乗数 µ, λ は特定でき、結局以下の対数尤度
関数 ln(θ) を最大化する ˆ
θ を探せばよい。
ln(θ) = log
n
k=1
n ˆ
pk = −
n
k=1
log 1 + λ(θ)⊤g(Xk, θ)
これは通常二段階のプロセスで最適化される [6]。
10

View Slide

最大経験尤度推定量の漸近的性質

View Slide

前節の安定分布のパラメータの最大経験尤度推定量 ˆ
θ は、真の
パラメータがパラメータ空間内の特殊なところになければ、
n → +∞ で以下の漸近的性質をもつ。
• 一致性と漸近正規性をもつ (定理 2.1)。
• さらに、m = [n1
3
−η] ([c] は c を超えない最大の整数、
0 < η < 1/3) とし、tl = Kl/m (K は正定数) とすれば、
漸近有効性ももつ (定理 2.2)。
11

View Slide

定理 2.1
X1
, · · · , Xn
を独立に同一の安定分布 Fθ
(·) にしたがう確率変数と
し、真のパラメータ θ0
= (α0
, β0
, γ0
, δ0
) は θ0
∈ Int(Θ1
) とする。
Θ1
= {(α, β, γ, δ) | ϵ ≦ α ≦ 1 − ϵ ∨ 1 + ϵ ≦ α ≦ 2,
− 1 ≦ β ≦ 1, ϵ ≦ γ ≦ M}
このとき、最大経験尤度推定量 ˆ
θn
= argmaxθ
Rn
(θ) と
Rn
(θ) =
n
k=1
npk
n
k=1
pk
g(Xk
, θ) = 0, pk
≧ 0,
n
k=1
pk
= 1
以下の解であるラグランジュ乗数ベクトル ˆ
λn
は
1
n
n
k=1
g(Xk
, ˆ
θn
)
1 + ˆ
λ⊤
n
g(Xk
, ˆ
θn
)
= 0
n → +∞ で以下にしたがう。 12

View Slide

定理 2.1 (承前)
√
n
ˆ
θn
− θ0
ˆ
λn
d
−
→ N4+2m
0
0
,
Ωm
O
O Γm
但し、Φθ
= ϕR
θ
(t1
), · · · , ϕR
θ
(tm
), ϕI
θ
(t1
), · · · , ϕI
θ
(tm
) ⊤、
Bm
(θ) = ∂Φθ,i
∂θj
、Am
(θ) = Eθ
g(X1
, θ)g(X1
, θ)⊤ として、
Ωm
= B⊤
m
(θ0
)Am
(θ0
)−1Bm
(θ0
) −1
Γm
= Am
(θ0
)−1 Am
(θ0
) − Bm
(θ0
)Ωm
Bm
(θ0
)⊤ Am
(θ0
)−1
と定義する。Am
(θ) の (i, j) 成分は以下で与えられる。
13

View Slide

経験尤度を用いた検定

View Slide

経験尤度を用いた検定
経験尤度を用いた検定を構成することもできる。
定理 2.3
14

View Slide

レヴィ過程の推定

View Slide

レヴィ過程
Zν
をレヴィ過程とする。簡単のため νi = i (i = 0, 1, · · · , n) と
し、Xi = Zνi
− Zνi−1
とすれば、{Xi} は無限分解可能分布にし
たがい、その特性関数は以下のようにかける1。
ϕθ(t) = exp ibt −
a
2
t2 +
R
eitx − 1 − itxI(|x| < 1) νc(dx)
(3.1)
ただし νc(·) はレヴィ測度とよばれる R 上の測度で、
νc({0}) = 0 と以下を満たす2。
|x|>0
|x|2 ∧ 1 νc(dx) < +∞ (3.2)
1Lévy-Khintchine の標準形。θ = (a, b, c⊤)⊤ に関して連続である。
2
|x|2 ∧ 1 = min(|x|2, 1) のはず。
15

View Slide

レヴィ過程
無限分解可能分布で、特に金融データのモデリングの上で重要
なのは以下の 3 ケースである。
1. 安定分布 (0 < α < 2 の場合)
2. CGMY 過程
3. 正規逆ガウス過程
これらのケースでは一般にパラメトリックな密度関数をかき下
すことができず最尤法を用いることができない。しかし、経験
尤度法は適用することができる。
16

View Slide

定理 3.1
X1
, · · · , Xn
を独立に同一の無限分解可能分布 (3.1) にしたがう確率
変数とし、レヴィ測度 νc
はルベーグ測度に関して絶対連続3である
とする。真のパラメータは θ0
∈ Int(Θ3
) とする。但し、Θ3
は (3.1)
の特性関数に対応する分布が退化分布でない連続密度となるような
コンパクト集合とする。このとき、(2.4) の 2m 個の制約を課し、
m = [n1
3
−η] ([c] は c を超えない最大の整数、0 < η < 1/3)、
tl
= Kl/m (K は正定数) としたときの最大経験尤度推定量
ˆ
θn
= argmaxθ
Rn
(θ) は ˆ
θn
p
−
→ θ0
を満たす。
Rn
(θ) =
n
k=1
npk
n
k=1
pk
g(Xk
, θ) = 0, pk
≧ 0,
n
k=1
pk
= 1
3同じ可測空間上の 2 つの測度 µ と ν について、µ(A) = 0 となる可測集合
が必ず ν(A) = 0 を満たすとき ν は µ に関して絶対連続であるという。
17

View Slide

定理 3.1 (承前)
さらに、真のパラメータが θ0
∈ Int(Θ4
) とし ( Θ4
はフィッシャー
情報行列が正定値になるようなコンパクト集合)、ϕθ
(t) は θ に関し
て連続 2 回微分可能であるとし、その微分が可積分関数で抑えられ
るとすると、以下が成り立つ。
√
n(ˆ
θn
− θ0
) d
−
→ N (0, JK
(θ0
))
18

View Slide

推定方程式

View Slide

推定方程式
y1j = h1(y2j, z1j, θ1) + uj (j = 1, · · · , n)
19

View Slide

シミュレーション

View Slide

安定分布のシミュレーション
今回の推定手法の性能を検証するため、モンテカルロシミュレ
ーションを行った。
γ = 1, δ = 0 とし、Chamber et al. の手法 [7] で 1000 個の乱数
を生成した。
(α, β) ∈ (0, 1.8) × [−1, 1] のときは、t = 0.1, 1.1, 2.1, 3.1, 4.1 の
5 つの制約だけで比較的正確な推定値が得られた。
(α, β) ∈ [1.8, 2) × [−1, 1] のときは、収束が遅いことがあった。
20

View Slide

推定方程式のシミュレーション
21

View Slide

まとめ

View Slide

まとめ
• 経験尤度を用いて安定分布の特性関数のパラメータを推定
することができる。
• この最大経験尤度推定量は一致性と漸近正規性をもつ。
適当な制約の課し方をした場合には漸近有効性ももつ。
• 一般のレヴィ過程についても経験尤度を用いてパラメータ
を推定することができる。
• このときも、適当な仮定の下で最大経験尤度推定量は一致
性、漸近正規性、漸近有効性をもつ。
22

View Slide

Appendix. レヴィ過程の概要 [8]
レヴィ過程とは、添え字 0 でとる値がほとんど確実に 0 であ
り、独立増分性と時間的一様性と確率連続性をもち、見本関数
が右連続左極限関数であるような確率過程である。

View Slide

参考文献 i
[1] Kunitomo Naoto and Takashi Owada.
Empirical likelihood estimation of levy processes.
CIRJE-F-272, Graduate School of Economics, University of
Tokyo, 2004.
[2] Art B. Owen.
Empirical likelihood ratio confidence intervals for a single
functional.
Biometrika, Vol. 75, No. 2, pp. 237–249, 1988.
[3] Art Owen.
Empirical likelihood ratio confidence regions.
Ann. Statist., Vol. 18, No. 1, pp. 90–120, 03 1990.

View Slide

参考文献 ii
[4] Jin Qin and Jerry Lawless.
Empirical likelihood and general estimating equations.
Ann. Statist., Vol. 22, No. 1, pp. 300–325, 03 1994.
[5] Ngai Hang Chan, Song Xi Chen, Liang Peng, and Cindy Long
Yu.
Empirical likelihood methods based on characteristic
functions with applications to lévy processes.
2009.
[6] A.B. Owen.
Empirical Likelihood.
Chapman & Hall/CRC Monographs on Statistics & Applied
Probability. CRC Press, 2001.

View Slide

参考文献 iii
[7] J. M. Chambers, C. L. Mallows, and B. W. Stuck.
A method for simulating stable random variables.
Journal of the American Statistical Association, Vol. 71, No.
354, pp. 340–344, 1976.
[8] 平場誠示 (Seiji HIRABA).
Lévy 過程 (Lévy Processes).
https://www.ma.noda.tus.ac.jp/u/sh/pdfdvi/
Levy.pdf, 2018.

View Slide

レヴィ過程の経験尤度推定の紹介

レヴィ過程の経験尤度推定の紹介

CookieBox26

More Decks by CookieBox26

Other Decks in Science

Featured

Transcript