非線形計画法-1-凸関数と最適性条件-誤り修正版-20260721

Transcript

1. 数理最適化 3 非線形計画法 1：凸関数と最適性条件 中島 智哉 電気通信大学 / 経営・社会情報学プログラム / 学部 3 年 2026/7/21 中島智哉｜電気通信大学 1
2. 参考書籍 しっかり学ぶ数理最適化 梅谷 俊治 書影 中島智哉｜電気通信大学 2
3. 目次 1 凸関数に関する定理 2 制約なし最適化問題 3 等式制約つき最適化問題 4 不等式制約つき最適化問題 中島智哉｜電気通信大学 3
4. 凸計画問題 定義 目的関数 f が凸関数であり，実行可能領域 S が凸集合である最適化問題を凸計画問題と 呼ぶ． 定理 凸計画問題では任意の局所最適解が大域最適解である． 一般の非線形計画問題では局所最適解が複数存在する可能性がある 凸計画問題へ定式化できれば，局所最適解が大域最適解となる 中島智哉｜電気通信大学 4
5. 凸集合の定義 凸集合 集合 S ⊆ Rn 内の任意の 2 点 x, y ∈ S に対して (1 − α)x + αy ∈ S, 0≤α≤1 (1) が成り立つとき，集合 S を凸集合と呼ぶ． (1 − α)x + αy は 2 点を結ぶ線分上の点 したがって，任意の 2 点を結ぶ線分全体が集合 内に含まれることを要求している 中島智哉｜電気通信大学 Figure:【出典】p.83 図 3.6 凸集合と非凸集合の例 5
6. 凸関数と狭義凸関数の定義 凸関数 凸集合 S ⊆ Rn 上で定義された関数 f が，任意の x, y ∈ S に対して f ((1 − α)x + αy) ≤ (1 − α)f (x) + αf (y), 0≤α≤1 (2) を満たすとき，関数 f を凸関数と呼ぶ． 狭義凸関数 x 6= y かつ 0 < α < 1 に対して上の不等号が常に 厳密となるとき，関数 f を狭義凸関数と呼ぶ． Figure:【出典】p.84 図 3.7 凸関数と非凸関数の例 任意の 2 点を結ぶ線分全体が関数より上に存在 することを要求している 中島智哉｜電気通信大学 6
7. 勾配と 1 次近似 勾配 連続な関数 f (x) の各変数に関する偏微分係数を並べたベクトル  ∇f (x) = ∂f (x) ∂f (x) ,..., ∂x1 ∂xn > (3) を点 x における勾配と呼ぶ． ∇f (x) は関数値の増加率が最大となる方向を示す 微分可能ならば，点 x の近傍で f (x + d) = f (x) + ∇f (x)> d + o(kdk) 中島智哉｜電気通信大学 (4) 7
8. 微分可能な凸関数の 1 次の判定方法 凸関数であるための 1 次の必要十分条件 関数 f を微分可能とする．関数 f が凸関数である ための必要十分条件は，任意の x, y ∈ Rn に対して f (y) ≥ f (x) + ∇f (x)> (y − x) (5) が成り立つことである． 右辺は点 x における接平面 つまり，凸関数のグラフはどの点でも接平面より 上に存在 中島智哉｜電気通信大学 Figure:【出典】p.88 図 3.9 凸関数と接線 8
9. 勾配の単調性による判定 勾配の単調性による凸関数の必要十分条件 関数 f を連続的微分可能とする．関数 f が凸関数であるための必要十分条件は，任意の x, y ∈ Rn に対して
   > ∇f (y) − ∇f (x) (y − x) ≥ 0 (6) が成り立つことである． 前ページの定理から導出できる 中島智哉｜電気通信大学 9
10. ヘッセ行列と 2 次近似 ヘッセ行列 関数 f の各変数に関する 2 階偏微分係数を要素とする行列   ∇2 f (x) =   ∂2f ∂x21 .. . ∂2f ∂xn ∂x1 ··· .. . ∂2f ∂x1 ∂xn ··· ∂2f ∂x2n .. .     (7) をヘッセ行列と呼ぶ．2 回連続的微分可能ならば対称行列となる． 2 回微分可能ならば，点 x の近傍で 1 f (x + d) = f (x) + ∇f (x)> d + d> ∇2 f (x)d + o(kdk2 ) 2 中島智哉｜電気通信大学 (8) 10
11. 半正定値と正定値 半正定値 n 次対称行列 A が任意の x ∈ Rn に対して x> Ax ≥ 0 (9) を満たすとき，A は半正定値であると呼ぶ． 正定値 n 次対称行列 A が任意の x ∈ Rn \ {0} に対して x> Ax > 0 (10) を満たすとき，A は正定値であると呼ぶ． 中島智哉｜電気通信大学 11
12. 固有値による半正定値と正定値の判定 固有値による判定 対称行列 A のすべての固有値が非負ならば，A は半正定値．また，すべての固有値が正 ならば，A が正定値である． 対称行列は，固有ベクトルを列に持つ直交行列 P により対角化できる P > AP = diag(λ1 , . . . , λn ) (11) x = P y とおくと x> Ax = y > (P > AP )y = n X λi yi2 (12) i=1 よって，固有値の符号だけで簡便に判定できる場合がある． ただし，この条件を満たさずとも半正定値や正定値である場合もある． 中島智哉｜電気通信大学 12
13. 2 次関数と係数行列の対称化 行列 A ∈ Rn×n と b ∈ Rn に対して，次の 2 次関数を考える n f (x) = n n i=1 j=1 i=1 X 1 XX aij xi xj + bi xi 2 (13) 1 = x> Ax + b> x 2 A が対称行列でない場合も A + A> A − A> + 2 2  > > A−A x x=0 2 A= (14) (15) よって，A は一般性を失わずに対称行列にできる 中島智哉｜電気通信大学 13
14. 2 次関数の勾配とヘッセ行列 このとき，勾配とヘッセ行列は ∇f (x) = Ax + b, ∇2 f (x) = A (16) 任意の 2 点 x, x0 ∈ Rn に対して ∇f (x) − ∇f (x0 ) = A(x − x0 ) (17)
    > ∇f (x) − ∇f (x0 ) (x − x0 ) = (x − x0 )> A(x − x0 ) (18) 勾配の単調性による凸関数の必要十分条件 (式 9) から，この 2 次関数が凸関数であるこ とと A が半正定値であることは同値 A が正定値ならば，この 2 次関数は狭義凸関数となる 中島智哉｜電気通信大学 14
15. ヘッセ行列による凸関数の判定 凸関数であるための 2 次の必要十分条件 関数 f を 2 回連続的微分可能とする．関数 f が凸関数であるための必要十分条件は，任 意の x ∈ Rn に対してヘッセ行列 ∇2 f (x) が半正定値になることである． 狭義凸関数であるための十分条件 関数 f を 2 回連続的微分可能とする．任意の x ∈ Rn に対してヘッセ行列 ∇2 f (x) が正 定値ならば，関数 f は狭義凸関数である． 中島智哉｜電気通信大学 15
16. ヘッセ行列による凸関数の判定：必要条件 点 x から方向 d ∈ Rn (kdk = 1) に沿って α > 0 だけ動いた点を考える 関数 f は 2 回微分可能なので f (x + αd) = f (x) + α∇f (x)> d + α2 > 2 d ∇ f (x)d + o(α2 ) 2 (19) 関数 f は凸関数なので f (x + αd) ≥ f (x) + α∇f (x)> d (20) 1 > 2 o(α2 ) d ∇ f (x)d + ≥0 2 α2 (21) これらの式から α → 0 とすると o(α2 )/α2 → 0 より以下が成り立ち，任意の点 x において ∇2 f (x) は半正定値 d> ∇2 f (x)d ≥ 0 中島智哉｜電気通信大学 16
17. ヘッセ行列による凸関数の判定：十分条件 関数 f は 2 回連続的微分可能なので，テイラーの定理より，ある xα = (1 − α)x + αy (0 < α < 1) で 1 f (y) = f (x) + ∇f (x)> (y − x) + (y − x)> ∇2 f (xα )(y − x) 2 (22) 任意の点においてヘッセ行列が半正定値なので 1 (y − x)> ∇2 f (xα )(y − x) = f (y) − f (x) − ∇f (x)> (y − x) ≥ 0 2 (23) f (y) ≥ f (x) + ∇f (x)> (y − x) (24) したがって よって，凸関数であるための 1 次の必要十分条件から，関数 f は凸関数 中島智哉｜電気通信大学 17
18. 目次 1 凸関数に関する定理 2 制約なし最適化問題 3 等式制約つき最適化問題 4 不等式制約つき最適化問題 中島智哉｜電気通信大学 18
19. 制約なし最適化問題と停留点 制約なし最適化問題を次の形で表す 最小化 f (x) 条件 x ∈ Rn (25) 停留点 ∇f (x∗ ) = 0 を満たす点 x∗ を停留点と呼ぶ． 制約がないため，点 x∗ から任意の方向へ微小に移動できる 局所最適解の候補 中島智哉｜電気通信大学 19
20. 制約なし：最適性の 1 次の必要条件 最適性の 1 次の必要条件 制約なし最適化問題の目的関数 f を微分可能とする．点 x∗ が局所最適解ならば ∇f (x∗ ) = 0 (26) が成り立つ． 局所最適解ならば任意の 1 単位の大きさの方向ベクトル d と十分小さい α > 0 に対して f (x∗ + αd) − f (x∗ ) = α∇f (x∗ )> d + o(α) ≥ 0 (27) よって勾配はゼロとなる ただし停留点は局所最適解だけでなく，極大点や鞍点を含む 中島智哉｜電気通信大学 20
21. 制約なし：最適性の 2 次の必要条件 最適性の 2 次の必要条件 制約なし最適化問題の目的関数 f を 2 回微分可能とする．点 x∗ が局所最適解ならば， ヘッセ行列 ∇2 f (x∗ ) は半正定値である．すなわち，任意の d ∈ Rn に対して d> ∇2 f (x∗ )d ≥ 0 (28) が成り立つ． 局所最適解ならば，1 次の必要条件により ∇f (x∗ ) = 0 であるため，2 次まで展開すると f (x∗ + αd) − f (x∗ ) = α2 > 2 d ∇ f (x∗ )d + o(α2 ) ≥ 0 2 (29) これは 2 次までで近似したとき近傍が凸関数であることに対応する 中島智哉｜電気通信大学 21
22. 制約なし：最適性の 2 次の十分条件 最適性の 2 次の十分条件 制約なし最適化問題の目的関数 f を 2 回微分可能とする．点 x∗ が停留点で，ヘッセ行列 ∇2 f (x∗ ) が正定値ならば，点 x∗ は局所最適解である． 停留点 x∗ から方向 d ∈ Rn (kdk = 1) に沿って α > 0 だけ動いた点を考える α2 > 2 f (x∗ + αd) = f (x∗ ) + α∇f (x∗ )> d + d ∇ f (x∗ )d + o(α2 ) 2 (30) 停留点では ∇f (x∗ ) = 0 なので f (x∗ + αd) − f (x∗ ) = α2 > 2 d ∇ f (x∗ )d + o(α2 ) 2 (31) ヘッセ行列 ∇2 f (x∗ ) は正定値なので d> ∇2 f (x∗ )d > 0 α → 0 とすると o(α2 )/α2 は 0 に収束するため，十分に小さい α > 0 に対して f (x∗ + αd) − f (x∗ ) > 0 (32) この不等式は任意の方向 d ∈ Rn (kdk = 1) に対して成り立つので，停留点 x∗ は局所最適解 中島智哉｜電気通信大学 22
23. 目次 1 凸関数に関する定理 2 制約なし最適化問題 3 等式制約つき最適化問題 4 不等式制約つき最適化問題 中島智哉｜電気通信大学 23
24. 等式制約つき最適化問題 等式制約だけを持つ最適化問題を次の形で表す 最小化 f (x) 条件 gi (x) = 0, i = 1, . . . , m x ∈ Rn (33) 定義 点 x において，制約関数の勾配 ∇g1 (x), . . . , ∇gm (x) が互いに 1 次独立ならば，点 x を 正則であると呼ぶ． 実行可能解 x∗ における制約平面の接方向の集合として n o V (x∗ ) = d ∈ Rn | ∇gi (x∗ )> d = 0, i = 1, . . . , m (34) とし，以後 d ∈ V (x∗ ) を考える． 中島智哉｜電気通信大学 24
25. 等式制約下における局所最適解 点 x∗ が局所最適解であるとする 任意の d ∈ V (x∗ ) に対して，∇f (x∗ )> d 6= 0 ならば，d または −d の一方について ∇f (x∗ )> d < 0 (35) 目的関数は微分可能なので f (x∗ + d) ≈ f (x∗ ) + ∇f (x∗ )> d < f (x∗ ) (36) これは x∗ が局所最適解であることに反する したがって，すべての d ∈ V (x∗ ) に対して ∇f (x∗ )> d = 0 (37) Figure:【出典】p.113 図 3.20 等式制約つき最適化問題の局 所最適解の例 よって ∇f (x∗ ) も V (x∗ ) のすべての接方向に垂直 中島智哉｜電気通信大学 25
26. 等式制約つき：最適性の 1 次の必要条件 最適性の 1 次の必要条件 等式制約つき最適化問題の目的関数 f と制約関数 g1 , . . . , gm を微分可能とする．点 x∗ が局所最適解かつ正則ならば，次を満たす u∗ ∈ Rm が存在する． ∇f (x∗ ) + m X u∗i ∇gi (x∗ ) = 0 (38) i=1 u∗ はラグランジュ乗数 −∇f (x∗ ) が制約勾配の 1 次結合で表されることを要求している 中島智哉｜電気通信大学 26
27. ラグランジュ関数 ラグランジュ関数 等式制約つき最適化問題に対して L(x, u) = f (x) + m X (39) ui gi (x) i=1 をラグランジュ関数と呼ぶ． 1 次の必要条件と制約条件は次の連立方程式にまとめられる m X ∇x L(x∗ , u∗ ) = ∇f (x∗ ) + u∗i ∇gi (x∗ ) = 0 (40) i=1 ∇u L(x∗ , u∗ ) = g1 (x∗ ), . . . , gm (x∗ ) 中島智哉｜電気通信大学
    > =0 (41) 27
28. 等式制約つき：最適性の 2 次の必要条件 最適性の 2 次の必要条件 目的関数 f と制約関数 g1 , . . . , gm を 2 回微分可能とする．点 x∗ が局所最適解かつ正則 ならば，1 次の必要条件を満たす u∗ が存在し，さらに任意の d ∈ V (x∗ ) に対して ! m X > 2 ∗ ∗ 2 ∗ d ∇ f (x ) + ui ∇ gi (x ) d ≥ 0 (42) i=1 が成り立つ． α2 > 2 d ∇xx L(x∗ , u∗ )d + o(α2 ) 2 ! m X α2 > = d ∇2 f (x∗ ) + u∗i ∇2 gi (x∗ ) d + o(α2 ) ≥ 0 2 L(x∗ + αd, u∗ ) − L(x∗ , u∗ ) = (43) i=1 V (x∗ ) 上でラグランジュ関数の 2 次までの近似が局所的に凸であることを要求している 中島智哉｜電気通信大学 28
29. 等式制約つき：最適性の 2 次の十分条件 最適性の 2 次の十分条件 実行可能解 x∗ とベクトル u∗ が 1 次条件 ∇f (x∗ ) + m X u∗i ∇gi (x∗ ) = 0 (44) i=1 を満たすとする．さらに，任意の d ∈ V (x∗ ) \ {0} に対して d> ∇2xx L(x∗ , u∗ )d > 0 (45) が成り立つならば，点 x∗ は局所最適解である． d> ∇2xx L(x∗ , u∗ )d = 0 となる方向では 2 次までの近似から増減を判定できず，3 次以降 の項が負となる可能性があるため，≥ 0 では局所最適と保証できない 中島智哉｜電気通信大学 29
30. 目次 1 凸関数に関する定理 2 制約なし最適化問題 3 等式制約つき最適化問題 4 不等式制約つき最適化問題 中島智哉｜電気通信大学 30
31. 不等式制約つき最適化問題 不等式制約だけを持つ最適化問題を次の形で表す 最小化 f (x) 条件 gi (x) ≤ 0, x ∈ Rn i = 1, . . . , m (46) 実行可能解 x において gi (x) = 0 となる制約を有効制約と呼び，その添字集合を I(x) = {i | gi (x) = 0, i = 1, . . . , m} (47) とする． 点 x は正則とする． 中島智哉｜電気通信大学 31
32. 不等式制約下における局所最適解 有効制約について，制約を満たす方向 d ∈ Rn は 1 次 近似により ∇gi (x∗ )> d ≤ 0, i ∈ I(x∗ ) 有効制約の勾配の非負結合からなる錐結合を    X  G(x∗ ) = ui ∇gi (x∗ ) ui ≥ 0   ∗ (48) (49) i∈I(x ) 局所最適解では， −∇f (x∗ ) ∈ G(x∗ ) (50) Figure:【出典】p.117 図 3.22 不等式制約つき最適化問題の局所 最適解の例 すなわち，−∇f (x∗ ) は有効制約の勾配の錐結合で表 される 中島智哉｜電気通信大学 32
33. 不等式制約下で局所最適解とならない場合 −∇f (x∗ ) ∈ / G(x∗ ) ならば，次を同時に満たす方向 d が存在する ∇gi (x∗ )> d ≤ 0 (i ∈ I(x∗ )), ∇f (x∗ )> d < 0 (51) 前者は制約を満たす方向，後者は目的関数を減少させ る方向であることを表す 目的関数は微分可能なので，十分に小さい α > 0 に対 して f (x∗ + αd) ≈ f (x∗ ) + α∇f (x∗ )> d < f (x∗ ) (52) Figure:【出典】p.118 図 3.23 不等式制約つき最適化問題の局所 最適解でない例 制約を満たしながら目的関数を減少させられるため， 点 x∗ は局所最適解ではない 中島智哉｜電気通信大学 33
34. 不等式制約つき：最適性の 1 次の必要条件 KKT 条件 目的関数 f と制約関数 g1 , . . . , gm を微分可能とする．点 x∗ が局所最適解かつ正則なら ば，次を満たす u∗ ∈ Rm が存在する． ∗ ∇f (x ) + m X (53) u∗i ∇gi (x∗ ) = 0, i=1 u∗i gi (x∗ ) = 0, i = 1, . . . , m, (54) u∗i ≥ 0, i = 1, . . . , m. (55) 第 1 式は −∇f (x∗ ) が有効な制約の勾配の錐結合で表されることを要求する 第 2 式を相補性条件という．u∗i = 0 は有効でない制約を無視すること，gi (x∗ ) = 0 はそ のまま有効な制約を表す 中島智哉｜電気通信大学 34
35. 不等式制約つき：最適性の 2 次の必要条件 最適性の 2 次の必要条件 目的関数 f と制約関数 g1 , . . . , gm を 2 回微分可能とする．点 x∗ が局所最適解かつ正則 ならば，KKT 条件を満たす u∗ が存在し，さらに任意の d ∈ V 0 (x∗ ) に対して ! m X > 2 ∗ ∗ 2 ∗ d ∇ f (x ) + ui ∇ gi (x ) d ≥ 0 (56) i=1 が成り立つ．ここで， n o V 0 (x∗ ) = d ∈ Rn ∇gi (x∗ )> d = 0, i ∈ I(x∗ ) (57) である． 等式制約つきの場合と同様，V 0 (x∗ ) 上でラグランジュ関数の 2 次までの近似が局所的に 凸であることを要求している 中島智哉｜電気通信大学 35
36. 不等式制約つき：最適性の 2 次の十分条件 最適性の 2 次の十分条件 実行可能解 x∗ とベクトル u∗ が KKT 条件を満たすとする．さらに，任意の d ∈ V 0 (x∗ ) \ {0} に対して d> ∇2xx L(x∗ , u∗ )d > 0 (58) が成り立つならば，点 x∗ は局所最適解である． 等式制約付きのときと同様，d> ∇2xx L(x∗ , u∗ )d = 0 となる方向では 2 次までの近似から 増減を判定できず，3 次以降の項が負となる可能性があるため，≥ 0 では局所最適と保 証できない 中島智哉｜電気通信大学 36