LCP_1_introduction

線形相補性問題ゼミ①イントロダクション

Transcript

1. 線形相補性問題ゼミ １章イントロダクション せい@seytwo 2020/5/2 線形相補性問題ゼミ① 1
2. ゼミの概要 ⚫ 目的 − 線形相補性問題の総復習 ⚫ 教科書 − The Linear Complementarity Problem − R. W. Cottle , J. S. Pang and R. E. Stone − https://epubs.siam.org/doi/book/10.1137/1.9780898719000?mobileUi=0 ⚫ 粒度 − やる：定義，定理，お気持ち，お絵かき − やらない：長い証明，演習 2020/5/2 線形相補性問題ゼミ① 2 LCPの緑本？
3. 教科書目次 1. Introduction 2. Background 3. Existence and Multiplicity 4. Pivoting Methods 5. Iterative Methods 6. Geometry and Degree Theory 7. Sensitivity and Stability Analysis 2020/5/2 線形相補性問題ゼミ① 3
4. 1. Problem Statement 2. Source Problems 3. Complementary Matrices and Cones 4. Equivalent Formulations 5. Generalizations 2020/5/2 線形相補性問題ゼミ① 4 目次
5. 1. Problem Statement 1. 定義 2. 幾何的解釈 3. 特殊ケース 2. Source Problems 3. Complementary Matrices and Cones 4. Equivalent Formulations 5. Generalizations 2020/5/2 線形相補性問題ゼミ① 5 目次
6. 定義 ⚫ 定義：線形計画問題LCP(, ) − 実行可能条件と相補性条件を満たす点 − ∈ ℝ, ∈ ℝ, ∈ ℝ, ∈ ℝ× find subject to = + , ≥ 0 ⊤ = 0 ⚫ 相補性条件： か のどちらかはゼロ 1 2 = 1 2 + 11 12 21 22 1 2 2020/5/2 線形相補性問題ゼミ① 6 1.1 Problem Statement 線形相補性問題
7. 幾何的解釈 ⚫ 相補性条件： − = 0か = 0のどちらかの超平面上にある 2020/5/2 線形相補性問題ゼミ① 7 1.1 Problem Statement 線形相補性問題 1 ≥ 0 1 ≥ 0 2 ≥ 0 2 ≥ 0 □：実行可能解FEA(, ) □：相補性解 ★：解SOL(, )
8. 自明な解を持つ特殊ケース ⚫ 主張：条件によっては自明な解が存在 ≥ 0 ⇒ = 0 ∈ SOL , = + = ≥ 0, ⊤ = 0⊤ = 0 2020/5/2 線形相補性問題ゼミ① 8 1.1 Problem Statement 線形相補性問題
9. 斉次な線形相補性問題 ⚫ 定義：斉次な線形相補性問題LCP() − = 0の特殊ケース − 実行可能解は錐： ≥ 0 ⚫ 性質 − 自明な解 = 0が存在 − 解集合SOL 0, は錐 ⚫ 研究対象 − 非ゼロな解は存在するか？ →解の有限性／無限性 2020/5/2 線形相補性問題ゼミ① 9 1.1 Problem Statement 線形相補性問題
10. 1. Problem Statement 2. Source Problems 1. 線形相補性問題の恩恵 2. 応用例一覧 3. 二次計画問題 3. Complementary Matrices and Cones 4. Equivalent Formulations 5. Generalizations 2020/5/2 線形相補性問題ゼミ① 10 目次
11. 線形相補性問題の恩恵 ⚫ LCPは数理計画問題の統一フレームワーク − 線形計画問題／二次計画問題／双行列ゲーム ⚫ LCPに定式化することで得られた恩恵 − 二次計画問題の高速アルゴリズム − 双行列ゲームのエレガントなアルゴリズム 2020/5/2 線形相補性問題ゼミ① 11 1.2 Source Problem 線形相補性問題の応用 LCP=QP LP BMG
12. 線形相補性問題の応用例 ⚫ 二次計画問題 ⚫ 双行列ゲーム ⚫ 市場均衡問題 ⚫ 最適不変資本ストック問題 ⚫ 最適停止問題 ⚫ 平面上の凸包問題 ⚫ 非線形相補性問題 ⚫ 変分不等式問題 2020/5/2 線形相補性問題ゼミ① 12 1.2 Source Problem 線形相補性問題の応用
13. 二次計画問題の定義 ⚫ 定義：二次計画問題QP − ∈ ℝ, ∈ ℝ×, ∈ ℝ, ∈ ℝ, 対称 ∈ ℝ× minimize = ⊤ + 1 2 ⊤ subject to ≥ ≥ 0 2020/5/2 線形相補性問題ゼミ① 13 1.2 Source Problem 二次計画問題
14. 最適性条件 ⚫ 定理：局所解の必要条件 − Karush-Kuhn-Tucker条件 ∃ ∈ ℝ: ൝ = + − ⊤ ≥ 0 ≥ 0 ⊤ = 0 = − + ≥ 0 ≥ 0 ⊤ = 0 2020/5/2 線形相補性問題ゼミ① 14 ∇ ∇ + ∇ − + ∇ − = 0 ∇ − ∇ − 半空間の内点 or 境界 ↑ 境界なら勾配を使う 1.2 Source Problem 二次計画問題
15. QPとLCPの関係 ⚫ 主張：QPはLCPに変換可能 − KKT条件を整理 = − + −⊤ ≥ 0 0 ≥ 0 0 , ⊤ = 0 − , を以下とすると，LCPと同値 = − , = −⊤ 2020/5/2 線形相補性問題ゼミ① 15 1.2 Source Problem 二次計画問題
16. QPとLCPが同値になる特殊ケース ⚫ 定義：二次計画問題の特殊ケースQP(, ) − ∈ ℝ, 対称 ∈ ℝ× minimize ⊤ + 1 2 ⊤ subject to ≥ 0 ⚫ 性質 − が半正定値⇒LCP(, )はQP(, )と同値 − LCP(, )はQP(, )の停留点と同値 2020/5/2 線形相補性問題ゼミ① 16 1.2 Source Problem 二次計画問題
17. 1. Problem Statement 2. Source Problems 3. Complementary Matrices and Cones 1. 錐の定義 2. 錐に着目した線形相補性問題の定義 3. 相補行列と相補錐 4. 相補錐と解の存在性／唯一性／複数性 4. Equivalent Formulations 5. Generalizations 2020/5/2 線形相補性問題ゼミ① 17 目次
18. 錐の性質的定義 ⚫ 定義：錐（cone） ⊆ ℝ ∀ ∈ , ∀ ≥ 0, ∈ ⚫ 定義：鋭錐（pointed cone） ⊆ ℝ ∀ ∈ , − ∉ ⚫ 定義：端線（extreme ray） ∈ − 内の点の凸結合で表現不可 2020/5/2 線形相補性問題ゼミ① 18 1.3 Complementary Matrices and Cones − 端線 − 鋭錐 鈍錐
19. 錐の構成的定義 ⚫ 定義：錐 pos ⊆ ℝ pos = ∀ ∈ ℝ: ∃ ∈ ℝ, = , ≥ 0 2020/5/2 線形相補性問題ゼミ① 19 1.3 Complementary Matrices and Cones = 1 , 2 , 3 , 4 pos 1 2 3 4
20. 単体的錐 ⚫ 定義：単体的錐 − が正方行列かつ非特異 − 別表現：pos = ∀ ∈ ℝ: −1 ≥ 0 2020/5/2 線形相補性問題ゼミ① 20 1.3 Complementary Matrices and Cones = 1 , 2 −1 = ෤ 1 ⊤ ෤ 2 ⊤ pos 1 2 ෤ 1 ෤ 2
21. 錐に着目したLCPの別表現 ⚫ 定義：錐に着目したLCP − ∈ ℝ, ∈ ℝ, ∈ ℝ, ∈ ℝ× − 行列 − の列ベクトルの組合せで，相補性を 満たす錐に，ベクトルを含むものはあるか？ find , s.t. , ≥ 0 , − = ⊤ = 0 2020/5/2 線形相補性問題ゼミ① 21 1.3 Complementary Matrices and Cones 2 1 −1 −2 = 1 , 2
22. 相補行列と相補錐の定義 ⚫ 定義：相補行列 ∈ ℝ× − インデックス集合 ⊆ 1, … , ∙ = ቊ − ∈ ∉ ⚫ 定義：相補錐 pos ⊆ ℝ 2020/5/2 線形相補性問題ゼミ① 22 1.3 Complementary Matrices and Cones 2 1 −1 −2 1 = −1 , 2 pos 1
23. 相補錐とLCPの解 ⚫ 性質： ∈ pos のとき以下の解を持つ = −1 = ቊ 0 ∈ ∉ , = ቊ ∈ 0 ∉ 2020/5/2 線形相補性問題ゼミ① 23 1.3 Complementary Matrices and Cones 2 1 −1 −2
24. 相補錐とLCPの解の複数性 ⚫ 性質： ∈ pos のとき以下の解を持つ = −1 = ቊ 0 ∈ ∉ , = ቊ ∈ 0 ∉ 2020/5/2 線形相補性問題ゼミ① 24 1.3 Complementary Matrices and Cones 2 1 −1 −2
25. 相補錐と解の存在性 ⚫ 定義：相補錐の和集合 ⊆ ℝ = ራ ⊆ 1,…, pos ⚫ 主張：相補錐と解の存在性 − ∈ に対してLCP(, )は解を持つ 2020/5/2 線形相補性問題ゼミ① 25 1.3 Complementary Matrices and Cones ：解あり ：解なし 2 1 −1 −2
26. 相補錐と解の存在性／唯一性／複数性 2020/5/2 線形相補性問題ゼミ① 26 1.3 Complementary Matrices and Cones ⚫ さまざまな相補錐の例 緑本p22参考
27. 1. Problem Statement 2. Source Problems 3. Complementary Matrices and Cones 4. Equivalent Formulations 1. 二次計画問題 2. 不動点問題 3. ゼロ探索問題 4. 区分線形関数 5. Generalizations 2020/5/2 線形相補性問題ゼミ① 27 目次
28. ⚫ 主張：QPはLCPに変換可能 − KKT条件がLCPと同値 ⚫ 主張：LCPはQPに変換可能 − 目的関数値は常にゼロ以上 − LCPの解はQPの大域解（ゼロ）と同値 min ⊤ + s.t. + ≥ 0 ≥ 0 LCPとQPの関係 2020/5/2 線形相補性問題ゼミ① 28 1.4 Equivalent Formulations 二次計画問題
29. 不動点問題とゼロ探索問題の定義 ⚫ 定義：不動点問題 FPP − 写像ℎ: ℝ → ℝ − 不動点 ∈ ℝ: = ℎ を探す問題 ⚫ 定義：ゼロ探索問題 ZFP − 写像: ℝ → ℝ − = 0となるベクトル ∈ ℝを探す問題 2020/5/2 線形相補性問題ゼミ① 29 1.4 Equivalent Formulations 不動点問題とゼロ探索問題 ℎ = ℎ ℎ ℎ
30. LCPとFPP／ZFPの関係 ⚫ 主張：FPPとZFPは同値 FPP ℎ ⇒ ZFP = − ℎ ZF ⇒ FP ℎ = − ⚫ 主張：LCPはZFPに変換可能 = min , + = 0 ⚫ 主張：LCPはFPPに変換可能 ℎ = − = max 0, − + − = 2020/5/2 線形相補性問題ゼミ① 30 1.4 Equivalent Formulations 不動点問題とゼロ探索問題
31. 厳密増加関数を用いたZFP ⚫ 定義：厳密増加関数SIFを用いたZFP − 厳密増加関数: ℝ → ℝ, 0 = 0 = + − − + − ⚫ 性質：SIFを用いたZFPはLCPと同値 ∈ SOL , ⇔ = 0 2020/5/2 線形相補性問題ゼミ① 31 1.4 Equivalent Formulations 不動点問題とゼロ探索問題
32. FPP／ZFPの微分可能性 ⚫ なぜFPP／ZFPを考える？ − FPP／ZFPのアルゴリズムを適用するため − 適用には関数が微分可能性である必要あり ⚫ 関数, , は一般に微分不可 − 微分可能な点を「非退化」として定義 2020/5/2 線形相補性問題ゼミ① 32 1.4 Equivalent Formulations 不動点問題とゼロ探索問題 max , = 0 =
33. 非退化の定義 ⚫ 定義：点は非退化⇔ ∀ ∈ 1, … , , ≠ + ⚫ 性質：は非退化⇒に十分近い′も非退化 − の近傍で関数, は微分可能 2020/5/2 線形相補性問題ゼミ① 33 1.4 Equivalent Formulations 不動点問題とゼロ探索問題 max , = 0 =
34. 非退化と微分可能性 ⚫ 性質：非退化な解が存在 ⇒勾配ベースのアルゴリズムが適用可 − ニュートン法など 2020/5/2 線形相補性問題ゼミ① 34 1.4 Equivalent Formulations 不動点問題とゼロ探索問題 max , = 0 =
35. 区分線形関数の定義 ⚫ 定義：区分線形関数PLF : → ℝ − 関数：連続関数 − ドメイン ⊆ ℝ：凸多面体 ⊆ ℝの和集合 − 各凸多面体上で関数は線形（アフィン）関数 2020/5/2 線形相補性問題ゼミ① 35 1.4 Equivalent Formulations 区分線形関数 https://ja.wikipedia.org/wiki/%E5%8C%BA%E5%88%86%E7%B7%9A%E5%BD%A2%E9%96%A2%E6%95%B0
36. LCPとPLFの関係 ⚫ 性質：LCPはPLFに変換可能 min , + = 0 ⚫ 以下の表現も可能 − + = max 0, , − = min 0, + − − + = 0 2020/5/2 線形相補性問題ゼミ① 36 1.4 Equivalent Formulations 区分線形関数 2 1 −1 −2 pos 1
37. 1. Problem Statement 2. Source Problems 3. Complementary Matrices and Cones 4. Equivalent Formulations 5. Generalizations 1. 混合線形相補性問題 2. 錐相補性問題 3. 縦型線形相補性問題 4. 陰相補性問題 2020/5/2 線形相補性問題ゼミ① 37 目次
38. 混合線形相補性問題の定義 ⚫ 定義：混合線形相補性問題MLCP − 超平面の追加： + + = 0 − 制約なし変数の追加： − ∈ ℝ, ∈ ℝ, ∈ ℝ, ∈ ℝ − ∈ ℝ×, ∈ ℝ×, ∈ ℝ×, ∈ ℝ× find , subject to + + = 0 + + ≥ 0 ≥ 0 ⊤ + + = 0 2020/5/2 線形相補性問題ゼミ① 38 1.5 Generalizations 混合線形相補性問題
39. LCPとMLCPの関係 2020/5/2 線形相補性問題ゼミ① 39 1.5 Generalizations 混合線形相補性問題 ⚫ 主張：MLCPはLCPに変換可能 MLCP , , , , , ⇔ LCP − −1, − −1 ⚫ 変換することの意味 − 理論的にはLCPとMLCPを別個に扱う必要なし − 計算量的には変換しない方が良い場合あり
40. MLCPとQPの関係 ⚫ 定義：一般形のQP minimize ⊤ + 1 2 ⊤ subject to ≥ , = ⚫ 定理：QPのKKT条件 − MLCPで表現可能 0 = + − ⊤ + ⊤ 0 = − + = − + ≥ 0, ≥ 0 ⊤ = 0 2020/5/2 線形相補性問題ゼミ① 40 1.5 Generalizations 混合線形相補性問題
41. 双対錐の定義 ⚫ 定義：双対錐∗ − 錐 ⊆ ℝ ∗ = ∀ ∈ ℝ: ∀ ∈ , ⊤ ≥ 0 − 内の点との成す角が鋭角になる点の集合 2020/5/2 線形相補性問題ゼミ① 41 1.5 Generalizations 錐相補性問題 ∗
42. 錐相補性問題の定義 ⚫ 定義：錐相補性問題CP(, ) − ∈ ℝ, 錐 ⊆ ℝ, : ℝ → ℝ find s.t. ∈ ∈ ∗ ⊤ = 0 2020/5/2 線形相補性問題ゼミ① 42 1.5 Generalizations 錐相補性問題 ∗
43. LCPとCPの関係 ⚫ 主張：LCPはCPの特殊ケース − = ∀ ∈ ℝ: ≥ 0 ：非負象限 • ∗ = − = + − ⊤ = ⊤ + = 0 2020/5/2 線形相補性問題ゼミ① 43 1.5 Generalizations 錐相補性問題 1 2 2 1 = 1 , 2
44. 変分不等式問題の定義 ⚫ 定義：変分不等式問題VI(, ) − ∈ ℝ, ⊆ ℝ, : ℝ → ℝ − から 方向への半空間がを含むこと find subject to ∈ ∀′ ∈ , ⊤ ′ − ≥ 0 2020/5/2 線形相補性問題ゼミ① 44 1.5 Generalizations 錐相補性問題
45. CPとVIの関係 ⚫ 主張：CPはVIの特殊ケース − 錐 ⊆ ℝ, : ℝ → ℝ − はCP(, )の解 ⇔ はVI(, )の解 2020/5/2 線形相補性問題ゼミ① 45 ∗ ∈ , ∈ ∗, ⊤ = 0 ∈ , ∀′ ∈ , ⊤ ′ − ≥ 0 1.5 Generalizations 錐相補性問題
46. 縦型線形相補性問題の定義 ⚫ 定義：縦型線形相補性問題VLCP − = 1 + ⋯ + − ∈ ℝ, ∈ ℝ, ∈ ℝ, ∈ ℝ× − 制約式が1個から 個に増えただけ find s.t. = + ≥ 0 ≥ 0 ς =1 = 0 2020/5/2 線形相補性問題ゼミ① 46 1.5 Generalizations 縦型線形相補性問題 横型線形相補性問題もあり
47. 陰相補性問題の定義 ⚫ 定義： − ∈ ℝ, ∈ ℝ, ∈ ℝ×, ℎ: ℝ → ℝ − LCPや非線形相補性問題は特殊ケース find s.t. = + ≥ 0 = − ℎ ≥ 0 ⊤ = 0 2020/5/2 線形相補性問題ゼミ① 47 1.5 Generalizations 陰相補性問題 1 − ℎ1 2 − ℎ2 例：リーダ・フォロワゲーム フォロワの最適行動はリーダの行動の関数． リーダの最適行動の定式化では， フォロワの最適行動をリーダの行動の陰関数として使用．
48. １章のまとめ ⚫ 線形相補性問題の定義 ⚫ 線形相補性問題の応用 ⚫ 相補錐の定義 − 解の存在性／唯一性／複数性の解析に重要 ⚫ 線形相補性問題と同値な問題 ⚫ 線形相補性問題の一般化 2020/5/2 線形相補性問題ゼミ① 48