工学系の関数解析輪読会 - 第1章 線型空間

工学系の関数解析 輪読会の第１章の資料です。

突貫で作ったものです。ご了承ください。

Transcript

1. 工学系の関数解析 第 1 章線形空間 Convergence Lab. 木村　優志 September 7, 2019
2. 1. 自己紹介 2. 工学系の関数解析 3. 第１章　線形空間 4. 1.1 線形空間 5. 線形空間の例 6. 部分空間 7. 線型結合 8. 線形多様体 9. 凸集合、凸関数 10. 1 次独立、1 次従属、次元 11. 同形な線型空間 2/45
3. 自己紹介
4. 自己紹介 • 木村優志 • 博士（工学） • Convergence Lab. 代表 • kimura@convergence-lab.com • AI ベンダ向けにコンサルティングをしています。 • 風車犬（ふうしゃいぬ）っていうアプリを今作っているよ。 4/45
5. 工学系の関数解析
6. 工学系の関数解析 • 著者：　小川英光 • 東京福祉大学教授　工学博士 • IEICE フェロー 6/45
7. まえがきより抜粋 本書は、広い意味での推定問題、あるいは、逆問題を目指すも のになっている。すなわち、信号・画像の最適復元や、ＣＴ画 像再構成問題、標本化定理、機械学習、パターン認識などの問 題を論じるさいに必要となる関数解析の手法をまとめたもので ある 証明には２種類の役割がある。第１は言うまでもなく、論理的 な正しさを示すためである。重要なことは証明の持つ第２の役 割である。それは、証明を読むことによって初めて、その定理 を真に理解できるということである。 7/45
8. 第１章　線形空間
9. １章の要約 線型空間とベクトル空間は同形です。 9/45
10. 1.1 線形空間
11. 1.1 線形空間 集合 X を考える。集合の中身は実数でも複素数でもベクトルで も関数でも良い。そこに与えられた構造だけに注目する。 定義 (線形空間) 集合 X の任意の 2 元 , と、任意の複数または実数 a に対し、 和 ⊕ ∈ 及び積 ∘ ∈ と呼ばれる演算が定義されてい て、それらが次の条件を満たしているとき、 を線形空間 (linear space) という。ただし、, , ℎ は の任意の元とする。 (i) ( ⊕ ) ⊕ ℎ = ⊕ ( ⊕ ℎ) （和の結合律） (ii) 任意の ∈ に対して ⊕ = となる元 ∈ が存在す る。 （零元の存在） (iii) 任意の ∈ に対して ⊕ ′ = となる元 ′ ∈ が存在 する。 （逆元の存在） (iv) () ∘ = ∘ ( ∘ ) (積の結合律) 11/45
12. 1.1 線形空間 定義 (線形空間 (続き)) (v) ( + ) ∘ = ( ∘ ) ⊕ ( ∘ ) （分配率） (vi) 1 ∘ = (vii) ∘ ( ⊕ ) = ( ∘ ) ⊕ ( ∘ ) （分配率） 混乱の恐れがないときは、 ⊕ を + で表し、 ∘ を で 表すことが多い。 また、定理よリ、和の交換率が成立する。 （あとで証明） ⊕ = ⊕ (1) 12/45
13. 1.1 線形空間 - 係数体 の元に掛けられる数 の全体を係数体 (field of scalars) とい う。 • 係数対に R(実数全体) を選ぶ: 　実線形空間 (relal linear space) • 係数対に C(複素数全体) を選ぶ：複素線形空間 (complex inear space) 13/45
14. 1.1 線形空間 - 零元と逆元 • : 零元 • ′: f の逆元 混乱の恐れがないときは を 0、′ を − で表す。 14/45
15. 1.1 線形空間 - 零元と逆元の一意性 補題 整形空間 の元に対して、次の関係が成立する。 ⊕ = ⊕ ℎ ならば = ℎ 証明 ′ ⊕ = (2) ⊕ = (3) まず、上式を示す。 15/45
16. 証明 (続き) = ⊕ = ⊕ (′ ⊕ ″) = ( ⊕ ′) ⊕ ″ = ⊕ ″ ′ ⊕ = ′ ⊕ ( ⊕ ″) = (′ ⊕ ) ⊕ ″ = ′ ⊕ ″ = よって、(1) が成立する。 16/45
17. 1.1 線形空間 - 零元と逆元の一意性 証明 (続き) (2) 式は、 ⊕ = ( ⊕ ′) ⊕ = ⊕ (′ ⊕ ) = ⊕ = 以上をもとに補題の証明を行う。 = ⊕ = (′ ⊕ ) ⊕ = ′ ⊕ = ′ ⊕ ( ⊕ ) = ′ ⊕ ( ⊕ ℎ) = (′ ⊕ ) ⊕ ℎ = ⊕ ℎ = ℎ 17/45
18. 1.1 線形空間 - 零元と逆元の一意性 定理 零元および逆元は一意に定まる 18/45
19. 定理 和の演算は可換である。すなわち、 の任意の元 , に対して 式 (1) が成立する。 証明 (1 + 1) ∘ ( ⊕ ) = (1 + 1) ∘ ⊕ (1 + 1) ∘ （略） = ⊕ ( ⊕ ) ⊕ 一方、 (1 + 1) ∘ ( ⊕ ) = 1 ∘ ( ⊕ ) ⊕ 1 ∘ ( ⊕ ) = ⊕ ( ⊕ ) ⊕ 以上から、以下が導ける。 ⊕ = ⊕ 19/45
20. 補題 0 ∘ = (6) ∘ = (7) (−1) ∘ = ′ (8) ( ⊕ )′ = ′ ⊕ ′ (9) ( ∘ )′ = (−) ∘ = ∘ ′ (10) ″ = (11) ∘ = ∘ かつ ≠ 0 ならば = (12) ∘ = ∘ かつ ≠ ならば = (13) 証明略 20/45
21. 線形空間の例
22. 線形空間の例 • = として、演算 ⊕, ∘ を通常の和と積で定義したもの。 零元 0 逆元 − • = として、演算 ⊕, ∘ を通常の和と積で定義したもの。 零元 0 逆元 − • 正の実数全体を + として、演算 ⊕, ∘ を、 ⊕ = , ∘ = と定義したもの。零元は 1、逆元は 1/ となる。 • N 次元複素数 に対して、ベクトルどうしの和を要素ご との和で定義し、ベクトルと複素数の積を各要素への積で 定義したもの。 • etc. 22/45
23. 差の演算 ⊖ = ⊕ ′ (14) 補題 ⊕ = ℎ ならば = ℎ ⊖ (15) ⊖ = (16) (−1) ∘ ( ⊖ ) = ⊖ (17) ( ⊕ ℎ) ⊖ ( ⊕ ℎ) = ⊖ (18) ∘ ( ⊖ ) = ( ∘ ) ⊖ ( ∘ ) (19) ( − ) ∘ = ( ∘ ) ⊖ ( ∘ ) (20) 証明略 23/45
24. 部分空間
25. 部分空間 の部分集合 が同じ演算に対して再び線型空間担っている とき、 を の線型部分空間、あるいは単に部分空間と呼ぶ。 1. の任意の元の和が に属する 2. の任意元のスカラー倍が に属する 補題 1. の部分空間は必ず の零元をふくむ 2. , が の部分空間 の元ならば、逆元 ′ および差 ⊖ も の元になる 25/45
26. 線型結合
27. 線型結合 の元 { } =1 と数 =1 に対して = ∑ =1 ∘ で与えられる の元 を、{ } =1 の線型結合、または一次結 合という。 を の部分集合とする。 の元の線型結合の全体 は部分空間になる。この部分空間を線形包といい、[] で表す。 が部分空間ならば、[] = となる。 27/45
28. 線形多様体
29. 線形多様体 部分空間を平行移動したものを、線形多様体あるいはアフィン 部分空間という。線形多様体 は = ⊕ (21) と表される。 ( ) = となる関数 () を求める問題は補間とよばれ、多 くの場面に現れる。たとえば、実験データを滑らかな関数で補 間する問題、画質を改善する画像復元問題、ニューラルネット ワークによる学習の問題は、すべて補間の問題として定式化す ることができる。 29/45
30. 凸集合、凸関数
31. 凸集合、凸関数 ３次元空間における急や立方体の性質を抽象化したもの。 の 2 元 1 , 2 に対して、 = ( ∘ 1 ) ⊕ ((1 − ) ∘ 2 ) ∶ 0 ≤≤ 1 (22) となる元 の全体を 1 と 2 を結ぶ線分といい、[1 , 2 ] で表す。 の任意の２点を結ぶ線分が に含まれる時,S は凸集合である という。 凸集合を を 0 だけ移動したもの、すなわち ⊕ も凸集合 である。したがって、線形多様体もまた凸集合である。 31/45
32. 凸結合、凸包 以下の式の を凸結合という。 = ∑ =1 ∘ ∶ ≥ 0, ∑ =1 = 1 (23) 凸結合の全体を凸包といい、() で表す。 32/45
33. 凸関数 線型空間 の凸部分集合 の上で定義された実数値関数 が、 任意の , ∈ と、0 ≤ ≤ 1 を満たす任意の実数 に対して、 (( ∘ ) ⊕ ((1 − ) ∘ )) ≤ () + (1 − )() (24) を満たす時、 を 上の凸関数という。特に、 ≠ かつ 0 < < 1 にたいして等号が成立しない時、 を狭義凸関数と いう。 33/45
34. 凸関数の例 つぎの関数 は [0, 1] 上の凸関数である。 1. 0 を区間 [0, 1] 上の固定した点とする時、() = |(0 )| 2. () = max 0≤≤1 |()| 3. () = ∫ 1 0 |()|2 34/45
35. 凸関数と凸集合の関係 定理 を線型空間 の凸部分集合上の凸関数とし、 を任意に固 定した実数とすれば、 = |() ≤ は凸集合となる。 証明略 35/45
36. 1 次独立、1 次従属、次元
37. １次従属、１次独立 線型空間 の元 { } =1 の中のある元が残りの現の線型結合 で表現できる時、{ } =1 は 1 次従属であるという。逆に、 { } =1 の中のどの現残りの現の線型結合で表現できない時 { } =1 は１次独立であるという。無限個の元は { }∞ =1 は、 もしその中の相異なる任意有限個の現が一次独立になる時、１ 次独立であるという。 37/45
38. １次独立になるための必要十分条件 補題 { } =1 が１次独立になるための必要十分条件は、 ∑ =1 ( ∘ ) = が全ての n に対して = 0 となる時、またその時に限って成 立することである。 証明は章末問題 に この１次独立な元があり + 1 個以上の元が常に１次 従属になるとき、 の次元は N であるといい、dim = と 表す。また、 は N 次元空間であるという。任意の自然数 に対して 個の 1 次独立な元が存在するとき、 は無限次元 空間であるといい、零元だけからなる部分空間の次元は 0 と定 義する。 38/45
39. 余次元、超平面 を線型空間 の部分空間とする。 の元 { } =1 に対して、 ∑ =1 ( ∘ ) ∈ (25) が成立するような全ては 0 でない複素数の組 { } =1 が存在す る時 { } =1 は を法として１次従属であるといい、 を法と して１次元独立であるという。 特に、 と { } =1 で貼られる部分空間が X と一致する時、 における の余次元が であるといい、このような有限個の { } =1 がなければ、 の余次元は ∞ であるという。 の余次元が 1 の時、 を超平面という。 39/45
40. 基底 定理 を 次元線型空間とする。 の 個の 1 次独立な元 { } =1 を使って、任意の ∈ が、 = ∑ =1 ∘ (26) の形に一意に表現できる。 { } =1 を の基底または基という。また、係数 { } =1 を の基底 { } = 1 に関する展開係数という。 40/45
41. ルジャンドル多項式 () = 1 2! (2 − 1) (27) と置くと、 は n 次多項式になる。展開係数は = 2 + 1 2 ∫ 1 −1 () () (28) によって決めることができる。この多項式は、ルジャンドル (Legendre) 多項式と呼ばれ、通常、 () とあらわされる。 41/45
42. ラグランジュ補間多項式 区間 [−1, 1] の相異なる + 1 個の点 { } =1 に対して、 () = ∏ =0 ( − ) (29) とおくと、 () = () ( − )′( ) ∶ = 0, 1, 2, ⋯ , (30) は空間 ∏ [−1, 1] の基底になる。この多項式は、多項式補間に 利用でき、ラグランジュ補間多項式と呼ばれる。 42/45
43. 同形な線型空間
44. 同形な線形空間 線形空間の中に基底を導入するということは、その空間の中に 座標系を導入することである。このとき、展開係数は座標系の 座標成分になっている。こうして、線形空有を幾何学的に見る ことができるようになる。 の各元 に対して、展開係数の組が一意に定まる。この展開 係数の組からできる 次元ベクトルを で表し、 を に対 応付ける変換を で表す。 () = (31) 二つの線型空間 , の間に一対一写像 が存在し、任意の , ∈ と任意の複素数 , に対して、 (( ∘ ) ⊕ ( ∘ )) = ( ∘ ()) ⊕ ( ∘ ()) (32) が成立する時、 と は線型空間として同形であるといい、 を同形写像という。 44/45
45. 定理 全ての 次元複素（実）線型空間 は、 次元ベクトル空間 () と同形である。 45/45