Upgrade to Pro — share decks privately, control downloads, hide ads and more …

工学系の関数解析輪読会 - 第1章 線型空間

工学系の関数解析輪読会 - 第1章 線型空間

工学系の関数解析 輪読会の第1章の資料です。

突貫で作ったものです。ご了承ください。

Convergence Lab.

September 07, 2019
Tweet

More Decks by Convergence Lab.

Other Decks in Technology

Transcript

  1. 工学系の関数解析
    第 1 章線形空間
    Convergence Lab. 木村 優志
    September 7, 2019

    View full-size slide

  2. 1. 自己紹介
    2. 工学系の関数解析
    3. 第1章 線形空間
    4. 1.1 線形空間
    5. 線形空間の例
    6. 部分空間
    7. 線型結合
    8. 線形多様体
    9. 凸集合、凸関数
    10. 1 次独立、1 次従属、次元
    11. 同形な線型空間
    2/45

    View full-size slide

  3. 自己紹介

    View full-size slide

  4. 自己紹介
    • 木村優志
    • 博士(工学)
    • Convergence Lab. 代表
    [email protected]
    • AI ベンダ向けにコンサルティングをしています。
    • 風車犬(ふうしゃいぬ)っていうアプリを今作っているよ。
    4/45

    View full-size slide

  5. 工学系の関数解析

    View full-size slide

  6. 工学系の関数解析
    • 著者: 小川英光
    • 東京福祉大学教授 工学博士
    • IEICE フェロー
    6/45

    View full-size slide

  7. まえがきより抜粋
    本書は、広い意味での推定問題、あるいは、逆問題を目指すも
    のになっている。すなわち、信号・画像の最適復元や、CT画
    像再構成問題、標本化定理、機械学習、パターン認識などの問
    題を論じるさいに必要となる関数解析の手法をまとめたもので
    ある
    証明には2種類の役割がある。第1は言うまでもなく、論理的
    な正しさを示すためである。重要なことは証明の持つ第2の役
    割である。それは、証明を読むことによって初めて、その定理
    を真に理解できるということである。
    7/45

    View full-size slide

  8. 第1章 線形空間

    View full-size slide

  9. 1章の要約
    線型空間とベクトル空間は同形です。
    9/45

    View full-size slide

  10. 1.1 線形空間

    View full-size slide

  11. 1.1 線形空間
    集合 X を考える。集合の中身は実数でも複素数でもベクトルで
    も関数でも良い。そこに与えられた構造だけに注目する。
    定義 (線形空間)
    集合 X の任意の 2 元 , と、任意の複数または実数 a に対し、
    和 ⊕ ∈ 及び積 ∘ ∈ と呼ばれる演算が定義されてい
    て、それらが次の条件を満たしているとき、 を線形空間
    (linear space) という。ただし、, , ℎ は の任意の元とする。
    (i) ( ⊕ ) ⊕ ℎ = ⊕ ( ⊕ ℎ) (和の結合律)
    (ii) 任意の ∈ に対して ⊕ = となる元 ∈ が存在す
    る。 (零元の存在)
    (iii) 任意の ∈ に対して ⊕ ′ = となる元 ′ ∈ が存在
    する。 (逆元の存在)
    (iv) () ∘ = ∘ ( ∘ ) (積の結合律)
    11/45

    View full-size slide

  12. 1.1 線形空間
    定義 (線形空間 (続き))
    (v) ( + ) ∘ = ( ∘ ) ⊕ ( ∘ ) (分配率)
    (vi) 1 ∘ =
    (vii) ∘ ( ⊕ ) = ( ∘ ) ⊕ ( ∘ ) (分配率)
    混乱の恐れがないときは、 ⊕ を + で表し、 ∘ を で
    表すことが多い。
    また、定理よリ、和の交換率が成立する。
    (あとで証明)
    ⊕ = ⊕ (1)
    12/45

    View full-size slide

  13. 1.1 線形空間 - 係数体
    の元に掛けられる数 の全体を係数体 (field of scalars) とい
    う。
    • 係数対に R(実数全体) を選ぶ:  実線形空間 (relal linear
    space)
    • 係数対に C(複素数全体) を選ぶ:複素線形空間 (complex
    inear space)
    13/45

    View full-size slide

  14. 1.1 線形空間 - 零元と逆元
    • : 零元
    • ′: f の逆元
    混乱の恐れがないときは を 0、′ を − で表す。
    14/45

    View full-size slide

  15. 1.1 線形空間 - 零元と逆元の一意性
    補題
    整形空間 の元に対して、次の関係が成立する。
    ⊕ = ⊕ ℎ ならば = ℎ
    証明
    ′ ⊕ = (2)
    ⊕ = (3)
    まず、上式を示す。
    15/45

    View full-size slide

  16. 証明 (続き)
    = ⊕ = ⊕ (′ ⊕ ″) = ( ⊕ ′) ⊕ ″ = ⊕ ″
    ′ ⊕ = ′ ⊕ ( ⊕ ″) = (′ ⊕ ) ⊕ ″ = ′ ⊕ ″ =
    よって、(1) が成立する。
    16/45

    View full-size slide

  17. 1.1 線形空間 - 零元と逆元の一意性
    証明 (続き)
    (2) 式は、
    ⊕ = ( ⊕ ′) ⊕ = ⊕ (′ ⊕ ) = ⊕ =
    以上をもとに補題の証明を行う。
    = ⊕ = (′ ⊕ ) ⊕ = ′ ⊕ = ′ ⊕ ( ⊕ ) = ′ ⊕ ( ⊕ ℎ)
    = (′ ⊕ ) ⊕ ℎ = ⊕ ℎ = ℎ
    17/45

    View full-size slide

  18. 1.1 線形空間 - 零元と逆元の一意性
    定理
    零元および逆元は一意に定まる
    18/45

    View full-size slide

  19. 定理
    和の演算は可換である。すなわち、 の任意の元 , に対して
    式 (1) が成立する。
    証明
    (1 + 1) ∘ ( ⊕ ) = (1 + 1) ∘ ⊕ (1 + 1) ∘
    (略)
    = ⊕ ( ⊕ ) ⊕
    一方、
    (1 + 1) ∘ ( ⊕ ) = 1 ∘ ( ⊕ ) ⊕ 1 ∘ ( ⊕ )
    = ⊕ ( ⊕ ) ⊕
    以上から、以下が導ける。
    ⊕ = ⊕ 19/45

    View full-size slide

  20. 補題
    0 ∘ = (6)
    ∘ = (7)
    (−1) ∘ = ′ (8)
    ( ⊕ )′ = ′ ⊕ ′ (9)
    ( ∘ )′ = (−) ∘ = ∘ ′ (10)
    ″ = (11)
    ∘ = ∘ かつ ≠ 0 ならば = (12)
    ∘ = ∘ かつ ≠ ならば = (13)
    証明略
    20/45

    View full-size slide

  21. 線形空間の例

    View full-size slide

  22. 線形空間の例
    • = として、演算 ⊕, ∘ を通常の和と積で定義したもの。
    零元 0 逆元 −
    • = として、演算 ⊕, ∘ を通常の和と積で定義したもの。
    零元 0 逆元 −
    • 正の実数全体を + として、演算 ⊕, ∘ を、
    ⊕ = , ∘ =
    と定義したもの。零元は 1、逆元は 1/ となる。
    • N 次元複素数 に対して、ベクトルどうしの和を要素ご
    との和で定義し、ベクトルと複素数の積を各要素への積で
    定義したもの。
    • etc.
    22/45

    View full-size slide

  23. 差の演算
    ⊖ = ⊕ ′ (14)
    補題
    ⊕ = ℎ ならば = ℎ ⊖ (15)
    ⊖ = (16)
    (−1) ∘ ( ⊖ ) = ⊖ (17)
    ( ⊕ ℎ) ⊖ ( ⊕ ℎ) = ⊖ (18)
    ∘ ( ⊖ ) = ( ∘ ) ⊖ ( ∘ ) (19)
    ( − ) ∘ = ( ∘ ) ⊖ ( ∘ ) (20)
    証明略
    23/45

    View full-size slide

  24. 部分空間

    View full-size slide

  25. 部分空間
    の部分集合 が同じ演算に対して再び線型空間担っている
    とき、 を の線型部分空間、あるいは単に部分空間と呼ぶ。
    1. の任意の元の和が に属する
    2. の任意元のスカラー倍が に属する
    補題
    1. の部分空間は必ず の零元をふくむ
    2. , が の部分空間 の元ならば、逆元 ′ および差 ⊖
    も の元になる
    25/45

    View full-size slide

  26. 線型結合

    View full-size slide

  27. 線型結合
    の元 {
    }
    =1
    と数

    =1
    に対して
    =


    =1


    で与えられる の元 を、{
    }
    =1
    の線型結合、または一次結
    合という。 を の部分集合とする。 の元の線型結合の全体
    は部分空間になる。この部分空間を線形包といい、[] で表す。
    が部分空間ならば、[] = となる。
    27/45

    View full-size slide

  28. 線形多様体

    View full-size slide

  29. 線形多様体
    部分空間を平行移動したものを、線形多様体あるいはアフィン
    部分空間という。線形多様体 は
    =
    ⊕ (21)
    と表される。
    (
    ) =
    となる関数 () を求める問題は補間とよばれ、多
    くの場面に現れる。たとえば、実験データを滑らかな関数で補
    間する問題、画質を改善する画像復元問題、ニューラルネット
    ワークによる学習の問題は、すべて補間の問題として定式化す
    ることができる。
    29/45

    View full-size slide

  30. 凸集合、凸関数

    View full-size slide

  31. 凸集合、凸関数
    3次元空間における急や立方体の性質を抽象化したもの。 の
    2 元 1
    , 2
    に対して、
    = ( ∘ 1
    ) ⊕ ((1 − ) ∘ 2
    ) ∶ 0 ≤≤ 1 (22)
    となる元 の全体を 1
    と 2
    を結ぶ線分といい、[1
    , 2
    ] で表す。
    の任意の2点を結ぶ線分が に含まれる時,S は凸集合である
    という。
    凸集合を を 0
    だけ移動したもの、すなわち ⊕ も凸集合
    である。したがって、線形多様体もまた凸集合である。
    31/45

    View full-size slide

  32. 凸結合、凸包
    以下の式の を凸結合という。
    =


    =1



    ≥ 0,


    =1

    = 1 (23)
    凸結合の全体を凸包といい、() で表す。
    32/45

    View full-size slide

  33. 凸関数
    線型空間 の凸部分集合 の上で定義された実数値関数 が、
    任意の , ∈ と、0 ≤ ≤ 1 を満たす任意の実数 に対して、
    (( ∘ ) ⊕ ((1 − ) ∘ )) ≤ () + (1 − )() (24)
    を満たす時、 を 上の凸関数という。特に、 ≠ かつ
    0 < < 1 にたいして等号が成立しない時、 を狭義凸関数と
    いう。
    33/45

    View full-size slide

  34. 凸関数の例
    つぎの関数 は [0, 1] 上の凸関数である。
    1. 0
    を区間 [0, 1] 上の固定した点とする時、() = |(0
    )|
    2. () = max
    0≤≤1
    |()|
    3. () = ∫
    1
    0
    |()|2
    34/45

    View full-size slide

  35. 凸関数と凸集合の関係
    定理
    を線型空間 の凸部分集合上の凸関数とし、 を任意に固
    定した実数とすれば、 = |() ≤ は凸集合となる。
    証明略
    35/45

    View full-size slide

  36. 1 次独立、1 次従属、次元

    View full-size slide

  37. 1次従属、1次独立
    線型空間 の元 {
    }
    =1
    の中のある元が残りの現の線型結合
    で表現できる時、{
    }
    =1
    は 1 次従属であるという。逆に、
    {
    }
    =1
    の中のどの現残りの現の線型結合で表現できない時
    {
    }
    =1
    は1次独立であるという。無限個の元は {
    }∞
    =1
    は、
    もしその中の相異なる任意有限個の現が一次独立になる時、1
    次独立であるという。
    37/45

    View full-size slide

  38. 1次独立になるための必要十分条件
    補題
    {
    }
    =1
    が1次独立になるための必要十分条件は、


    =1
    (

    ) =
    が全ての n に対して
    = 0 となる時、またその時に限って成
    立することである。
    証明は章末問題
    に この1次独立な元があり + 1 個以上の元が常に1次
    従属になるとき、 の次元は N であるといい、dim = と
    表す。また、 は N 次元空間であるという。任意の自然数
    に対して 個の 1 次独立な元が存在するとき、 は無限次元
    空間であるといい、零元だけからなる部分空間の次元は 0 と定
    義する。
    38/45

    View full-size slide

  39. 余次元、超平面
    を線型空間 の部分空間とする。 の元 {
    }
    =1
    に対して、


    =1
    (

    ) ∈ (25)
    が成立するような全ては 0 でない複素数の組 {
    }
    =1
    が存在す
    る時 {
    }
    =1
    は を法として1次従属であるといい、 を法と
    して1次元独立であるという。
    特に、 と {
    }
    =1
    で貼られる部分空間が X と一致する時、
    における の余次元が であるといい、このような有限個の
    {
    }
    =1
    がなければ、 の余次元は ∞ であるという。
    の余次元が 1 の時、 を超平面という。
    39/45

    View full-size slide

  40. 基底
    定理
    を 次元線型空間とする。 の 個の 1 次独立な元
    {
    }
    =1
    を使って、任意の ∈ が、
    =


    =1


    (26)
    の形に一意に表現できる。
    {
    }
    =1
    を の基底または基という。また、係数 {
    }
    =1

    の基底 {
    } = 1 に関する展開係数という。
    40/45

    View full-size slide

  41. ルジャンドル多項式

    () =
    1
    2!


    (2 − 1) (27)
    と置くと、
    は n 次多項式になる。展開係数は

    =
    2 + 1
    2

    1
    −1
    ()
    () (28)
    によって決めることができる。この多項式は、ルジャンドル
    (Legendre) 多項式と呼ばれ、通常、
    () とあらわされる。
    41/45

    View full-size slide

  42. ラグランジュ補間多項式
    区間 [−1, 1] の相異なる + 1 個の点 {
    }
    =1
    に対して、
    () =


    =0
    ( −
    ) (29)
    とおくと、

    () =
    ()
    ( −
    )′(
    )
    ∶ = 0, 1, 2, ⋯ , (30)
    は空間 ∏

    [−1, 1] の基底になる。この多項式は、多項式補間に
    利用でき、ラグランジュ補間多項式と呼ばれる。
    42/45

    View full-size slide

  43. 同形な線型空間

    View full-size slide

  44. 同形な線形空間
    線形空間の中に基底を導入するということは、その空間の中に
    座標系を導入することである。このとき、展開係数は座標系の
    座標成分になっている。こうして、線形空有を幾何学的に見る
    ことができるようになる。
    の各元 に対して、展開係数の組が一意に定まる。この展開
    係数の組からできる 次元ベクトルを で表し、 を に対
    応付ける変換を で表す。
    () = (31)
    二つの線型空間 , の間に一対一写像 が存在し、任意の
    , ∈ と任意の複素数 , に対して、
    (( ∘ ) ⊕ ( ∘ )) = ( ∘ ()) ⊕ ( ∘ ()) (32)
    が成立する時、 と は線型空間として同形であるといい、
    を同形写像という。
    44/45

    View full-size slide

  45. 定理
    全ての 次元複素(実)線型空間 は、 次元ベクトル空間
    () と同形である。
    45/45

    View full-size slide