2018年度 化学工学特論２ 第１０回

前回の達成目標
今回の達成目標
データセットの可視化
とりあえず今日は実行できれば OK としよう！
主成分分析 (PCA) とは？
PCAの図解
PCAで できること
データセットの表し方
PCAの前に
2変数のときのPCA (3変数以上への拡張も簡単)
主成分とローディング
行列で表すと・・・
第１主成分を考える
ローディングの規格化条件
主成分の分散を最大化
Sを最大化するローディングを求める
Lagrangeの未定乗数法
Gを偏微分して 0
行列で表す
固有値問題へ
寄与率
累積寄与率
PCA を実行してみよう！
t-SNE とは？
t-SNE のイメージ
文字の定義
データの前処理
t-SNEでは何をしているか？
p(x(i), x(j)) って何？
p(x(j) | x(i)) って何？
x(i) と x(j) の距離と p(x(i), x(j)) の関係
p(x(i) | x(j)) の σi はどうする？
p(z(i), z(j)) って何？
p(z(i), z(j)) の式
目的関数 C の最小化
z(i) の初期値
perplexity をどう決めるか？

Transcript

1. 化学⼯学特論２ 第１０回 2018年12月3日 (月) 0 理⼯学部 応用化学科 データ化学⼯学研究室 専任講師 ⾦⼦ 弘昌
2. 前回の達成目標 分⼦をパソコンで表現する方法について知る 分⼦を表示できる 化学構造を数値化できる 分⼦をまとめて管理できる 1
3. 今回の達成目標 データセットの可視化について理解する 主成分分析 (PCA) によって、サンプルの様⼦を確認できるようになる t-distributed Stochastic Neighbor Embedding (t-SNE)によって、 サンプルの様⼦を確認できるようになる 2
4. データセットの可視化 あやめのデータ・・・150 サンプル(あやめ) × 4 変数 ⽔溶解度データ・・・ 1290サンプル(化合物) × 200 変数 (記述⼦) 4 変数 や 200 変数 の中から 2 つ (3つ) を選んで、サンプルを プロットすることで確認はできる 4 変数以上になったとき、変数全体を考慮してサンプルの様⼦を 確認するには︖ 3 主成分分析 (Principal Component Analysis, PCA) t-distributed Stochastic Neighbor Embedding (t-SNE)
5. とりあえず今日は実⾏できれば OK としよう︕ PCA, t-SNE ともに、理論は結構難しいです とりあえずは、PCA, t-SNE でどんなことができるのか理解し、 実際に Python で使えるようになりましょう︕ ぜひ自身の研究でも活用できればと思います 4
6. 主成分分析 (PCA) とは︖ 主成分分析 (Principal Component Analysis, PCA) • ⾒える化 (可視化) する手法 • 多変量 (多次元) のデータセットを低次元化する方法 • データセットのもつ情報量をなるべく失わないように 元の次元から より低い次元でデータセットを表現 ⁃ “より低い次元” を２次元にすれば可視化を達成 5
7. PCAの図解 6 X1 : 身⻑ 例) １５⼈の身⻑・体重データ (多次元のデータ) X2 : 体重 PCA 第１主成分軸 第２主成分軸 第１主成分だけでも、１５⼈のだいたいの情報はおさえられる
8. PCAで できること データセットのだいたいの様⼦を⾒る • いろいろな主成分同⼠のプロットを⾒る • それぞれの主成分の角度を⾒ることで、データセットがどんな方向に 分布しているか分かる ノイズを除く • 第4成分以降をノイズとみなして、第1,2,3主成分のみ使う、とか データセットの中で外れているサンプルを探す • PCAをした後に主成分のプロットを⾒たとき、他のサンプルと 離れているサンプルは、PCA前のサンプル同⼠も必ず離れている 変数 (PCA後は成分) の間の相関を 0 にする • 回帰分析をしたときの回帰係数の値が安定になる 7
9. データセットの表し方 8 (1) (1) (1) 1 2 (2) (2) (2) 1 2 ( ) ( ) ( ) 1 2 d d n n n d x x x x x x x x x ⋯ ⋯ ⋮ ⋮ ⋯ ⋮ ⋯ ( ) k i x : k 個目のサンプルにおける、i 番目の変数(記述⼦) の値 d n : 変数(記述⼦) の数 : サンプルの数 変数(記述⼦) サンプル
10. PCAの前に PCAの前に、必ず前処理を⾏いましょう • オートスケーリング (標準化) • 分散が 0、もしくは同じ値を多くもつ変数の削除 9
11. 2変数のときのPCA (3変数以上への拡張も簡単) 10 (1) (1) 1 2 (2) (2) 1 2 ( ) ( ) 1 2 n n x x x x x x ⋮ ⋮ サンプル 変数(記述⼦) 1 2 x x
12. 主成分とローディング 11 ( ) ( ) ( ) ( ) 1 1 1 1 1 2 2 2 2 2 1 1 2 2 t = x x t = x x p p p p + + t i : 第 i 主成分 ( ) j i p : 第 i 主成分に対応する、j 番目の変数(記述⼦) の重み (ローディング)
13. ⾏列で表すと・・・ 12 ( ) ( ) ( ) ( ) (1) (1) (1) (1) 1 2 1 2 1 2 (2) (2) (2) (2) 1 1 1 2 1 2 1 2 2 2 ( ) ( ) ( ) ( ) 1 2 1 2 n n n n t t x x p p t t x x p p t t x x               =                       ⋮ ⋮ ⋮ ⋮ ( ) k i x : k 個目のサンプルにおける、i 番目の変数(記述⼦) の値 ( ) j i p : 第 i 主成分に対応する、j 番目の変数(記述⼦) の重み (ローディング) : k 個目のサンプルにおける、第 i 主成分の値 ( ) k i t
14. 第１主成分を考える 13 ( ) ( ) 1 1 1 1 1 2 2 t = x x p p +
15. ローディングの規格化条件 ローディング(重み)を定数倍することで、主成分が変わってしまうため ローディングの二乗和は 1 とする 14 ( ) ( ) ( ) ( ) 2 2 1 1 1 2 = 1 p p +
16. 主成分の分散を最大化 データセットのばらつき (分散) が最大の方向を第一主成分軸に 元のデータセットはオートスケーリングしてあり、各変数の平均は０ 軸を回転 (＋反転) するだけなので、主成分の平均も 0 分散を最大化させることは、主成分の値の二乗和を最大化させることに 対応  の S を最大化︕ 15 ( )2 ( ) 1 1 n i i S t = =  : k 個目のサンプルにおける、第１主成分の値 ( ) 1 k t
17. Sを最大化するローディングを求める 16 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 ( ) 1 1 2 1 1 ( ) ( ) 1 1 2 2 1 2 2 2 2 1 1 1 1 ( ) ( ) ( ) ( ) 1 1 1 2 1 2 2 2 1 1 1 2 n i i n i i i n n n i i i i i i i S t x p x p p x p p x x p x = = = = = = = + = + +      ( ) ( ) ( ) ( ) 2 2 1 1 1 2 = 1 p p + ( ) ( ) 1 1 1 2 , p p が規格化条件 を満たしながら S を最大化する Lagrangeの未定乗数法
18. Lagrangeの未定乗数法 17 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 2 1 1 1 2 2 2 2 2 2 2 1 1 1 1 1 1 ( ) ( ) ( ) ( ) 1 1 1 2 1 2 2 2 1 2 1 1 1 - 1 2 1 n n n i i i i i i i G S p p p x p p x x p x p p λ λ = = =   = − +       = + + − + −        λ を未知の定数として下の G が最大となる λ , を求める ( ) ( ) 1 1 1 2 , p p G が最大 G が極大 G を λ , で偏微分して 0 ( ) ( ) 1 1 1 2 , p p
19. Gを偏微分して 0 18 G が最大 G が極大 G を λ , で偏微分して 0 ( ) ( ) 1 1 1 2 , p p ( ) ( ) ( ) ( ) ( ) ( ) 2 1 1 ( ) ( ) ( ) 1 1 1 2 2 1 1 2 1 1 ( ) ( ) ( ) 1 2 1 2 2 1 1 0 0 n n i i i i i n n i i i i i x p x x p x x p x p λ λ = = = =     − + =             + − =             ( ) ( ) ( ) ( ) 2 ( ) ( ) ( ) 1 1 1 2 1 1 1 1 2 ( ) ( ) ( ) 2 1 2 2 1 1 0 n n i i i i i n n i i i i i x x x p p x x x λ λ = = = =   −       =         −         ⾏列で表現
20. ⾏列で表す 19 ( ) ( ) ( ) ( ) 2 ( ) ( ) ( ) 1 1 1 2 1 1 1 1 2 ( ) ( ) ( ) 2 1 2 2 1 1 0 n n i i i i i n n i i i i i x x x p p x x x λ λ = = = =   −       =         −         ( ) ( ) 1 T 0 λ − = X X E p ( ) ( ) ( ) (1) (1) 1 2 1 (2) (2) 1 1 1 2 1 2 ( ) ( ) 1 2 1 0 , , 0 1 n n x x p x x p x x           = = =                   X E p ⋮ ⋮ ただし、
21. 固有値問題へ 20 ( ) ( ) ( ) ( ) 2 ( ) ( ) ( ) 1 1 1 2 1 1 1 1 2 ( ) ( ) ( ) 2 1 2 2 1 1 0 n n i i i i i n n i i i i i x x x p p x x x λ λ = = = =   −       =         −         以外の解をもつためには、 ( ) ( ) 1 1 1 2 0 p p = = ( ) T λ − X X E の⾏列式が 0 である必要がある λ を固有値、 p(1) に加えて p(2) を固有ベクトルとする固有値問題 ( ) ( ) 1 T 0 λ − = X X E p これによって p(1) , p(2) を求め、対応する主成分を計算する
22. 寄与率 21 第 i 主成分に対応する固有値 λi は、その主成分の二乗和に等しい つまり、 ( )2 ( ) 1 n j i i j t λ = =  固有値 λi を第 i 主成分のもつ情報量と仮定する 全固有値の中の λi の割合を寄与率 ci として、 第 i 主成分のもつ情報量の割合として⽤いる 1 i i m j j c λ λ = =  m : すべての主成分の数
23. 累積寄与率 第 i 主成分までの寄与率の和を、第 i 主成分までの累積寄与率とする たとえば、 • 可視化した第２主成分までの累積寄与率は 0.75 であった • 累積寄与率が 0.9 を超えた最初の主成分までを⽤いる といったように⽤いられる 22
24. PCA を実⾏してみよう︕ 23
25. t-SNE とは︖ t-distributed Stochastic Neighbor Embedding (t-SNE) 非線形の可視化手法の一つ 写像というよりは、サンプル全体が⾒やすいように二次元平面に サンプルを配置するイメージ 元の空間におけるサンプル間の距離関係が二次元平面における サンプル間の距離関係として保持されるほど値が⼩さくなる目的関数を 準備して、それが⼩さくなるように二次元平面にサンプルを配置させる 24
26. t-SNE のイメージ 25 t-SNE t-SNE S-curve Swiss roll
27. 文字の定義 元の空間におけるデータセットを X とする • 変数の数 : m • サンプルの数 : n • つまり、X は n × m の⾏列 • i 番目のサンプルを x(i) を表す 低次元空間におけるデータセットを Z とする • 今回は二次元に低次元化するため、変数の数 : 2 • サンプルの数 : n • Z は n × 2 の⾏列 • i 番目のサンプルを z(i) を表す 26
28. データの前処理 基本的に、X を標準化 (オートスケーリング) する X (を標準化したあと) に前処理として主成分分析 (Principal Component Analysis, PCA) を⾏うこともある 27
29. t-SNEでは何をしているか︖ 28 目的関数 C を最⼩化している ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 , , log , i j n n i j i j i j p C p p = = =  x x x x z z ざっくりというと、C は x(i) と x(j) の距離関係と、z(i) と z(j) との 距離関係が似ているほど⼩さくなる 元の空間におけるサンプル間の距離関係と 二次元空間におけるサンプル間の距離関係とが 同じになるように、Z を作成できる︕ 詳しくは、次のページ以降
30. p(x(i), x(j)) って何︖ 29 p(x(i), x(j)) は、x(i) と x(j) の同時確率分布 x(i) と x(j) の “近さ” をあらわす つまり、x(i) と x(j) が似ている (距離が⼩さい) ほど、大きくなる t-SNE では下のように定義している ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) | | , 2 j i i j i j p p p + = x x x x x x
31. p(x(j) | x(i)) って何︖ 30 ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 2 2 2 1 exp 2 | exp 1 2 i j i j i i k n k i p σ σ =   −   −       =   −   − −        x x x x x x p(x(j) | x(i)) は、x(i) が与えられたときの x(j) の事後確率分布 t-SNE では正規分布を仮定して下のように定義している σi : i 番目のサンプルに対応する標準偏差 分⺟の -1 は、k = 1 から n まで和を取るときに、k = i が含まれてしまうため その分を引くためのもの
32. x(i) と x(j) の距離と p(x(i), x(j)) の関係 31 x(i) と x(j) の距離が近い (似ている) p(x(j) | x(i)) や p(x(i) | x(j)) が大きくなる p(x(i), x(j)) が大きくなる また、 により、 x(i) と x(j) に対して対象になっている (x(i) と x(j) を入れ替えても同じ値) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) | | , 2 j i i j i j p p p + = x x x x x x
33. p(x(i) | x(j)) の σi はどうする︖ 周辺にサンプルが密に存在しているサンプル x(i) にとっては、 σi は⼩さくあるべき 周辺にサンプルがあまりないサンプル x(i) にとっては、σi は大きくあるべき 32 x(i) に対応する確率密度分布 ( p(x(1) | x(i)), p(x(2) | x(i)),…, p(x(n) | x(i)) ) の情報エントロピー(シャノンエントロピー) H を 固定して、σi を決めよう︕ ( ) ( ) ( ) ( ) ( ) ( ) 2 1 | log | n j i j i j H p p = = − x x x x 2H perplexity = t-SNE では二分探索 [1] で σi を計算 (perplexity は σi に対して単調増加なのでOK) [1] https://ja.wikipedia.org/wiki/二分探索 perplexity は事前に設定する必要がある
34. p(z(i), z(j)) って何︖ 33 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 , , log , i j n n i j i j i j p C p p = = =  x x x x z z 評価関数 について、 p(x(i), x(j)) は OK、次は p(z(i), z(j)) p(z(i), z(j)) は、z(i) と z(j) の同時確率分布 z(i) と z(j) の “近さ” をあらわす つまり、z(i) と z(j) が似ている (距離が⼩さい) ほど、大きくなる
35. p(z(i), z(j)) の式 34 t-SNE では自由度１の (スチューデントの) t 分布 [1] を仮定して 下のように定義している [1] https://ja.wikipedia.org/wiki/T分布 ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 2 1 1 1 1 , 1 1 i j i j n n k l k l p n = =         + −   =     −     + −    z z z z z z 分⺟の -n は、和を取るときに、k = l が含まれてしまうため その分を引くためのもの
36. 目的関数 C の最⼩化 35 目的関数 C を z(i) で偏微分すると、 ( ) ( ) ( ) ( ) ( ) ( ) ( ) { } ( ) ( ) ( ) ( ) ( ) 2 1 , , 4 1 i j i j i j n i i j j p p C = − − ∂ = ∂ + −  x x z z z z z z z 確率的勾配降下法 [1] で z(i) を更新していく [1] https://ja.wikipedia.org/wiki/確率的勾配降下法 t-SNE ではモメンタム法を利用
37. z(i) の初期値 36 z(i) の初期値は、平均 0, 標準偏差 10-4 の正規分布に従うように、 乱数で生成
38. perplexity をどう決めるか︖ ① 試⾏錯誤によって決める 目安は、5 〜 50 の間の値 ② k3n-error (k-Nearest Neighbor Normalized Error for visualization and reconstruction) [1] によって最適化する こちら https://github.com/hkaneko1985/tsne に k3n-error を用いた perplexity の最適化のデモがあります 37 [1] H. Kaneko, Chemom. Intell. Lab. Syst., 176, 22-33, 2018