2018年度 化学工学特論２ 第１１回

前回の達成目標
今回の達成目標
クラスタリング
階層的クラスタリング
計算の流れ
クラスター間の距離をどうするか？
クラスターの数
クラスタリングを実行してみよう！
クラスタリングとクラス分類
構造物性相関・構造活性相関
決定木 (Decision Tree, DT) とは？
決定木のでできることのイメージ (クラス分類)
決定木モデルの木構造 (クラス分類)
決定木のアルゴリズム
クラス分類における評価関数 E
クラス分類の結果の評価
クラス分類の結果の評価 例
いつ木の成長を止めるか？
クロスバリデーション
決定木をしてみよう！
Random Forest (RF) とは？
RFの概略図
どのようにサブデータセットを作るか？
サブデータセットの数・説明変数の数はどうする？
どのように推定結果を統合するか？
Out-Of-Bag (OOB)
ランダムフォレストをしてみよう！
[補足] 説明変数 (記述子) の重要度
[補足] OOBを用いた説明変数 (記述子) の重要度

Transcript

1. 化学⼯学特論２ 第１１回 2018年12月10日 (月) 0 理⼯学部 応用化学科 データ化学⼯学研究室 専任講師 ⾦⼦ 弘昌
2. 前回の達成目標 データセットの可視化について理解する 主成分分析 (PCA) によって、サンプルの様⼦を確認できるようになる t-distributed Stochastic Neighbor Embedding (t-SNE)によって、 サンプルの様⼦を確認できるようになる 1
3. 今回の達成目標 クラスタリングについて理解する 階層的クラスタリングを実⾏して、デンドログラムや可視化の結果を 確認できるようになる クラス分類について理解する 決定木とランダムフォレストを実⾏してクラス分類ができるようになる 2
4. クラスタリング サンプルを塊 (クラスター) ごとに、自動に分ける どのサンプルとどのサンプルが仲間か︖ • 階層的クラスタリング 3
5. 階層的クラスタリング 4 デンドログラム (dendrogram)
6. 計算の流れ 1. それぞれのサンプルが一つずつのクラスターであるとする 2. すべてのクラスター間の距離を計算 3. 距離が一番近い２つを一つのクラスターとして結合する 4. 2. と 3. を繰り返す 5
7. クラスター間の距離をどうするか︖ 最近隣法︓クラスター同⼠で、最も近いサンプル同⼠の距離 最遠隣法︓クラスター同⼠で、最も遠いサンプル同⼠の距離 重⼼法︓クラスター内のサンプルの重⼼(平均) の間の距離 平均距離法︓クラスター同⼠で、すべてのサンプル間の距離の平均 ウォード法︓クラスター内のサンプルの重⼼(平均)と、そのクラスター内の サンプルとの距離の⼆乗和に基づいて、２つのクラスターを結合するか どうか決める 6
8. クラスターの数 7
9. クラスタリングを実⾏してみよう︕ 8
10. クラスタリングとクラス分類 クラスタリング • サンプルを塊 (クラスター) ごとに、自動に分ける • クラスの情報 (正解) は用いない ⁃ 階層的クラスタリング クラス分類 • クラスの情報 (正解) に基づいて、サンプルを分類する ⁃ 決定木 (Decision Tree, DT) ⁃ ランダムフォレスト (Random Forests, RF) 9
11. 構造物性相関・構造活性相関 10 X: 説明変数 y: 目的変数 回帰モデル クラス分類モデル y = f( X ) モデリング データベース yの推定値 新しいデータ xnew 構造記述⼦*など 予測 物性・活性など x1 x2 1 2 2 1 3 3 データ1 データ2 データ3 例) X: 2変数 データ数: 3 線形モデル *化学構造の情報を数値化したもの 例) 分⼦量、炭素原⼦の数、 ベンゼン環の数 y 活性なし 活性なし 活性あり 1 2 3 1 2 3 クラス分類 モデル
12. 決定木 (Decision Tree, DT) とは︖ クラス分類モデルが、木のような構造で与えられる モデルを直感的に理解しやすい 理解しやすい反⾯、モデルの精度は低くなってしまうことが多い 11
13. 決定木のでできることのイメージ (クラス分類) 12 説明変数1 (x1 ) 説明変数2 (x2 ) 3 5 1 4 推定されたクラスは、 多数決で クラス 2 クラス 2 クラス 1 クラス 2 クラス 1 ・・・ クラスが 1 のサンプル ・・・ クラスが 2 のサンプル
14. 決定木モデルの木構造 (クラス分類) 13 根ノード x1 > 3 x1 ≤ 3 x2 ≤ 1 x2 > 1 x2 > 4 x2 ≤ 4 x1 ≤ 5 x1 > 5 枝 クラス 2 クラス 1 クラス 2 クラス 2 クラス 1 ノード 葉ノード
15. 決定木のアルゴリズム どのように木を作るか︖ • 根ノードから、２つずつ葉ノードを追加していき、木を成⻑させる どのように２つの葉ノードを追加するか︖ つまり、どのように説明変数を選んで、どのようにしきい値を選ぶか︖ • 説明変数としきい値とのすべての組み合わせにおいて、 評価関数 E の値を計算し、それが最も小さい組み合わせにする 14
16. クラス分類における評価関数 E 交差エントロピー誤差関数 ジニ係数 15 1 n i i E E = =  1 ln K i ik ik k E p p = = − ( ) 1 1 K i ik ik k E p p = = −  いずれも、 K : クラスの数 pik : 葉ノード i における、クラス k の サンプルの割合 (ジニ係数のほうが よく使われるかな・・・)
17. クラス分類の結果の評価 混同⾏列 (confusion matrix) 16 予測されたクラス 1 (Positive, 陽性) -1 (Negative, 陰性) 実際の クラス 1 (Positive, 陽性) True Positive (TP) False Negative (FN) -1 (Negative, 陰性) False Positive (FP) True Negative (TN) 正解率 = TP + TN TP + FN + FP + TN 検出率 = TP TP + FN 精度 = TP TP + FP 誤検出率 = FP FP + TN など
18. クラス分類の結果の評価 例 混同⾏列 (confusion matrix) 17 予測されたクラス 1 (Positive, 陽性) -1 (Negative, 陰性) 実際の クラス 1 (Positive, 陽性) 45 5 -1 (Negative, 陰性) 20 50 正解率 = 45 + 50 45+5+20+50 検出率 = 45 45 + 5 = 0.90 精度 = 45 45 + 20 誤検出率 = 20 20 + 50 = 0.69 = 0.29 = 0.79
19. いつ木の成⻑を⽌めるか︖ クロスバリデーションの誤差が最小になるように深さを決める １つの葉ノードにおける最小サンプル数を決め ( 3 とか)、 とりあえずすべて木を生成させる 18
20. クロスバリデーション 例) 3-fold クロスバリデーション 19 X 比較指標の 計算 変数 サンプル y X1 X3 y1 y3 X2 y2 X1 y1 X2 y2 X3 モデル1 y3p y1 y3 y2 y1p y3p y2p ① X2 y2 X3 y3 X1 モデル2 y1p ② X3 y3 X1 y1 X2 モデル3 y2p ③ ① ③ ②
21. 決定木をしてみよう︕ 20
22. Random Forest (RF) とは︖ サンプルと説明変数とをランダムにサンプリングして、 決定木をたくさん作る 複数の決定木の推定結果を統合して、最終的な推定値とする アンサンブル(集団)学習 (Ensemble learning) の１つ 決定木と比べて精度は⾼くなることが多いが、モデルを解釈することは 難しい 説明変数の重要度を議論できる 21
23. RFの概略図 22 データセット サブデータ セット1 決定木1 決定木2 決定木 k ・・・ ・・・ サブデータ セット2 サブデータ セット k
24. どのようにサブデータセットを作るか︖ データセットのサンプル数: m • サンプルを重複を許してランダムに m 個選択 データセットの説明変数(記述⼦)の数: n • 説明変数を重複を許さずランダムに p 個選択 23 が得られる サブデータセット 説明変数の数 : p サンプルの数 : m 決定木作成
25. サブデータセットの数・説明変数の数はどうする︖ グリッドサーチ ＋ クロスバリデーション サブデータセットの数の候補 例 • 100, 200, 300, 400, 500 説明変数の数の候補 例 • データセットにおける説明変数(記述⼦)の数の 10, 20, …, 80, 90 % 24
26. どのように推定結果を統合するか︖ k 個のクラス分類結果で多数決 25
27. Out-Of-Bag (OOB) サブデータセットを作るとき、m 個のサンプルから重複を許して m 個の サンプルを選択 26 サブデータセットごとに、選ばれなかったサンプル (Out-Of-Bag, OOB) が存在 OOBにより、外部データに対する予測性能を検討可能
28. ランダムフォレストをしてみよう︕ 27
29. [補足] 説明変数 (記述⼦) の重要度 説明変数 (記述⼦) の重要度 Ij 28 , 1 t j t T t T j m I E k m ∈ = ∆   k : サブデータセットの数 (決定木の数) m : サンプル数 T : ある決定木 t : T におけるあるノード ΔEt : t にしたときの E (決定木における評価関数) の変化  目的変数の誤差の⼆乗和 (回帰分析)  Gini 係数など (クラス分類) * Scikit-learn では変数の重要度としてこれを採用
30. [補足] OOBを用いた説明変数 (記述⼦) の重要度 説明変数 (記述⼦) の重要度 Ij 29 ( ) ( ) 1 1 k j i i i I F E p j k = = −  k : サブデータセットの数 (決定木の数) p(j) : i 番目の決定木に変数 j が使われていたら 1, そうでなければ 0 Ei : i 番目の決定木において、OOBを推定したときの  平均⼆乗誤差 (回帰分析)  誤分類率 (クラス分類) Fi : i 番目の決定木を作成した後に、説明変数をランダムに並び替えて、 OOBを推定したときの  平均⼆乗誤差 (回帰分析)  誤分類率 (クラス分類) Ei が小さいほど、Fi が大きいほど、Ij が大きい → j 番目の説明変数 (記述⼦) の重要度が⾼い