特徴量の重要度計算を実装する ランダムフォレストを実装する

Transcript

1. 0 特徴量の重要度計算を実装する ランダムフォレストを実装する 2023-09-15 第60回NearMe技術勉強会 Takuma Kakinoue
2. 1 今回の実装のコミット https://github.com/kakky-hacker/algorithm_sandbox/commit/8f466be9c1fae0d7 bf3bc1bff1a5d1327e4a324d
 1
3. 2 Feature importanceの実装 • Feature importance の２種類の定義 • 分割に使われた回数（split） • 分割において得られた情報ゲインの総和（gain） ← こちらを採⽤ class Node: … def feature_importance(self, importance_value): if not self.is_leaf: importance_value[self.split_feature_index] += self.gain self.left_node.feature_importance(importance_value) self.right_node.feature_importance(importance_value) return importance_value ルートノードから 情報ゲインを再帰的に ⾜し合わせていく
4. 3 ランダムフォレストの実装 • 実装としては決定⽊を並列にアンサンブルするだけ • 既存の決定⽊の変更箇所（core.py） ◦ 決定⽊で使⽤しない特徴量をマスク形式で⼊⼒に加える • 新規実装（random_forest.py） ◦ ランダムフォレストのメイン処理 ▪ 特徴量マスクをランダムに⽣成して決定⽊学習 ▪ 推論時は、各決定⽊の出⼒を多数決 3
5. 4 Borutaの実装（途中） • Borutaとは • 特徴量選択⼿法の１つ • ランダムな特徴量（shadow feature）を⼊⼒に結合し、 オリジナル特徴量とランダムな特徴量の重要度を⽐較する • 学習を100回⾏い、上記⽐較のt検定を実施し、 真に重要なオリジナル特徴量を選択する 4
6. 5 次回予告 • ⾃作ランダムフォレストとscikit-learnのランダムフォレストの 性能を⽐較する。 • 勾配ブースティングを実装する。 • ⾃動ハイパーパラメータチューニングを実装する。 5
7. 6 Thank you