データマイニングの前処理について

長岡技術科学大学 自然言語処理研究室 B3ゼミ発表6

Transcript

1. データマイニングの 前処理について 長岡技術科学大学 自然言語処理研究室 学部３年 勝田 哲弘 1 2017/3/2
2. データマイニングのプロセス 2 2017/3/2 入力：データ データの収集・前処理 処理済みデータ データマイニング 発掘されたデータ 後処理 出力
3. データマイニングのプロセス 3 2017/3/2 入力：データ データの収集・前処理 処理済みデータ データマイニング 発掘されたデータ 後処理 必要な情報源を探索し収集 データの構造に適した マイニングを行う 理解しやすい表示
4. 前処理 • データの質が悪いと、良い結果が出ない。 • 前処理 ▫ 数値の離散化 ▫ 属性選択 ▫ 属性の構築 ▫ 事例の選択 4 2017/3/2
5. 数値の離散化 • 等間隔区間 • 等頻度区間 • エントロピーによる手法 データをソートしておく。 それぞれの属性に対して単独で行われる。 2017/3/2 5
6. 数値の離散化 • 情報エントロピーに基づいて属性間の相関を考 慮する手法 • 部分空間クラスタリング 属性間の相関を考慮した手法 2017/3/2 6
7. 属性選択 • 必要最低限のデータを取り出してデータを削減 • 削減方法 ▫ 属性の削除 ▫ 事例の削除 • 属性選択 ▫ フィルタ法 ▫ ラッパ法 2017/3/2 7
8. 属性選択 • フィルタ法 ▫ 属性選択の評価に適当な基準を用いる ▫ 処理時間が短い ▫ 学習モデルを知らなくてよい • ラッパ法 ▫ 学習結果から分類誤差などを用いる ▫ 精度は良いが、処理時間の点から実用的でない 2017/3/2 8
9. 属性選択 • フィルタ法 ▫ 探索法  前向き、後向き、両方向、ランダム ▫ 戦略  完全探索  深さ優先、幅優先、反復深化  ヒューリスティックス探索  上位を残して他を削除  非決定的探索  ランダム探索 2017/3/2 9
10. 属性構築 • 元の属性から帰納的に構築 +1 = 1 ∗ 2 , +2 = 1 ^2 • 事前データから学習する ▫ データ駆動型 ▫ 仮説駆動型  遺伝的アルゴリズム 2017/3/2 10
11. 事例選択 • データ削除 2017/3/2 11
12. 事例選択 • データ削除 2017/3/2 12
13. 事例選択 • CNNアルゴリズム • IBLアルゴリズム • ENNアルゴリズム • など 2017/3/2 13 ｝最近傍法 ｝最近傍法で削除する 事例を選択
14. 付録 • Weka ▫ データマイニングのオープンソース ▫ データの前処理、マイニング、結果の後処理に関 連するメソッドを提供 2017/3/2 14
15. 参考文献 • データマイニングの基礎 元田浩、津本周作、山口高平、沼尾正行 共著 オーム社 2017/3/2 15