Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

了解决策树和C4.5算法

Avatar for yafei002 yafei002
January 08, 2017
Technology
310
1

 了解决策树和C4.5算法

Avatar for yafei002

yafei002

January 08, 2017

More Decks by yafei002

See All by yafei002
了解人工神经网络
Avatar for yafei002 yafei002
1
240
了解朴素贝叶斯
Avatar for yafei002 yafei002
1
270
了解K-Means算法
Avatar for yafei002 yafei002
1
250
了解KNN算法
Avatar for yafei002 yafei002
0
200
数据可视化之视觉感知与认知
Avatar for yafei002 yafei002
1
450
数据可视化之地理信息可视化
Avatar for yafei002 yafei002
1
440
数据可视化之层次和网络数据可视化（上）
Avatar for yafei002 yafei002
1
740
数据可视化之复杂高维多元数据的可视化（上）
Avatar for yafei002 yafei002
1
330
Data Visualization Introduction and History
Avatar for yafei002 yafei002
1
340

Other Decks in Technology

See All in Technology
M5Stackで作る BLEマウス GPSログの世界
Avatar for tomokusaba tomokusaba
PRO
0
440
PagerDuty Tech Hub-鳴らすけれど、人は動かない
Avatar for shinji ezaki ezaki
0
180
AIにシークレットを見せない、WSL2で安全な開発環境
Avatar for yazm4 yazm
0
310
LambdaWebFunctionsを試してみた / exploring-lambda-web-functions
Avatar for koukihosaka koukihosaka
1
360
会社紹介資料 / Sansan Company Profile
Avatar for Sansan, Inc. sansan33
PRO
31
430k
Persisting Massive Data with Rails ~Designing for 60 billion rows, and fighting the bottlenecks~ Railsで挑む大量データ永続化 〜600億件を永続化するための設計とボトルネックとの戦い〜
Avatar for Shoichi Ochi occhi
0
740
Webの常識が通じないHTMLメールのダークモード
Avatar for teamLab teamlab
PRO
0
130
『SAR衛星データ解析入門』の ご紹介とその応用
Avatar for じゃらしまる syuchimu
0
120
PHPカンファレンス関西の招待状 / Invitation to PHP Conference Kansai
Avatar for Y-KANOH ykanoh
0
210
How to Design Configuration for Rails Applications
Avatar for Shinichi Maeshima willnet
1
830
Gemini Intelligence 入門 ― AppFunctions と Gemini Nano
Avatar for takuro abe takuroabe
0
290
脆弱性診断って、何をしているの？ 〜弱点を見つけて、会社の改善につなげるまで〜
Avatar for KeeG keeg
0
930

Featured

See All Featured
Reality Check: Gamification 10 Years Later
Avatar for Sebastian Deterding codingconduct
0
2.3k
Building the Perfect Custom Keyboard
Avatar for Naoto Takai takai
2
910
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
Avatar for Irina Nazarova irinanazarova
9
1.6k
<Decoding/> the Language of Devs - We Love SEO 2024
Avatar for Nikki Halliwell nikkihalliwell
1
360
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
Avatar for Sophie Logan marketingsoph
0
430
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
659
62k
Accessibility Awareness
Avatar for Sarah Abderemane sabderemane
1
250
Ruling the World: When Life Gets Gamed
Avatar for Sebastian Deterding codingconduct
0
400
Believing is Seeing
Avatar for Spiro Bolos oripsolob
1
250
Visualization
Avatar for Eitan Lees eitanlees
153
17k
WENDY [Excerpt]
Avatar for Tessa Abrams tessaabrams
14
40k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
Avatar for konakalab konakalab
0
630

Transcript

  1. 了解决策树与 C4.5算法 yafei002

  2. 决策树工作原理

  3. 如何选择节点 熵（entropy）：信息的期望值

  4. 如何选择节点 决策树算法选择最大增益作为最佳划分 增益：

  5. 如何选择节点 增益偏向于取值多的属性 增益率（Gain ration）将输出节点的个数纳入考量 C4.5

  6. 决策树剪枝 为了避免生成的树过多从而过度拟合训练数据，需要对生成的决策树进行剪枝。 C4.5算法引入了悲观剪枝的方法。 悲观剪枝： 1. 一个节点对应N个实例和E个错误，则该 节点的经验错误率=（E+罚项）/ N 2. 一个子树有L个叶子节点，这些叶子节点共包含∑N个实例和∑E个错误，则该

    子树的经验错误率=（ ∑ E+L*罚项）/ ∑N 3. 假设子树被它的最佳叶节点替换后，在训练数据集的错误为J，如果 J+罚项<= ∑E+罚项*L + （ ∑ E+罚项）的一倍的标准差 则决定用该最佳节点替换子树

  7. 决策树剪枝 X T1 T2 T3 X T1 T2 T3 T2

    （X输出最大） （最佳叶节点） 剪枝是单一的自底向上的遍历的过程 图：一个剪枝的中间步骤

  8. PANG-NINGTAN, MICHAELSTEINBACH, & VIPINKUMAR. (2011). 数据挖掘导 论:完整版. 人民邮电出版社. 吴信东, &

    VipinKumar. (2013). 数据挖掘十大算法. 清华大学出版社. 参考资料