決定木 変数重要度 / Decision Tree Variable Importance

・決定木における変数重要度の概念
・計算方法(イメージ)
修正点がございましたら是非ご指摘ください
/
· Concept of Variable Importance in Decision Trees
· Calculation Method (mage)
Please contact me if there are some mistakes.

Transcript

1. 2017.7.11 ⡟ղ加 ⨳⡡ Variable Importance 㢌侧ꅾ銲䏝 寸㹀加
2. 2/45 㢌侧ꅾ銲䏝ך䗳銲䚍 鎘皾倯岀 ➙傈ך　琿
3. 3/45 㢌侧ꅾ銲䏝ך䗳銲䚍 鎘皾倯岀 ➙傈ך　琿
4. 4/45 㢌侧ꅾ銲䏝ך䗳銲䚍 寸㹀加׾אֻ׏ג˘ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 ⢽
5. 5/45 寸㹀加׾אֻ׏ג˘ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 ⢽ 㢌侧ꅾ銲䏝ך䗳銲䚍
6. 6/45 寸㹀加׾אֻ׏ג˘ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 ⢽ ⨳䏿ַծ♶⨳䏿ַ׾ⴓ겲׃׋ְ = 0 = 1 㢌侧ꅾ銲䏝ך䗳銲䚍
7. 7/45 㢌侧ꅾ銲䏝ך䗳銲䚍 
   加׾圓眠ׅ׷ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 # # ♧殢葺ֻⴓ䀄ׅ׷ ظ٦سך♶秪䏝ך何㊣䏝ָ넝ְ 㢌侧׾鼅ע 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　
8. 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䏿 # 8/45 㢌侧ꅾ銲䏝ך䗳銲䚍 
   加׾圓眠ׅ׷ ׁ׵ח鼅ע 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　
9. 9/45 㢌侧ꅾ銲䏝ך䗳銲䚍 
   加ָדֹ׷ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 ♶⨳䏿 ♶⨳䏿 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䏿 ⨳䏿
10. 10/45 㢌侧ꅾ銲䏝ך䗳銲䚍 
    寸㹀加׾鍑ꅸׅ׷˘ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 ♶⨳䏿 ♶⨳䏿 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䏿 ⨳䏿
11. 11/45 㢌侧ꅾ銲䏝ך䗳銲䚍 
    寸㹀加׾鍑ꅸׅ׷˘ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 ♶⨳䏿 ♶⨳䏿 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䏿 ⨳䏿
12. 12/45 㢌侧ꅾ銲䏝ך䗳銲䚍 ⴓ겲ח㣐ⴖז㢌侧כ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 
    寸㹀加׾鍑ꅸׅ׷˘ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 ♶⨳䏿 ♶⨳䏿 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䏿 ⨳䏿
13. 13/45 㢌侧ꅾ銲䏝ך䗳銲䚍 ⴓ겲ח㣐ⴖז㢌侧כ 岣湡ׅץֹכ չ氺ꤍ֮ת׶遤ַזְծ娕劢弫ך㾴պ չ氺ꤍ֮ת׶遤ַזְծ娕⟃♳ךծ Ⳣ倯皠֮ת׶顗׻זְ㾴պ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 
    寸㹀加׾鍑ꅸׅ׷˘ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 ♶⨳䏿 ♶⨳䏿 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䏿 ⨳䏿
14. 14/45 㢌侧ꅾ銲䏝ך䗳銲䚍 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 ♶⨳䏿 ♶⨳䏿 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䏿 ⨳䏿 ⴓ겲ח㣐ⴖז㢌侧כ 岣湡ׅץֹ㾴כ չ氺ꤍ遤ַזְծ娕劢弫ך➂պ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 岣䠐ׅץֹ挿 
    寸㹀加׾鍑ꅸׅ׷˘
15. ♰ⰼ״׶㢳ְ ♰ⰼ⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 䎃　 䎃룳 Ⳣ倯皠侧 # # 15/45 㢌侧ꅾ銲䏝ך䗳銲䚍 剑ⴱךⴓ䀄דծ׮׃ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 # # 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　
16. ♰ⰼ״׶㢳ְ ♰ⰼ⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 䎃　 䎃룳 Ⳣ倯皠侧 # # 16/45 㢌侧ꅾ銲䏝ך䗳銲䚍 剑ⴱךⴓ䀄דծ׮׃ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 # # 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 ח״׷何㊣䏝 
     鏺㻊㔐侧
17. ♰ⰼ״׶㢳ְ ♰ⰼ⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 䎃　 䎃룳 Ⳣ倯皠侧 # # 17/45 㢌侧ꅾ銲䏝ך䗳銲䚍 剑ⴱךⴓ䀄דծ׮׃ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 # # 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 ח״׷何㊣䏝 
     鏺㻊㔐侧 ח״׷何㊣䏝 
     䎃　
18. ♰ⰼ״׶㢳ְ ♰ⰼ⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 䎃　 䎃룳 Ⳣ倯皠侧 # # 18/45 㢌侧ꅾ銲䏝ך䗳銲䚍 剑ⴱךⴓ䀄דծ׮׃ 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 " " 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 # # 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 ח״׷何㊣䏝 
     鏺㻊㔐侧 ח״׷何㊣䏝 
     䎃　 ˑ加ח⳿גֿזְ㢌侧˒ךꅾ銲䚍ח孡➰ֽזְ
19. 19/45 㢌侧ꅾ銲䏝ך䗳銲䚍 
    加ָדֹ׷ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 ♶⨳䎊 ♶⨳䎊 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䎊 ⨳䏿 ֿ׸׵ךꅾ銲䚍׾鐰⣣ׅ׷䗳銲
20. 20/45 㢌侧ꅾ銲䏝ך䗳銲䚍 
    加ָדֹ׷ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 㔐״׶㢳ְ 㔐⟃♴ ״׶㢳ְ ⟃♴ 娕״׶㣐ְֹ 娕劢弫 ♶⨳䎊 ♶⨳䎊 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 ⨳䎊 ⨳䏿 ֿ׸׵ךꅾ銲䚍׾鐰⣣ׅ׷䗳銲 㢌侧ꅾ銲䏝
21. 21/45 㢌侧ꅾ銲䏝ך䗳銲䚍 鎘皾倯岀 ➙傈ך　琿
22. 22/45 㢌侧ꅾ銲䏝ך䗳銲䚍 鎘皾倯岀 ➙傈ך　琿
23. 23/45 CARTによる応用2進木解析 より引用 ぐꬊة٦ىشٕ٥ظ٦سחֶֽ׷剑葺ⴓ䀄㢌侧 ' הծ➿椚㢌侧 ( ך 何㊣䏝ךさ鎘׾⊿(5 , ), ⊿(( , )הְֶ׋הֹծ 㢌侧ꅾ銲䏝 8 ׾如䒭ך圫ח㹀纏ׅ׷ 8 = 100 × (5;() ) max ( 5;( ) ׋׌׃ծ 5;( = ∑ {⊿ 5 , + ⊿(( , )} D∈F 鎘皾倯岀 寸㹀加 㢌侧ꅾ銲䏝ך㹀纏
24. 24/45 CARTによる応用2進木解析 より引用 ぐꬊة٦ىشٕ٥ظ٦سחֶֽ׷剑葺ⴓ䀄㢌侧 ' הծ➿椚㢌侧 ( ך 何㊣䏝ךさ鎘׾⊿(5 , ), ⊿(( , )הְֶ׋הֹծ 㢌侧ꅾ銲䏝 8 ׾如䒭ך圫ח㹀纏ׅ׷ 8 = 100 × (5;() ) max ( 5;( ) ׋׌׃ծ 5;( = ∑ {⊿ 5 , + ⊿(( , )} D∈F 鎘皾倯岀 寸㹀加 㢌侧ꅾ銲䏝ך㹀纏 ̔ 铡僇
25. 25/45 ⨳䎊 ♶⨳䎊 鎘皾倯岀 ⟃♴ך⢽ד罋ִ׷ NODE No.1 NODE No.2 ROOT NOOD No.1 NODE No.3 NODE No.4 NODE No.1 NODE No.2 ظ٦س" ظ٦س# ظ٦س$
26. 26/45 ⨳䎊 ♶⨳䎊 鎘皾倯岀 ⟃♴ך⢽ד罋ִ׷ NODE No.1 NODE No.2 ROOT NOOD No.1 NODE No.3 NODE No.4 NODE No.1 NODE No.2 ظ٦س" ظ٦س# ظ٦س$ 䎃룳 דⴓ䀄
27. 27/45 ⨳䎊 ♶⨳䎊 鎘皾倯岀 ⢽ד罋ִ׷ דظ٦س"#$׾ⴓ䀄׃׋ 䎃룳 N O DE N o.1 N O DE N o.2 RO O T N O O D N o.1 N O DE N o.1 N O DE N o.2 N O DE N o.1 N O DE N o.2 " # $   NODE No.1 NODE No.2 ROOT NOOD No.1     NODE No. NODE No. NOOD No.   NODE No. NODE No. NOOD No.   ظ٦س" ظ٦س# ظ٦س$     ̓ך״ֲח׻ַ׸׋
28. 28/45 鎘皾倯岀 䎃룳ח״׷ⴓ䀄 (JOJ
    ⴓ侔䭷垥 
    @
    
    ̔⡚ְקו״ְ   NODE No.1 NODE No.2 ROOT NOOD No.1     ظ٦س" 䎃룳 N O DE N o.1 N O DE N o.2 RO O T N O O D N o.1 N O DE N o.1 N O DE N o.2 N O DE N o.1 N O DE N o.2 " # $
29. 29/45 鎘皾倯岀 䎃룳ח״׷ⴓ䀄 ⴓ侔䭷垥 = 1 − 50 100 K + 50 100 K = 1 2 (JOJ
    ⴓ侔䭷垥 
    @
    
    ̔⡚ְקו״ְ   NODE No.1 NODE No.2 ROOT NOOD No.1     ظ٦س" 䎃룳 N O DE N o.1 N O DE N o.2 RO O T N O O D N o.1 N O DE N o.1 N O DE N o.2 N O DE N o.1 N O DE N o.2 " # $
30. 30/45 鎘皾倯岀 䎃룳ח״׷ⴓ䀄 ⴓ侔䭷垥 = 1 − 50 100 K + 50 100 K = 1 2 (JOJ
    ⴓ侔䭷垥 
    @
    
    ̔⡚ְקו״ְ   NODE No.1 NODE No.2 ROOT NOOD No.1     ظ٦س" 䎃룳 ⴓ侔䭷垥 = 1 − 45 50 K + 5 50 K ≒ 1 5 N O DE N o.1 N O DE N o.2 RO O T N O O D N o.1 N O DE N o.1 N O DE N o.2 N O DE N o.1 N O DE N o.2 " # $
31. 31/45 鎘皾倯岀 䎃룳ח״׷ⴓ䀄 ⴓ侔䭷垥 = 1 − 50 100 K + 50 100 K = 1 2   NODE No.1 NODE No.2 ROOT NOOD No.1     ظ٦س" 䎃룳 N O DE N o.1 N O DE N o.2 RO O T N O O D N o.1 N O DE N o.1 N O DE N o.2 N O DE N o.1 N O DE N o.2 " # $ ⴓ侔䭷垥 = 1 − 45 50 K + 5 50 K ≒ 1 5 ⴓ侔䭷垥 = 1 − 45 50 K + 5 50 K ≒ 1 5
32. 32/45 鎘皾倯岀 䎃룳ח״׷ⴓ䀄   NODE No.1 NODE No.2 ROOT NOOD No.1     ظ٦س" 䎃룳 N O DE N o.1 N O DE N o.2 RO O T N O O D N o.1 N O DE N o.1 N O DE N o.2 N O DE N o.1 N O DE N o.2 " # $ ⴓ䀄⵸ך♶秪ׁ ⴓ䀄䖓ך♶秪ׁ
33. 33/45 鎘皾倯岀 䎃룳ח״׷ⴓ䀄ך何㊣䏝   NODE No.1 NODE No.2 ROOT NOOD No.1     ظ٦س" 䎃룳 N O DE N o.1 N O DE N o.2 RO O T N O O D N o.1 N O DE N o.1 N O DE N o.2 N O DE N o.1 N O DE N o.2 " # $ ⴓ䀄⵸ך♶秪ׁ ⴓ䀄䖓ך♶秪ׁ ظ٦س" ך何㊣䏝 
    ⴓ䀄⵸ך♶秪ׁ  ⴓ䀄䖓ך♶秪ׁ 䎃룳
34. 34/45 鎘皾倯岀 ず圫חظ٦س#$׮何㊣䏝׾鎘皾 ظ٦س"#$ 䎃룳   NODE No.1 NODE No.2 ROOT NOOD No.1     NODE No. NODE No. NOOD No.   NODE No. NODE No. NOOD No.   ظ٦س" ظ٦س# ظ٦س$     O = ⵸٦䖓 5 = ⵸٦䖓 P = ⵸٦䖓
35. 35/45 鎘皾倯岀 ꅾ銲䏝׾鎘皾 ظ٦س"#$ 䎃룳 D 
    ظ٦سך何㊣䏝 D ؟ٝفٕ侧 ך㢌侧ꅾ銲䏝8 כ 8 = ∑ D ∗ D D 䎃룳
36. 36/45 鎘皾倯岀 ꅾ銲䏝׾鎘皾 ظ٦س"#$ 䎃룳 D 
    ظ٦سך何㊣䏝 D ؟ٝفٕ侧 ך㢌侧ꅾ銲䏝8 כ 8 = ∑ D ∗ D D 䎃룳 ぐظ٦سדך何㊣桦ךㄤ
37. 37/45 鎘皾倯岀 ➭ך㢌侧ד׮ず圫ך鎘皾׾ׅ׷ ظ٦س"#$ NODE No.1 NODE No.2 ROOT NOOD No.1 NODE No. NODE No. NOOD No. NODE No. NODE No. NOOD No. ظ٦س" ظ٦س# ظ٦س$ 䚍ⴽ
38. 38/45 鎘皾倯岀 ➭ך㢌侧ד׮ず圫ך鎘皾׾ׅ׷ ظ٦س"#$ NODE No.1 NODE No.2 ROOT NOOD No.1 NODE No. NODE No. NOOD No. NODE No. NODE No. NOOD No. ظ٦س" ظ٦س# ظ٦س$ 　Ⰵ
39. 39/45 鎘皾倯岀 ぐ㢌侧ך㢌侧ꅾ銲䏝׾皾⳿ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 8R 8S 8T 8U 8V
40. 40/45 鎘皾倯岀 ぐ㢌侧ך㢌侧ꅾ銲䏝׾皾⳿ 鏺㻊㔐侧 䎃룳 Ⳣ倯皠侧 䚍ⴽ 䎃　 8R 8S 8T 8U 8V 㢌侧ךꅾ銲䏝׾䪾䳢דֹ׷
41. 41/45 㢌侧ꅾ銲䏝ך䗳銲䚍 鎘皾倯岀 ➙傈ך　琿
42. 42/45 㢌侧ꅾ銲䏝ך䗳銲䚍 鎘皾倯岀 ➙傈ך　琿
43. 43/45 ➙傈ך　琿 걧ח婍׏גק׃ְֿה ٥加ח植׸זְ㢌侧׮ꅾ銲ַ׮׃׸זְ
44. 44/45 ➙傈ך　琿 걧ח婍׏גק׃ְֿה ٥加ח植׸זְ㢌侧׮ꅾ銲ַ׮׃׸זְ ٥㢌侧ꅾ銲䏝דꅾ銲ָׁ䪾䳢דֹ׷ 7BSJBCMF
    *NQPSUBODF
45. 45/45 <> չ埠加圓鸡鵚䱸岀ה剑鵚ך涪㾜պ  IUUQTXXXKTUBHFKTUHPKQBSUJDMFKTDTXBCVO@,+@QEG <> $"35ח״׷䘔欽鹌加鍑匿 剅硂 <> 1ZUIPOה堣唒㷕统 IUUQEBSEFOIBUFOBCMPHDPNFOUSZ暴䗙ꆀךꅾ銲䏝嫰鯰 ⿫罋俑柃