決定木のpredict_proba()の話

決定木のpredict_proba()の話

Transcript

1. ܾఆ໦ͷ࿩ 
   ࣾ಺-5
   ΞΠύʔୂ௕
2. ࿩͢͜ͱ
3. ࿩͢͜ͱ w ܾఆ໦ͷॲཧϑϩʔ
   w ࣮૷ָ͍͠
4. ஡൪ ͓͢͢ΊͷөըΛΈ͍ͨେ౷ྖ
5. ஡൪ w "ʣେ౷ྖɺΑ͘ฉ͍͍ͯͩ͘͞
   w "ʣʮϫχʯ͸઒ʹજΔ͚ͩͰύλʔϯ͕͋Γ·ͤΜ
   w "ʣʮαϝʯͦ͜ࢤ޲Ͱ͢ A͞Μ
6. ஡൪ w #ʣʮαϝʯ͸ઃఆΨϯແࢹͯ͠ϦΞϦςΟ͕ͳ͍
   w #ʣαϝʹଟ٭ͷັྗ͸ͳ͍
   w #ʣωλ͕੾ΕͨΒ͙͢ϩϘԽʹ૸Δʂʂ
   w "ʣʮϩϘΫϩίʯΛ๨ΕΔΜ͡Όͳ͍ B͞Μ
7. ஡൪ w "ʣʮϫχʯʹʮ+"84ʯͷΑ͏ͳ໊࡞͸ͳ͍ͩΖ͏ʂʂ
   w #ʣʮϚϯΠʔλʔʯ͸ྑ࡞Αʂલ൒ඈ͹͍͍͚ͯ͠Ͳ
8. ஡൪ w "ʣେ౷ྖʂ΍ͭΒ͸ྫྷࠅͳʮϨϓςΟϦΞϯʯͰ͢ɻܾ͝அΛ
   w #ʣ໧Εʂʮαϝχετʯʂʂେ౷ྖɻ͓ئ͍͠·͢ɻ
9. ஡൪ w େ౷ྖʣʮελʔ΢ΥʔζʯΈΔΘ
10. ஡൪ʢݩωλ
    ͱ͍͏ؙ͔ύΫϦʣ w ӕࣈນγϦʔζ
    w େ౷ྖʹ͓͢͢Ί͢Δөը͸ͲͪΒ͔Λ૪͏ಈը
    w ݱࡏ࡟আ͞Ε͍ͯΔʢ࢒೦ ɾТɾʆ ʣ
11. ஡൪ w ·͊Ͱ΋ؾʹͳΓ·͢ΑͶʢαϝ͕໘ന͍ͷ͔ϫχ͕໘ന͍ͷ͔ʣ
12. ஡൪ w ܦݧΛݩʹܰྔͳσʔληοτΛ༻ҙ͢Δ ߦ͙Β͍
13. ஡൪ w ܾఆ໦Λ࡞੒͢Δ
14. ஡൪
15. ஡൪ w Ͳͷ͘Βֶ͍श͕͏·͍ͬͯ͘ΔΜ͚ͩͬʁ
16. ஡൪ w ;Ή;Ήʙʙʙʢന໨ʣ
17. ٙ໰ ͜Ε
18. ࢲɺؾʹͳΓ·͢ w ͲΜͳͯ͠ܭࢉ͞Ε͍ͯΔͷʁ
    w ༧૝
    w ʮ෼ྨ͞ΕͨΫϥεZJ
    
    ෼ྨ͞Εͨσʔλ૯਺
    
    ֬཰ʯ
19. ٙ໰ w ௐ΂ͯΈͨ
20. ܾఆ໦ͷॲཧϑϩʔ
21. ܾఆ໦ͷॲཧϑϩʔ ᶃroot nodeΛ༻ҙ͢Δ
22. ܾఆ໦ͷॲཧϑϩʔ ᶄೖྗ͞Εͨσʔλͷ ΫϥεϥϕϧΛଟ਺ܾͰܾΊΔ ͭ·Βͳ͍
23. ᶅ෼ׂ͢Δલʹ gini܎਺ΛٻΊΔ => [9, 9] => 0.5 ͭ·Βͳ͍ ܾఆ໦ͷॲཧϑϩʔ
24. ᶆ෼ׂީิʢಛ௃ྔʣΛ࡞੒͠ɺ ৚݅Λ࡞੒͢Δ ͭ·Βͳ͍ or ʮ1ͳΒαϝ 0ͳΒϫχʯͳͱ͖ ৚݅͸ਅΜத => 0.5ͱͳΔ ܾఆ໦ͷॲཧϑϩʔ
25. ᶇ࡞੒ͨ͠৚݅Ͱ෼ׂͯ͠ΈΔ ͭ·Βͳ͍ or ϫχ͸13 αϝ͸5 ܾఆ໦ͷॲཧϑϩʔ
26. ᶈ෼ׂޙͷσʔλͦΕͧΕͰ gini܎਺Λܭࢉ ͭ·Βͳ͍ or ϫχ͸13 => 0.497 αϝ͸5 => 0.48 ܾఆ໦ͷॲཧϑϩʔ
27. ᶉ෼ׂ৚݅ͷળ͠ѱ͠Λ ൑அ͢ΔͨΊʹɺ ෼ׂલޙͷෆ७౓ͷมԽΛ ٻΊ·͢ ͭ·Βͳ͍ or ϫχ͸13 => 0.497 ෼ׂ͞Εׂͨ߹ => 13/18 => 0.72 αϝ͸5 => 0.48 ෼ׂ͞Εׂͨ߹ => 5/18 => 0.27 ܾఆ໦ͷॲཧϑϩʔ
28. ᶉ෼ׂ৚݅ͷળ͠ѱ͠Λ ൑அ͢ΔͨΊʹɺ ෼ׂલޙͷෆ७౓ͷมԽΛ ٻΊ·͢ ͭ·Βͳ͍ or ෼ׂલͷgini܎਺ - ((ϫχ෼ׂޙͷgini܎਺ * ϫχ෼ׂ͞Εׂͨ߹) + (αϝ෼ׂޙͷgini܎਺ * αϝ෼ׂ͞Εׂͨ߹)) => 0.5 - ((0.497 * 0.72) + (0.48 * 0.27)) => 0.00769 ܾఆ໦ͷॲཧϑϩʔ
29. ᶊධՁޙͷ஋(੺จࣈ)Λอ͓࣋ͯ͘͠ => ᶆʙᶉΛ܁Γฦ͠ൺֱͯ͠ Ұ൪େ͖͍஋Λ => ෼ׂʹϕετͳಛ௃ྔ͕ܾ·Δ ͭ·Βͳ͍ or ෼ׂલͷgini܎਺ - ((ϫχ෼ׂޙͷgini܎਺ * ϫχ෼ׂ͞Εׂͨ߹) + (αϝ෼ׂޙͷgini܎਺ * αϝ෼ׂ͞Εׂͨ߹)) => 0.5 - ((0.497 * 0.72) + (0.48 * 0.27)) => 0.00769 ܾఆ໦ͷॲཧϑϩʔ
30. ͭ·Βͳ͍ ᶋϫχͱαϝΛ෼ྨͨ͠σʔλΛ༻͍ͯ ࠨଆͱӈଆʹࢬΛ࡞Δ => ᶃʙᶊͱಉ͜͡ͱΛ͢Δ ܾఆ໦ͷॲཧϑϩʔ
31. ͭ·Βͳ͍ ᶌධՁޙͷ஋͕มԽ͠ͳ͚Ε͹ऴྃ => ࠓճ͸ಛ௃ྔ͔̍ͭ͠ͳ͍ͷͰ ਂ͞2ͰऴΘΔ ܾఆ໦ͷॲཧϑϩʔ
32. ͭ·Βͳ͍ ݁Ռ ※max_depthͱ͔ min_sample_leafͱ͔Ͱ ΋ͬͱࡉ͔͍৚ܾ݅ΊΕΔ͚ͲׂѪ ϫχ͸ ͭ·Βͳ͍ 7 ͓΋͠Ζ͍ 6 αϝ͸ ͭ·Βͳ͍ 2 ͓΋͠Ζ͍ 3 ܾఆ໦ͷॲཧϑϩʔ
33. ͭ·Βͳ͍ ϫχ͸ ͭ·Βͳ͍ 7 ͓΋͠Ζ͍ 6 αϝ͸ ͭ·Βͳ͍ 2 ͓΋͠Ζ͍ 3 ܾఆ໦ͷॲཧϑϩʔ
34. QSFEJDU@QSPCBͷ࣮૷
    
35. QSFEJDU@QSPCBͷ࣮૷ ϫχ͸ ͭ·Βͳ͍ 7 ͓΋͠Ζ͍ 6 αϝ͸ ͭ·Βͳ͍ 2 ͓΋͠Ζ͍ 3 ιʔεΛಡΜͰΈΔͱ ܇࿅࣌ʹ෼ྨ͞Ε͍ͯΔ
 σʔλ਺Λ࢖ͬͯࢉग़ͯ͠
 ͍Δ͜ͱ͕Θ͔ͬͨ
36. QSFEJDU@QSPCBͷ࣮૷ ϫχ͸ ͭ·Βͳ͍ 7 ͓΋͠Ζ͍ 6 αϝ͸ ͭ·Βͳ͍ 2 ͓΋͠Ζ͍ 3 ᶃςετσʔλΛೖྗ͢Δ ςετσʔλ
37. QSFEJDU@QSPCBͷ࣮૷ ϫχ͸ ͭ·Βͳ͍ 7 ͓΋͠Ζ͍ 6 αϝ͸ ͭ·Βͳ͍ 2 ͓΋͠Ζ͍ 3 ᶄ෼ྨ͢Δ ςετσʔλ ϫχͬΆ͍
38. QSFEJDU@QSPCBͷ࣮૷ ϫχ͸ ͭ·Βͳ͍ 7 ͓΋͠Ζ͍ 6 ᶅ෼ྨ͞ΕͨNodeʹ͋Δ ܇࿅࣌ͷ෼ྨσʔλ਺Λ࢖ͬͯ ֬཰ΛٻΊΔ ςετσʔλ -> [[ͭ·Βͳ͍,͓΋͠Ζ͍]] -> [[7, 6]] σʔλຖʹ߹ܭ͢Δ [[7 ,6]].sum(axis=1) -> [13] ׂΔ [[7, 6]] / [13] -> [[0.538, 0.461]]
39. QSFEJDU@QSPCBͷ࣮૷ w TDJLJUMFBSOͷ࣮૷ ೖྗͨ͠σʔλ͕ͲͷNodeʹ͋ͯ͸·Δ͔୳ࡧͯ͠ɺ֘౰ ͨ͠Node͕෼ྨͨ͠܇࿅࣌ͷσʔλ਺Λฦ͢(Cython) ֘౰ͨ͠Ϋϥε͝ͱͷσʔλ਺Λσʔλ૯਺ͰׂΔ ex) [[ͭ·Βͳ͍,͓΋͠Ζ͍]] -> [[7, 6]] σʔλຖʹ߹ܭ͢Δ [[7 ,6]].sum(axis=1) -> [13] ׂΔ [[7, 6]] / [13] -> [[0.538, 0.461]]
40. ࡶײ
    
41. ࡶײ w ܾఆ໦ͷ࿩ͳͷͰɺଞͷΞϧΰϦζϜͷ࣮૷΋Έ͍ͨ
    w αϝόϯβΠ
    w ϫχόϯβΠ
42. ͓·͚
    
43. ͓·͚ ʮαϝ͸ਓΛऻ͏ʯϨοςϧΛషͬͨ ໊࡞தͷ໊࡞ લ൒ඈ͹͍͍͚ͯ͠Ͳ ྑ࡞
44. ͓·͚ ʮαϝ͸ਓΛऻ͏ʯϨοςϧΛషͬͨ ໊࡞தͷ໊࡞ લ൒ඈ͹͍͍͚ͯ͠Ͳ ྑ࡞