Save 37% off PRO during our Black Friday Sale! »

データアナリストが活用できる(かもしれない)機械学習

6d897e716071c4d075ad722253db7ad3?s=47 nekoumei
April 23, 2019

 データアナリストが活用できる(かもしれない)機械学習

Partial Dependence Plotの紹介をします。
https://github.com/nekoumei/DGT_LT/blob/master/DataGatewayTalk_LT.ipynb

6d897e716071c4d075ad722253db7ad3?s=128

nekoumei

April 23, 2019
Tweet

Transcript

  1. σʔλΞφϦετ͕׆༻Ͱ͖Δ ʢ͔΋͠Εͳ͍ʣػցֶश    %BUB(BUFXBZ5BMLWPM-5 !OFLPVNFJ

  2. 2 ຊࢿྉ͸4QFBLFS%FDL΁ެ։༧ఆͰ͢

  3. 3 ײ૝౳ɺ5XFFU͍͚ͨͩΔͱتͼ·͢

  4. 4 σʔληοτ͸͢΂ͯؠ೾σʔλαΠΤϯε 7PMͷ΋ͷΛ࢖༻͍ͯ͠·͢ IUUQTHJUIVCDPNJXBOBNJEBUBTDJFODFWPMCMPCNBTUFSLBUPIPTIJOPR@EBUB@YDTW

  5. ࣗݾ঺հ 5 5 ؠ࡚޸໌!OFLPVNFJ  גࣜձࣾ$ZHBNFT σʔλϚΠχϯάνʔϜ σʔλΞφϦετ  

  6. ࠓ೔͓͸ͳ͢͠Δ͜ͱ 6 6 1BSUJBM%FQFOEFODF1MPUͷ঺հ

  7. σʔλΞφϦετJTԿ 7 7 ຊࢿྉͰ͸ɺ ࣄۀͷҙࢥܾఆ՝୊ղܾͷͨΊʹ σʔλूܭ෼ੳՄࢹԽఏݴ͢Δͻͱ ΛσʔλΞφϦετͱ͠·͢

  8. σʔλ෼ੳͰΑ͋͘Δ͜ͱ 8 8 ˙Ծઆͱूܭ݁Ռ͕ҟͳΔ Ծઆ ͋ΔήʔϜͷςϨϏ$.ΛӾཡͨ͠ਓ͸ɺήʔϜͷར༻͕࣌ؒ૿͑Δ ूܭ݁Ռ

  9. σʔλ෼ੳͰΑ͋͘Δ͜ͱ 9 9 ˙Ծઆͱूܭ݁Ռ͕ҟͳΔ Ծઆ ͋ΔήʔϜͷςϨϏ$.ΛӾཡͨ͠ਓ͸ɺήʔϜͷར༻͕࣌ؒ૿͑Δ ूܭ݁Ռ CMを⾒ると 平均630秒利⽤時間が減る

  10. σʔλ෼ੳͰΑ͋͘Δ͜ͱ 10 10 ˙Ծઆͱूܭ݁Ռ͕ҟͳΔ Ծઆ ͋ΔήʔϜͷςϨϏ$.ΛӾཡͨ͠ਓ͸ɺήʔϜͷར༻͕࣌ؒ૿͑Δ ूܭ݁Ռ CMを⾒ると 平均630秒利⽤時間が減る

  11. σʔλ෼ੳͰΑ͋͘Δ͜ͱ 11 11 ˙Ծઆͱूܭ݁Ռ͕ҟͳΔ Ծઆ ͋ΔήʔϜͷςϨϏ$.ΛӾཡͨ͠ਓ͸ɺήʔϜͷར༻͕࣌ؒ૿͑Δ ूܭ݁Ռ 別の切り⼝でも 集計したほうがよさそう

  12. ͡Ό͋Ͳ͏͠·͔͢ʁ 12 12 మ൘Ξϓϩʔν ਂ͍σʔλཧղɺυϝΠϯ஌ࣝΛϕʔεʹʮྑ͍੾ΓޱʯͰूܭ͢Δ ɹˠ$.ͷࢹௌ༗ແҎ֎Ͱ͸ಉ࣭ͳूஂͱͳΔΑ͏ʹ੾Γ෼͚Δ ɹˠ෼ੳऀͷཧղɺख࿹ɺצFUD͕ॏཁ  ҼՌਪ࿦ ڞมྔͷӨڹΛআ֎ͯ͠ɺʮ$.ΛݟͨʯӨڹΛ஌Γ͍ͨ

    ɹˠ܏޲είΞ౳Λ༻͍ͯ؍ଌͰ͖ͳ͍ूஂΛਪఆ͢Δ ɹˠલఏʹஔ͘Ծఆ͕ڧ͘ɺ࣮՝୊Ͱ͸ྑ͍ײ͡ʹ͢Δͷ͕͍ͨ΁Μʜ ɹ˞ݸਓͷײ૝Ͱ͢
  13. ػցֶशΞϓϩʔν 13 13 ήʔϜར༻࣌ؒΛ໨తม਺ɺͦΕҎ֎Λઆ໌ม਺ʹͯ͠ϞσϧΛͭ͘Δ ɹᵋGFBUVSFJNQPSUBODFɾQFSNVUBUJPOJNQPSUBODF ɹɹˠػցֶश͕༧ଌʹॏཁͩͱࢥ͍ͬͯΔม਺͸ͳʹ͔ ɹɹˠJNQPSUBODFͷߴ͍ม਺ʹ஫໨ͯ͠ूܭͨ͠Γ  ɹᵋ1BSUJBM%FQFOEFODF1MPU ɹɹˠ͋Δม਺ͷҧ͍͕༧ଌ݁ՌʹͲΜͳӨڹΛٴ΅͔͢

    ɹɹˠ࣍ϖʔδҎ߱Ͱ঺հ
  14. 1BSUJBM%FQFOEFODF1MPU 14 14 ݩσʔλʢൈਮʣ

  15. 1BSUJBM%FQFOEFODF1MPU 15 15 શһɺ$.Λݟ͍ͯͳ͍͜ͱʹͨ͠σʔλ͔Βར༻࣌ؒΛ༧ଌ͢Δ ֶशࡁϞσϧ

  16. 1BSUJBM%FQFOEFODF1MPU 16 16 ಉ༷ʹɺશһ$.Λݟͨ͜ͱʹͨ͠σʔλ͔Βར༻࣌ؒΛ༧ଌ͢Δ ֶशࡁϞσϧ

  17. 1BSUJBM%FQFOEFODF1MPU 17 17 $.Λݟͯͳ͍ͱ͖ɺݟͨͱ͖ͷར༻࣌ؒ ༧ଌ஋ ͷࠩ෼ΛΈΔ

  18. 1BSUJBM%FQFOEFODF1MPU 18 18 1%1#PYʹΑΔՄࢹԽ $.ݟͯͳ͍ $.ݟͨ ήʔϜར༻࣌ؒ ฏۉ஋ IUUQTHJUIVCDPN4BVDF$BU1%1CPY

  19. 1BSUJBM%FQFOEFODF1MPU 19 19 GPMET$7Ϟσϧͷ1%1ࠩ෼ฏۉ஋ͷϓϩοτ ήʔϜར༻࣌ؒͷฏۉมԽྔ ɾશମతʹ͸ɺ$.ΛݟΕ͹ ɹར༻͕࣌ؒͪΐͬͱ͕͋Γͦ͏  ɾਓʹΑͬͯ$.ΛݟΔ͜ͱͰͷ ɹར༻࣌ؒ΁ͷޮՌྔ͸ҧ͍ͦ͏

  20. 1BSUJBM%FQFOEFODF1MPU 20 20 ஫ҙ఺ ɹɾ݁࿦Λग़ͨ͢ΊͰ͸ͳ͘ɺ෼ੳͷਂ۷ΓͷͨΊʹ͔ͭ͏ ɹɾ૬ؔͷߴ͍આ໌ม਺͕͋Δͱ͏·͍͔͘ͳ͍͕ͪ

  21. ྫɿ%1%1 21 21 GFBUVSFJNQPSUBODFΛݟΔͱɺ57ΛҰ೔ʹݟ͍ͯΔ͕࣌ؒॏཁ     57ࢹௌ࣌ؒͱɺ$.Λݟ͔ͨͲ͏͔ɺήʔϜར༻࣌ؒͷؔ܎Λݟ͍ͨ ˠઆ໌ม਺ͭΛมԽͤͨ͞ͱ͖ͷ1%1ΛՄࢹԽ͢Δ

  22. ྫɿ%1%1 22 22 57ࢹௌ͕࣌ؒ୹͍ਓ͸$.ΛݟΔͱήʔϜར༻͕࣌ؒ૿͑ͯͦ͏ Ұํɺࢹௌ͕࣌ؒ௕͍ਓ͸มΘΒͳ͍PSݮ͍ͬͯΔ

  23. ྫɿ%1%1 23 23 57ࢹௌ͕࣌ؒ୹͍ਓ͸$.ΛݟΔͱήʔϜར༻͕࣌ؒ૿͑ͯͦ͏ Ұํɺࢹௌ͕࣌ؒ௕͍ਓ͸มΘΒͳ͍PSݮ͍ͬͯΔ 57ࢹௌ࣌ؒώετάϥϜ

  24. ྫɿ%1%1 24 24 57ࢹௌ͕࣌ؒ୹͍ਓ͸$.ΛݟΔͱήʔϜར༻͕࣌ؒ૿͑ͯͦ͏ Ұํɺࢹௌ͕࣌ؒ௕͍ਓ͸มΘΒͳ͍PSݮ͍ͬͯΔ 57ࢹௌ࣌ؒώετάϥϜ

  25. ͓ΘΓʹ 25 25 αϚϦ 1%1Λ׆༻ͨ͠ɺσʔλΞφϦετͷ෼ੳۀ຿ࢧԉͱͯ͠ͷػցֶशΛ঺հ ࢀߟࢿྉ ؠ೾σʔλαΠΤϯε7PMrؠ೾ॻళ ,BHHMFr-FBSO1BSUJBM1MPUT  ຊࢿྉ࡞੒ʹ͋ͨΓ࢖༻ͨ͠/PUFCPPL

     https://www.kaggle.com/dansbecker/partial-plots https://github.com/nekoumei/DGT_LT/blob/master/DataGatewayTalk_LT.ipynb