Exploratory Hour #51 - 給料が異常に高いまたは低い（外れ値）従業員にラベルをつけたい

2019/12/24に行ったExploratory Hourのスライドです。

外れ値にラベルをつける方法について紹介しています。

外れ値検知のタイプは3種類あり、
1. 標準偏差
2. パーセンタイル
3. 四分位範囲(IQR)
についての説明もあります。

他にもExploratory Hourで紹介しているので、興味がありましたら下記もご覧ください。

https://exploratory.io/tag/?q=tag:Exploratoryhour

Transcript

1. EXPLORATORY 1
2. 2 εϐʔΧʔ നށ ܟొ Customer Succes EXPLORATORY ུྺ େֶࡏֶதʹϑʔυϩεΛݮΒͨ͢ΊʹɺֶੜஂମΛ্ཱͪ͛୅දΛ ຿ΊΔɻͦͷޙɺϏδωεΛ஌ΔͨΊʹԽֶϝʔΧʔͷσϡϙϯͱ ϑʔυςοΫܥελʔτΞοϓͰӦۀͱϚʔέςΟϯάΛܦݧɻΞϓ Ϧͷ੒௕ͷͨΊʹ͸σʔλαΠΤϯε͕ඞཁͩͱײ͡ɺΞϓϦʹಛԽ ͨ͠Ϣʔβʔͷߦಈ෼ੳπʔϧΛ։ൃ͢ΔاۀʹͯɺΞϓϦۀքͷ KPI෼ੳͳͲΛ୲౰͢Δɻݱࡏ͸Exploratory, Inc. ͰΧελϚʔαΫη εΛ୲౰͢Δ๣ΒɺσʔλͷՄࢹԽͱ୳ࡧతσʔλ෼ੳΛઐ໳ͱͯ͠ σʔλαΠΤϯεͷීٴʹऔΓ૊Ήɻ @ShirotoTakato
3. Exploratory Hour
4. • จࣈྻσʔλͷதʹ͋Δ2൪໨ͷ୯ޠΛऔΓग़͍ͨ͠ • จࣈྻͷҰ෦Λผͷ஋ʹஔ͖׵͍͑ͨ • څྉ͕ҟৗʹߴ͍·ͨ͸௿͍ʢ֎Ε஋ʣैۀһʹϥϕϧΛ͚͍ͭͨ ࠓिͷ࣭໰
5. • จࣈྻσʔλͷதʹ͋Δ2൪໨ͷ୯ޠΛऔΓग़͍ͨ͠ • จࣈྻͷҰ෦Λผͷ஋ʹஔ͖׵͍͑ͨ • څྉ͕ҟৗʹߴ͍·ͨ͸௿͍ʢ֎Ε஋ʣैۀһʹϥϕϧΛ͚͍ͭͨ ࠓिͷ࣭໰
6. ैۀһσʔλ
7. ώετάϥϜͰڅྉͷ෼෍ΛՄࢹԽ͢Δ
8. ͍͍ͬͨͲͷਓ͕ͨͪڅྉ͕ҟৗʹߴ͍·ͨ͸௿͍(֎Ε஋)ͷ͔ʁ
9. څྉ͕֎Ε஋ͷैۀһʹϥϕϧΛ͚͍ͭͨ
10. • σʔλશମͱͯ͠ͷੑ࣭͕ɺগ਺ͷ֎Ε஋ʹΑͬͯ࿪ΊΒΕͯ͠ ·͏͜ͱ͕͋Δɻ • ฏۉ஋͕֎Ε஋ʹΑͬͯҾͬுΒΕΔ͜ͱʹΑΓɺσʔλͷਪଌ ͕ਖ਼֬ʹߦ͑ͳ͘ͳΔɻ 10 ֎Ε஋͕͋Δͱͳͥ໰୊͔
11. • ඪ४ภࠩ • ύʔηϯλΠϧ • ࢛෼Ґൣғ(IQR) 11 ֎Ε஋ݕ஌ͷλΠϓ
12. 12 ΋͠෼෍͕ਖ਼ن෼෍Ͱ͋Ε͹ɺ ஋ͷ͏ͪ95ˋ͸ฏۉ͔Β2ඪ४ภࠩҎ಺ʹ͋Δɻ ඪ४ภࠩ
13. 13 1ඪ४ภࠩͷൣғ֎ͷ஋Λ֎Ε஋ͱͯ͠ѻ͏৔߹ 0 -2 -1 2 1 -3 3 68% ֎Ε஋ ֎Ε஋ 16% 16%
14. 14 0 -2 -1 2 1 -3 3 95% 2ඪ४ภࠩͷൣғ֎ͷ஋Λ֎Ε஋ͱͯ͠ѻ͏৔߹ ֎Ε஋ ֎Ε஋ 2.5% 2.5%
15. 15 0 -2 -1 2 1 -3 3 99.7% 3ඪ४ภࠩͷൣғ֎ͷ஋Λ֎Ε஋ͱͯ͠ѻ͏৔߹ ֎Ε஋ ֎Ε஋ 0.15% 0.15%
16. 16 গͳ͘ͱ΋75%͕ ͜ͷൣғʹೖΔ 2SD 2SD νΣϏγΣϑͷෆ౳ࣜ
17. 2ඪ४ภࠩΛ࢖ͬͯ֎Ε஋Λ୳͢
18. 2ඪ४ภࠩΛ࢖ͬͯ֎Ε஋Λ୳͢ ֎Ε஋ ߦ਺ ׂ߹ lower 0 0% normal 1342 91.29% upper 128 8.71%
19. • ஋ࣗମΛແࢹͯ͠ɺॱҐʹண໨͢Δํ๏ɻ • σʔλΛେ͖͞ॱʹฒ΂ͯɺͦͷ஋ҎԼ͕શମͷԿύʔη ϯτΛ઎ΊΔ͔Ͱͦͷ஋ͷύʔηϯλΠϧ͕ܾ·Δɻ ύʔηϯλΠϧ
20. ύʔηϯλΠϧ ͜ͷਓ͸খ͍͞ํ͔Β10ਓதͷ9൪໨ʹҐஔ͢ΔͷͰɺ 90ύʔηϯλΠϧʹͳΔɻ
21. ύʔηϯλΠϧΛ࢖ͬͯ֎Ε஋Λ୳͢
22. ύʔηϯλΠϧΛ࢖ͬͯ֎Ε஋Λ୳͢ ֎Ε஋ ߦ਺ ׂ߹ lower 147 10% normal 1176 80% upper 147 10%
23. 23 ࢛෼Ґൣғ(IQR) ശώήਤΛ࢖ͬͯઆ໌͞ΕΔ
25. ͦΕͧΕͷαΠζʢߦͷ਺ʣ͕౳͘͠ͳΔΑ͏ʹ̐ͭͷάϧʔϓʹ෼͚Δɻ 25
26. 3Q (ୈ3࢛෼Ґ/ 75ύʔηϯλΠϧ) 2Q (ୈ2࢛෼Ґ/ 50ύʔηϯλΠϧ) 1Q (ୈ1࢛෼Ґ/ 25ύʔηϯλΠϧ) 26
27. 3Q தԝ஋ 1Q 27
28. 3Q தԝ஋ 1Q 28
29. 29 1IQR 1Q(25ύʔηϯλΠϧ)͔Β 3Q(75ύʔηϯλΠϧ)ͷൣғΛ ࢛෼Ґൣғ(IQR)ͱݺͿɻͪΐ ͏ͲɺശώήਤͷϘοΫεͷ௕ ͞ʹ૬౰͢Δ
30. 30 1IQR 1.5IQR 1.5IQR ശͷ্୺͔Β্ʹ1.5IQRɺ ശͷԼ୺͔ΒԼʹ1.5IQRͷൣғ ΑΓ֎ଆͷ஋͕֎Ε஋ͱͳΔɻ
31. ࢛෼Ґൣғ(IQR)Λ࢖ͬͯ֎Ε஋Λ୳͢
32. ࢛෼Ґൣғ(IQR)Λ࢖ͬͯ֎Ε஋Λ୳͢ ֎Ε஋ ߦ਺ ׂ߹ lower 0 0% normal 1356 92.24% upper 114 7.76%
33. ϏϯΛ࢖ͬͯڅྉ͕֎Ε஋ͷैۀһʹϥϕϧΛ͚ͭΔ
34. ྻϔομϝχϡʔ͔Β؆୯ʹΞΫηεͰ͖Δ
35. ख๏ʹ֎Ε஋Λબ୒͢Δ
36. ֎Ε஋ݕ஌ͷλΠϓʹ͸3ͭͷछྨ͕͋Δ
37. ֎Ε஋ݕ஌ͷλΠϓʹඪ४ภࠩΛબ୒͢Δ
38. ैۀһʹڅྉ͕֎Ε஋͔Ͳ͏͔ϥϕϧΛ෇͚Δ͜ͱ͕Ͱ͖ͨ
39. αϚϦɾϏϡʔͰ֬ೝͯ͠ΈΔ څྉ͕ҟৗʹ௿͍ਓ͸͍ͳ͍͕ɺ ҟৗʹߴ͍ਓ͸128ਓ͍Δ͜ͱ͕Θ͔Δ
40. ֎Ε஋ͷϥϕϧΛ͚ͭͨޙʹɺ͜ΕΒΛϑΟϧλͰऔΓআ͘͜ͱ΋Ͱ͖Δ
41. ֎Ε஋ͷϥϕϧΛ͚ͭͨޙʹɺ͜ΕΒΛϑΟϧλͰऔΓআ͘͜ͱ΋Ͱ͖Δ
42. ώετάϥϜͰ֎Ε஋ΛՄࢹԽ͢Δ
43. ໿16,000υϧҎ্͔Β ֎Ε஋Ͱ͋Δ͜ͱ͕Θ͔Δ
44. νϟʔτͷதͰ΋਺஋ΛΧςΰϦʔԽ͢Δ͜ͱͰ֎Ε஋Λݕ஌͢Δ͜ͱ͕Ͱ͖Δɻ
46. Q&A
47. Contact Email takato@exploratory.io Twitter Hashtag #ExploratoryHour ͰπΠʔτʂ Twitter @ExploratoryJp Exploratory Hour https://bit.ly/30odd9q