Linuxos_for_system_metrics

by soudai sone

Slide 1

Slide 1 text

1 -JOVY04͔ΒݟΔ .BDLFSFMͷ ύϑΥʔϚϯεϞχλϦϯά .BDLFSFM/FX3FMJD &MBTUJDTFBSDI 4FNJOBS

Slide 2

Slide 2 text

Slide 3

Slide 3 text

3 • ીࠜ ૖େ JE4PVEBJ • גࣜձࣾ ͸ͯͳ • .BDLFSFMνʔϜ • $VTUPNFS3FMJBCJMJUZ&OHJOFFS ٕज़Ͱօ༷ͷ໰୊Λղܾ͢Δ͓࢓ࣄͰ͢ ࣗݾ঺հ

Slide 4

Slide 4 text

4 ࠓ೔ͷΰʔϧ ΞϓϦέʔγϣϯ ϛυϧ΢ΣΞɾ04ɾωοτϫʔΫ ςΩετɾϩά αʔϏε

Slide 5

Slide 5 text

5 ࠓ೔ͷΰʔϧ ΞϓϦέʔγϣϯ ϛυϧ΢ΣΞɾ04ɾωοτϫʔΫ ςΩετɾϩά αʔϏε

Slide 6

Slide 6 text

6 ύϑΥʔϚϯεϞχλϦϯά͸৬ਓܳ ࠓ೔ͷΰʔϧ

Slide 7

Slide 7 text

7 ԿΛݟΕ͹͍͍͔Θ͔Βͳ͍ʜ ࠓ೔ͷΰʔϧ

Slide 8

Slide 8 text

8 άϥϑΛݟͯ΋Կॲ͕ѱ͍ͷ͔Θ͔Βͳ͍ʜ ࠓ೔ͷΰʔϧ

Slide 9

Slide 9 text

9 ͦ͜Ͱʂʂ ࠓ೔ͷΰʔϧ

Slide 10

Slide 10 text

10 -JOVYͷύϑΥʔϚϯεϞχλϦϯάΛ ஌ΔɾݟΔɾվળ͢Δ ࠓ೔ͷΰʔϧ

Slide 11

Slide 11 text

11 -JOVYͷύϑΥʔϚϯεϞχλϦϯάΛ ஌ΔɾݟΔɾվળ͢Δ ࠓ೔ͷΰʔϧ

Slide 12

Slide 12 text

12 -JOVYͷύϑΥʔϚϯεϞχλϦϯάΛ ஌ΔɾݟΔɾվળ͢Δ ࠓ೔ͷΰʔϧ Ͱ͖Δʂ-JOVYͷϞχλϦϯάʂʂ

Slide 13

Slide 13 text

13 .BDLFSFMͱ͸ -JOVYͷϞχλϦϯά ύϑΥʔϚϯεϞχλϦϯάͷεεϝ ·ͱΊ ࠓ೔ͷΞδΣϯμ

Slide 14

Slide 14 text

14 .BDLFSFMͱ͸ -JOVYͷϞχλϦϯά ύϑΥʔϚϯεϞχλϦϯάͷεεϝ ·ͱΊ ࠓ೔ͷΞδΣϯμ

Slide 15

Slide 15 text

15 ௚ײతͳϢʔβʔମݧ

Slide 16

Slide 16 text

16 ΞʔΩςΫνϟ Mackerel͔Β ֎෦αʔϏε ΁ͷ௚઀؂ࢹ ΤʔδΣϯτ͔Β ϝτϦοΫΛ౤ߘ HTTPS REST API

Slide 17

Slide 17 text

17 ؆୯ɻ͙͢ ͸͡ΊΒΕ·͢ • ΨΠυʹ͕ͨͬͯ͠ίϚϯυΛ࣮ߦ͢Δ͚ͩ • ਺෼͋Ε͹े෼Ͱ͢ mackerel-agent written in Go

Slide 18

Slide 18 text

18 .BDLFSFMͱ͸ -JOVYͷϞχλϦϯά ύϑΥʔϚϯεϞχλϦϯάͷεεϝํ ·ͱΊ ࠓ೔ͷΞδΣϯμ

Slide 19

Slide 19 text

19 -JOVYͰΑ͘ݟΒΕΔϝτϦοΫ -JOVYͷϞχλϦϯά

Slide 20

Slide 20 text

20 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ

Slide 21

Slide 21 text

21 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ

Slide 22

Slide 22 text

22 ࣮ߦ଴ͪͷʢ࣮ߦΩϡʔ಺ʹ͋Δʣϓϩηεͷ਺ͱ σΟεΫͷ*0଴ͪͷϓϩηεͷ਺ͷ߹ܭ஋ ϩʔυΞϕϨʔδ

Slide 23

Slide 23 text

23 ࣮ߦ଴ͪͷʢ࣮ߦΩϡʔ಺ʹ͋Δʣϓϩηεͷ਺ͱ σΟεΫͷ*0଴ͪͷϓϩηεͷ਺ͷ߹ܭ஋ ϩʔυΞϕϨʔδ ͭ·ΓϩʔυΞϕϨʔδ͕ߴ͚Ε͹ $16΍%JTL*0͕٧·͍ͬͯΔ͜ͱΛද͢

Slide 24

Slide 24 text

24 VQUJNF VQ VTFS MPBEBWFSBHF ϩʔυΞϕϨʔδ

Slide 25

Slide 25 text

25 VQUJNF VQ VTFS MPBEBWFSBHF ϩʔυΞϕϨʔδ

Slide 26

Slide 26 text

26 VQUJNF VQ VTFS MPBEBWFSBHF ϩʔυΞϕϨʔδ

Slide 27

Slide 27 text

27 VQUJNF VQ VTFS MPBEBWFSBHF ϩʔυΞϕϨʔδ 3つ並んでいる値は左から順番に「1分間の平均値」「5分間の平均値」「10分間の平均値」

Slide 28

Slide 28 text

28 VQUJNF VQ VTFS MPBEBWFSBHF ϩʔυΞϕϨʔδ 3つ並んでいる値は左から順番に「1分間の平均値」「5分間の平均値」「10分間の平均値」

Slide 29

Slide 29 text

29 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ ϩʔυΞϕϨʔδͷ෼ؒͷฏۉ஋

Slide 30

Slide 30 text

30 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ

Slide 31

Slide 31 text

31 $16࢖༻཰ͷׂ߹Λ஌Δ $16

Slide 32

Slide 32 text

32 $16࢖༻཰ͷׂ߹Λ஌Δ $16 $16͕ͷ৔߹ʹ Ͳ͜Ͱ࢖͍ͬͯΔ͔Λ஌Δ

Slide 33

Slide 33 text

33 UPQ 5BTLTUPUBM SVOOJOH TMFFQJOH TUPQQFE [PNCJF $QV T VT TZ OJ JE XB IJ TJ TU .FNLUPUBM LVTFE LGSFF LCVGGFST 4XBQLUPUBM LVTFE LGSFF LDBDIFE $16

Slide 34

Slide 34 text

34 UPQ 5BTLTUPUBM SVOOJOH TMFFQJOH TUPQQFE [PNCJF $QV T VT TZ OJ JE XB IJ TJ TU .FNLUPUBM LVTFE LGSFF LCVGGFST 4XBQLUPUBM LVTFE LGSFF LDBDIFE $16

Slide 35

Slide 35 text

35 UPQ 5BTLTUPUBM SVOOJOH TMFFQJOH TUPQQFE [PNCJF $QV T VT TZ OJ JE XB IJ TJ TU .FNLUPUBM LVTFE LGSFF LCVGGFST 4XBQLUPUBM LVTFE LGSFF LDBDIFE $16

Slide 36

Slide 36 text

36 UPQ $QV T VT TZ OJ JE XB IJ TJ TU VTFSTZTUFNOJDFJEMF *0XBJUIBSEXBSFTPGUXBSFTUFBM $16

Slide 37

Slide 37 text

37 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN • DQVJEMF

Slide 38

Slide 38 text

38 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN • DQVJEMF ΧʔωϧҎ֎͕࢖༻ͨ࣌ؒ͠ͷׂ߹

Slide 39

Slide 39 text

39 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN • DQVJEMF *0଴ͪʹΑΓΞΠυϧঢ়ଶͰ ͋ͬͨ࣌ؒͷׂ߹

Slide 40

Slide 40 text

40 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN • DQVJEMF Χʔωϧ͕࢖༻ͨ࣌ؒ͠ͷׂ߹

Slide 41

Slide 41 text

41 $16Ͱ཈͑Δ΂͖ϝτϦοΫ $16 • DQVVTFS • DQVJPXBJU • DQVTZTUFN • DQVJEMF *0଴͕ͪͳ͘ɺ͔ͭ$16͕ ΞΠυϧঢ়ଶͰ͋ͬͨ࣌ؒͷׂ߹

Slide 42

Slide 42 text

42 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ

Slide 43

Slide 43 text

43 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ ࠓ೔͸͕࣌ؒͳ͍ͷͰׂѪ

Slide 44

Slide 44 text

44 .BDLFSFMຊ

Slide 45

Slide 45 text

Slide 46

Slide 46 text

46 • MPBEBWH • DQV • NFNPSZ -JOVYͷϞχλϦϯά • EJTL • JOUFSGBDF • GJMFTZTUFN γεςϜʹؔΘΔϝτϦοΫ શͯͷ߲໨ʹ͍ͭͯৄࡉ͕͋Γ·͢ʂ

Slide 47

Slide 47 text

47 .BDLFSFMͱ͸ -JOVYͷϞχλϦϯά ύϑΥʔϚϯεϞχλϦϯάͷεεϝ ·ͱΊ ࠓ೔ͷΞδΣϯμ

Slide 48

Slide 48 text

48 ͜Μͳܦݧ͋Γ·ͤΜ͔ʁ ύϑΥʔϚϯεϞχλϦϯάͷεεϝ

Slide 49

Slide 49 text

49 ͸ͯͳϒοΫϚʔΫͷϗοτΤϯτϦʔೖΓͯ͠ ΞΫηεٸ૿ʂʂ ύϑΥʔϚϯεϞχλϦϯάͷεεϝ

Slide 50

Slide 50 text

50 ߴ໐ΔΞϥʔτɺߴ·ΔϩʔυΞϕϨʔδ ύϑΥʔϚϯεϞχλϦϯάͷεεϝ

Slide 51

Slide 51 text

51 MPBEBWH্͕͕ΔͱγεςϜʹෛՙ͕͔͔͍ͬͯΔ ߴ·ΔϩʔυΞϕϨʔδ

Slide 52

Slide 52 text

52 MPBEBWH্͕͕ΔͱγεςϜʹෛՙ͕͔͔͍ͬͯΔ ߴ·ΔϩʔυΞϕϨʔδ ͔͠͠ଈো֐ͱ͸ݶΒͳ͍

Slide 53

Slide 53 text

53 ॠؒతʹॲཧ͕ूதͯ͠΋ɺ ฏৗ࣌ͷෛՙʹ·Ͱམͪண͘͜ͱ͕Ͱ͖Δ͔Ͳ͏͔ ߴ·ΔϩʔυΞϕϨʔδ

Slide 54

Slide 54 text

54 ʮ࣮ࡍʹࡹ͍͍ͯΔॲཧྔʢ Y ʣʯ ʮࡹ͘΂͖ॲཧͷ૯ྔʢ Z ʣʯ ͕ YZ ʹͳ͍ͬͯͳ͍͔ ϩʔυΞϕϨʔδ

Slide 55

Slide 55 text

55 ϩʔυΞϕϨʔδ

Slide 56

Slide 56 text

56 ϩʔυΞϕϨʔδ εύΠΫ͍ͯ͠Δ͕ ͙͢ʹऩଋ͍ͯ͠ΔͷͰ໰୊͸ແ͍

Slide 57

Slide 57 text

57 ϩʔυΞϕϨʔδ

Slide 58

Slide 58 text

58 ϩʔυΞϕϨʔδ X < Y の状態を放っておくと、どんどんと処理待ちプロセスが溜まり、処理されるのが遅れてくる一方になる

Slide 59

Slide 59 text

59 ϩʔυΞϕϨʔδ 根本的な対策を講じる必要があり、 CPUかDISCにボトルネックがあると推測できる

Slide 60

Slide 60 text

60 $16ͷϝτϦοΫ͔ΒݪҼΛಡΈऔΔ MPBEBWH ͷ্ঢத

Slide 61

Slide 61 text

61 σΟεΫͷ*0ੑೳ͕ωοΫ DQVJPXBJU͕ߴಅ͍ͯ͠Δ৔߹

Slide 62

Slide 62 text

62 σΟεΫͷ*0ੑೳ͕ωοΫ DQVJPXBJU͕ߴಅ͍ͯ͠Δ৔߹ %JTDͷϝτϦοΫͷ3FBEͱ8SJUFΛ֬ೝ

Slide 63

Slide 63 text

63 ΧʔωϧҎ֎ͷϓϩηε͕ݪҼ DQVVTFS͕ߴಅ͍ͯ͠Δ৔߹

Slide 64

Slide 64 text

64 ΧʔωϧҎ֎ͷϓϩηε͕ݪҼ DQVVTFS͕ߴಅ͍ͯ͠Δ৔߹ ྫ͑͹ΞϓϦέʔγϣϯ

Slide 65

Slide 65 text

65 ΧʔωϧҎ֎ͷϓϩηε͕ݪҼ DQVVTFS͕ߴಅ͍ͯ͠Δ৔߹ ྫ͑͹ΞϓϦέʔγϣϯ ΞϓϦͷվળΛߦ͏͔ɺ$16ͷεϖοΫΛ্͛Δ͜ͱͰ վળ͞ΕΔՄೳੑ͕͋Δ

Slide 66

Slide 66 text

66 ϞχλϦϯά͓ͯ͘͜͠ͱͰཧ༝͕Θ͔Δ

Slide 67

Slide 67 text

67 ΦʔόʔεϖοΫͷαʔόΛར༻͍ͯ͠Δ $16Λ࢖༻཰͕ৗʹ௿͍৔߹

Slide 68

Slide 68 text

68 ΦʔόʔεϖοΫͷαʔόΛར༻͍ͯ͠Δ $16Λ࢖༻཰͕ৗʹ௿͍৔߹ ίετμ΢ϯͷνϟϯεʂ ແବͳϦιʔεΛ࡞Βͳ͍

Slide 69

Slide 69 text

69 .BDLFSFMͱ͸ -JOVYͷϞχλϦϯά ύϑΥʔϚϯεϞχλϦϯάͷεεϝ ·ͱΊ ࠓ೔ͷΞδΣϯμ

Slide 70

Slide 70 text

70 ύϑΥʔϚϯεϞχλϦϯά͸೉͍͠ ·ͱΊ

Slide 71

Slide 71 text

71 ύϑΥʔϚϯεϞχλϦϯά͸೉͍͠ ·ͱΊ ݟΔ΂͖஋ɺ৚݅͸αʔϏε΍αʔόͷ໾ׂʹΑͬͯҧ͏

Slide 72

Slide 72 text

72 ύϑΥʔϚϯεϞχλϦϯά͸೉͍͠ ·ͱΊ ݟΔ΂͖஋ɺ৚݅͸αʔϏε΍αʔόͷ໾ׂʹΑͬͯҧ͏ 8FCαʔόͱ%#αʔόͰ΋ݟΔ΂͖ϝτϦοΫ͸มΘΔ 8FCαʔϏε͔ۀ຿ܥ͔Ͱ΋ݟΔ΂͖ϝτϦοΫ͸มΘΔ

Slide 73

Slide 73 text

73 ύϑΥʔϚϯεϞχλϦϯά͸೰·͍͠ ·ͱΊ

Slide 74

Slide 74 text

74 ύϑΥʔϚϯεϞχλϦϯά͸೰·͍͠ ·ͱΊ εύΠΫͳͷ͔ɺগ্ͮͭ͠ঢͨ͠ͷ͔͸࣌ܥྻσʔλ͕ඞཁ

Slide 75

Slide 75 text

75 ύϑΥʔϚϯεϞχλϦϯά͸೰·͍͠ ·ͱΊ εύΠΫͳͷ͔ɺগ্ͮͭ͠ঢͨ͠ͷ͔͸࣌ܥྻσʔλ͕ඞཁ աڈͷσʔλ͸औΔ͜ͱ͕ग़དྷͳ͍ ͔ͩΒͦ͜໰୊͕ى͜Δલ͔ΒϞχλϦϯά͢Δࣄ͕େࣄ

Slide 76

Slide 76 text

76 ϞχλϦϯάͷ஌ݟΛ.BDLFSFM͕ڞ༗͢Δ ·ͱΊ

Slide 77

Slide 77 text

77 1MVHJOʹΑΔऩू͢΂͖ϝτϦοΫͷछྨ ϩʔϧʹΑΔαʔόͷ·ͱΊํ άϥϑΞϊςʔγϣϯ΍άϥϑϘʔυʹΑΔ Θ͔Γ΍͍͢ϝτϦοΫͷݟํ ʜ FUD .BDLFSFM͕ڞ༗͢Δ஌ݟ

Slide 78

Slide 78 text

78 ҰาਐΜͩ.BDLFSFMͷར༻๏ .BDLFSFMͰ৽ͨͳੈքΛ

Slide 79

Slide 79 text

79 ॊೈͳάϥϑදݱʢܭࢉࣜʣ ࠩ෼ લिͱͷॏͶ͋Θͤ ࠷େ ࠷େɾฏۉɾ࠷খ ߹ܭ

Slide 80

Slide 80 text

80 কདྷ༧ଌ • աڈͷ܏޲Λ෼ੳ͠ɺকདྷͷ༧ଌʹج͍ͮͯܯࠂ • ྫ͑͹ɺσΟεΫ͕ރׇ͢Δ1ϱ݄લʹ͓஌Βͤ͢Δ͜ͱ΋ Critical > 80% কདྷ Trends 1ϱ݄લ ݱࡏ

Slide 81

Slide 81 text

81 ϗετ؅ཧͱͯ͠ͷ.BDLFSFM • ͓࢖͍ͷπʔϧͱ࿈ܞ͠ɺ༻్ʹԠͯ͡૊Έ߹ΘͤΔ͜ͱ͕Ͱ͖ ·͢ Server Server Server Server Deploy Configuration API mkr