Monitoring Kubernetes

Transcript

1. 1.

   Monitoring Kubernetes gcp ja night #29 Hatena Co., Ltd. @stanaka

   ! 2014/12/12 
2. 2.

   [PR] Mackerel https://mackerel.io/ 

3. 3.

   Kubernetes • Docker ΛΫϥελ؅ཧ! • ͍Ζ͍Ζͳ؀ڥͰಈ͔͍ͨ͠ • MackerelͰϦιʔε؅ཧ͍ͨ͠ 

4. 4.

   

5. 5.

   Kubernetes Monitoring
 ʹؔ࿈͢Δཁૉ • kubelet • cAdvisor • heapster 

6. 6.

   kubelet • ֤ϊʔυ(minion)Ͱಈ࡞ • kubernetes masterͱڠௐಈ࡞ 

7. 7.

   cAdvisor • Dockerͷ౷ܭ৘ใΛऔಘ • ϗετશମͱίϯςφຖ • DockerҎ֎ͷίϯςφ΋ରԠ  HPPHMFDBEWJTPS

8. 8.

   heapster • Ϧιʔε৘ใऩूπʔϧ • kubarnetesઐ༻ • InfluxDB΁Πϯϙʔτ  (PPHMF$MPVE1MBUGPSNIFBQTUFS

9. 9.

   kubarnetesඪ४ϞχλϦϯά 

10. 10.

    kubarnetesඪ४ϞχλϦϯά • heapster + cAdvisor 
 → InfuxDB & Grafana

    
 • Ϋϥελ಺ʹ͋ΔͷͰɺΫϥελΛ མ͢ͱམͪΔ 
11. 11.

    Minionͷ౷ܭ৘ใऔಘ • http://#{ipaddr}/stats/ • kubeletͷAPI • ཪͰcAdvisor͕ಈ͘  $  curl

     http://10.240.153.49:10250/stats/  |  jq  'keys'   [      "name",      “spec",    #  εϖοΫ      “stats",  #  ౷ܭ৘ใ  1ඵ͝ͱ  60ඵؒ෼      "subcontainers"   ]
12. 12.

    statsͷத਎  $  curl  http://10.240.56.195:10250/stats/90559c9f-­‐8123-­‐11e4-­‐ a0ec-­‐42010af08f91/php-­‐redis  |  jq  ".stats  |

     .[]  |  .timestamp"   "2014-­‐12-­‐12T02:41:55.52640117Z"   "2014-­‐12-­‐12T02:41:56.526265405Z"   "2014-­‐12-­‐12T02:41:57.52632129Z"   "2014-­‐12-­‐12T02:41:58.526385146Z"   "2014-­‐12-­‐12T02:41:59.526285874Z"   "2014-­‐12-­‐12T02:42:00.526267704Z"   "2014-­‐12-­‐12T02:42:01.526227391Z"   "2014-­‐12-­‐12T02:42:02.526312936Z"   "2014-­‐12-­‐12T02:42:03.526225182Z"   “2014-­‐12-­‐12T02:42:04.526287033Z"   …  (ҎԼɺ60ඵ෼)
13. 13.

    statsͷத਎ #2  #  curl  http://10.240.153.49:10250/stats/  |  jq   '.stats

     |  .[0]  |  keys'   [      "cpu",      "diskio",      "filesystem",      "memory",      "network",      "timestamp"   ]  
14. 14.

    statsͷத਎ৄࡉ  UJNFTUBNQ
    DQV
    NFNPSZ
    OFUXPSL
    
    
    \SY UY^@\CZUFT QBDLFUT FSSPST

    ESPQQFE^
    pMFTZTUFN
    
    
    EFWJDF<>
    
    
    
    
    DBQBDJUZ
    VTBHF
    
    JP@UJNF EJTLJP
    
    
    JP@NFSHFE
    
    
    JP@RVFVFE
    
    
    JP@TFSWJDF@CZUFT
    
    
    
    
    NBKPS
    NJOPS
    
    
    
    
    TUBUT
    
    
    
    
    
    
    "TZOD
    3FBE
    4ZOD
    5PUBM
    8SJUF
    
    
    JP@TFSWJDF@UJNF
    
    
    JP@TFSWJDFE
    
    
    JP@UJNF
    
    
    JP@XBJU@UJNF
    
    
    TFDUPST
    
15. 15.

    ϞχλϦϯάख๏ • Ϋϥελ্Ͱಈ͍͍ͯΔ΋ͷΛ೺Ѳ • kubecfg list pods • kubecfg get

    pods/#{ID} • Munion্ͷίϯςφͷঢ়ଶऔಘ • /stats/#{ID}/#{container} 
16. 16.

    kubecfg list pods • cluster/kubecfg.sh -json list pods  \
    

    
    
    JUFNT
    <
    
    
    
    
    \
    
    
    
    
    
    JE
    GDFBFDBGG
    
    
    
    
    
    IPTU
    LVCFSOFUFTNJOJPODCVPZBOU[PEJBDJOUFSOBM
    
    
    
    
    
    
    
    
    
    
    
    
    EFTJSFE4UBUF
    \
    
    
    
    
    
    
    
    
    NBOJGFTU
    \
    
    
    
    
    
    
    
    
    
    
    DPOUBJOFST
    <
    
    
    
    
    
    
    
    
    
    
    
    
    \
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    JNBHF
    CSFOEBOCVSOTQIQSFEJT
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    OBNF
    QIQSFEJT
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
17. 17.

    kubecfg get pods • cluster/kubecfg.sh -json get pods/ 73f777c6-8123-11e4-a0ec-42010af08f91 •

    Ϩεϙϯε͸ list pods ͱಉ͡ 
18. 18.

    Munion্ͷίϯςφͷঢ়ଶऔಘ • curl http://10.240.56.195:10250/ stats/90559c9f-8123-11e4- a0ec-42010af08f91/php-redis | jq ".stats |

    .[] | .timestamp” • Ϩεϙϯε͸/stats/ͱಉ͡ 
19. 19.

    Φʔτεέʔϧ͍ͤͨ͞ • Ϧιʔε৘ใऔಘ • αΠζมߋ൑அ • αΠζมߋ࣮ߦ(ඞཁ͕͋Ε͹) 

20. 20.

    podsͷಈతͳαΠζมߋ • resizeͰมߋ  cluster/kubecfg.sh  resize  frontendController  4 $  cluster/kubecfg.sh

     list  replicationControllers   Name                                      Image(s)                                      Selector                        Replicas   -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐                          -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐                                  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐                    -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐   frontendController          brendanburns/php-­‐redis          name=frontend              4  
21. 21.

    Kubenetesҹ৅ • ͍Ζ͍Ζศརʹ࢖͑ͦ͏Ͱເ͸͋Δ • ϓϩμΫγϣϯʹಥͬࠐΉͷ͸·ͩ… • དྷ೥Ն͙Β͍ʹ͸͜ͳΕ͖ͯͦ͏?