PHPアプリケーションだってモニタリングしたい / Monitoring PHP application

Transcript

1. PHPΞϓϦέʔγϣϯͩͬͯ 
 ϞχλϦϯά͍ͨ͠ɻ PHPConference 2021 αΠϘ΢ζגࣜձࣾɹਿࢁ ༞Ұ @oogFranz #phpcon2021 #track3

   
 Discord Channel: #track3-2-a-php-monitor

2. Whoami • ਿࢁ ༞Ұ @oogFranz • αΠϘ΢ζ7೥໨ΤϯδχΞ • େاۀ޲͚άϧʔϓ΢ΣΞGaroon(Ψϧʔϯ) ࡞ͬͯΔ

   • ෳۀδϟζϛϡʔδγϟϯ@MASHݭָஂ 

3. αΠϘ΢ζ Garoon • େاۀ޲͚ͷάϧʔϓ΢ΣΞ • ੜ࢈ੑɾνʔϜϫʔΫ޲্ͷࢧԉ • ύοέʔδ൛ͱΫϥ΢υ൛͕͋Δ 

4. We're sorry for...

5. We're sorry for... • ো֐ʹͯ͝໎࿭Λ͓͔͚ͨ͠Έͳ͞·ɺ͝ΊΜͳ͍͞ • ؂ࢹɾରࡦɾௐࠪɾମ੍Λ೔ʑվળ • վળ͸·ͩ·ͩಓ൒͹ •

   αΠϘ΢ζͱGaroonΛ຤௕͘ΑΖ͓͘͠ئ͍͠·͢ • ͜ͷൃද಺ͷάϥϑ΍ίʔυ͸ɺ಺෦৘ใΛؚ·ͳ͍Α͏ʹ͢ΔͨΊɺ 
 ·ͨઆ໌ͷͨΊʹɺ࣮ࡍͷ΋ͷͱ͸Ұ෦ҟͳΔ఺͕͋Γ·͢ɻ

6. cybozu.comͷαϒυϝΠϯ  mash.cybozu.com bluegrass.cybozu.com banana.cybozu.com monopockle.cybozu.com

7. cybozu.comͷαϒυϝΠϯ  mash.cybozu.com bluegrass.cybozu.com banana.cybozu.com monopockle.cybozu.com Ϣʔβʔ͝ͱʹαϒυϝΠϯΛ෼͚ΒΕΔ

8. cybozu.comͷߏ੒ • ΞϓϦέʔγϣϯΛෳ਺ͷαʔόʔ(VM)Ͱಈ͔͍ͯ͠Δ 
 ʢΞϓϦέʔγϣϯɾσʔλϕʔεɾϑΝΠϧɾetc.ʣ • Ϛϧνςφϯτͷߏ੒ • ෳ਺ͷαʔόʔͷηοτͰෳ਺ͷυϝΠϯΛಈ͔͍ͯ͠Δ 

9. cybozu.comͷαϒυϝΠϯ 9 mash.cybozu.com bluegrass.cybozu.com banana.cybozu.com monopockle.cybozu.com /HJOY͕֤αΠϘ΢ζ੡඼ʹϦόʔεϓϩΩγ͍ͯ͠Δ

10. cybozu.comͷαϒυϝΠϯ  mash.cybozu.com bluegrass.cybozu.com banana.cybozu.com monopockle.cybozu.com ো֐ൃੜʂ

11. cybozu.comͷαϒυϝΠϯ  mash.cybozu.com bluegrass.cybozu.com banana.cybozu.com monopockle.cybozu.com ো֐ൃੜʂ ো֐͕ൃੜ͢ΔͱͲ͏ͳΔʁ

12. Ϣʔβʔ͔Β ి࿩͕͘Δ

13. Ϣʔβʔ͔Βి࿩Λ͍ͨͩ͘·Ͱ  ΤϯυϢʔβʔ ؅ཧऀ ΧελϚʔαϙʔτ ։ൃνʔϜ αΠϘ΢ζ Ϣʔβʔاۀ ো֐ൃੜʂ

14. Ϣʔβʔ͔Βి࿩Λ͍ͨͩ͘·Ͱ  ΤϯυϢʔβʔ ؅ཧऀ ΧελϚʔαϙʔτ ։ൃνʔϜ αΠϘ΢ζ Ϣʔβʔاۀ ΤϯυϢʔβʔ͸؅ཧऀʹ͓໰͍߹ΘͤΛ͢Δ

15. Ϣʔβʔ͔Βి࿩Λ͍ͨͩ͘·Ͱ  ΤϯυϢʔβʔ ؅ཧऀ ΧελϚʔαϙʔτ ։ൃνʔϜ αΠϘ΢ζ Ϣʔβʔاۀ ؅ཧऀ͸αϙʔτʹ͓໰͍߹ΘͤΛ͢Δ

16. Ϣʔβʔ͔Βి࿩Λ͍ͨͩ͘·Ͱ  ΤϯυϢʔβʔ ؅ཧऀ ΧελϚʔαϙʔτ ։ൃνʔϜ αΠϘ΢ζ Ϣʔβʔاۀ αϙʔτ͸։ൃνʔϜʹΤεΧ͢Δ

17. ి࿩Ͱো֐ʹؾ͕ͭ͘·Ͱʹ΋ • ΤϯυϢʔβʔ͸࣌ؒΛ͓͍ͯ΋͏Ұ౓ࢼͦ͏ͱߟ͑Δ͔΋͠Εͳ͍ • ؅ཧऀ͸ͨ͘͞ΜͷΤϯυϢʔβʔ͔Βͷ໰͍߹ΘͤΛ·ͱΊͯ͘Ε͍ͯΔ͔΋͠Εͳ͍ • ؅ཧऀ͸ࣗࣾଆͷ໰୊Ͱ͸ͳ͍͔֬ೝ͔ͯ͠Β 
 αϙʔτʹ໰͍߹ΘͤΑ͏ͱߟ͑Δ͔΋͠Εͳ͍ •

    αϙʔτ͸࠶ݱͰ͖Δෆ۩߹͔Λௐࠪ͢Δ͕͔͔࣌ؒΔ • αϙʔτ͸طଘͷෆ۩߹Ͱͳ͍͔Λௐࠪ͢Δ͕͔͔࣌ؒΔ • etc. 

18. ి࿩Ͱো֐ʹؾ͕ͭ͘·Ͱʹ΋ • ΤϯυϢʔβʔ͸࣌ؒΛ͓͍ͯ΋͏Ұ౓ࢼͦ͏ͱߟ͑Δ͔΋͠Εͳ͍ • ؅ཧऀ͸ͨ͘͞ΜͷΤϯυϢʔβʔ͔Βͷ໰͍߹ΘͤΛ·ͱΊͯ͘Ε͍ͯΔ͔΋͠Εͳ͍ • ؅ཧऀ͸ࣗࣾଆͷ໰୊Ͱ͸ͳ͍͔֬ೝ͔ͯ͠Β 
 αϙʔτʹ໰͍߹ΘͤΑ͏ͱߟ͑Δ͔΋͠Εͳ͍ •

    αϙʔτ͸࠶ݱͰ͖Δෆ۩߹͔Λௐࠪ͢Δ͕͔͔࣌ؒΔ • αϙʔτ͸طଘͷෆ۩߹Ͱͳ͍͔Λௐࠪ͢Δ͕͔͔࣌ؒΔ • etc.  ։ൃνʔϜ͕ো֐ʹؾ͕ͭ͘·Ͱʹ͸λΠϜϥά͕ൃੜ͢Δ

19. ো֐ʹؾ͕ͭ͘ͷ͕஗ΕΕ͹ • ରԠ͸஗ΕΔ • ෮چ·Ͱͷ࣌ؒ΋ԆͼΔ • ಉ͡ো֐ʹ౰ͨΔϢʔβʔ͕૿͑Δ • ໰͍߹Θͤ΋ͦͷ෼૿͑Δ •

    ॳΊʹো֐ʹ௚໘ͨ͠Ϣʔβʔ͸ͣͬͱαʔϏε͕ར༻Ͱ͖ͳ͍ 

20. ো֐ʹؾ͕ͭ͘ͷ͕஗ΕΕ͹ • ରԠ͸஗ΕΔ • ෮چ·Ͱͷ࣌ؒ΋ԆͼΔ • ಉ͡ো֐ʹ౰ͨΔϢʔβʔ͕૿͑Δ • ໰͍߹Θͤ΋ͦͷ෼૿͑Δ •

    ॳΊʹো֐ʹ௚໘ͨ͠Ϣʔβʔ͸ͣͬͱαʔϏε͕ར༻Ͱ͖ͳ͍  ࣄޙରԠͰϢʔβʔʹ໎࿭Λ͔͚ͯ͠·͏

21. ো֐ʹؾ͕ͭ͘ͷ͕஗ΕΕ͹ • ରԠ͸஗ΕΔ • ෮چ·Ͱͷ࣌ؒ΋ԆͼΔ • ಉ͡ো֐ʹ౰ͨΔϢʔβʔ͕૿͑Δ • ໰͍߹Θͤ΋ͦͷ෼૿͑Δ •

    ॳΊʹো֐ʹ௚໘ͨ͠Ϣʔβʔ͸ͣͬͱαʔϏε͕ར༻Ͱ͖ͳ͍  αʔϏεΛ؂ࢹͯ͠ɺো֐ʹઌʹૣ͘ؾ͕ͭ͜͏

22. ͦ΋ͦ΋ো֐ͱ͸ʁ

23. Ϣʔβʔ໨ઢͰͷো֐ͷ෼ྨ • ར༻Ͱ͖ͳ͍ൣғ • ͳʹ΋͔ͭ͑ͳ͍ • ಛఆͷػೳͷΈ • ಛఆͷૢ࡞ͷΈ •

    ಛఆͷ࣌ؒଳͷΈ  • ར༻Ͱ͖ͳ͍ঢ়گ • ϨεϙϯελΠϜ͕஗͍ • Τϥʔ͕ฦͬͯ͘Δ • εϧʔϓοτ͕Ͱͳ͍ • ૝ఆͨ͠ಈ࡞͕ฦͬͯ͜ͳ͍

24. ։ൃ໨ઢͰͷো֐ͷ෼ྨ • ൃੜൣғ • શαʔϏε • ಛఆαʔόʔ • ಛఆυϝΠϯ •

    ಛఆϢʔβʔ  • ൃੜݪҼ • ϋʔυ΢ΣΞো֐ʢߴෛՙɾαʔόμ΢ϯʣ • ιϑτ΢ΣΞো֐ʢෆ۩߹ɾ࢓༷ɾ૝ఆ֎ͷར༻ʣ • σʔλىҼͷো֐ • ࡞ۀϛε

25. ো֐ͱҰޱʹݴͬͯ΋ • Ͳͷঢ়ଶ͕ো֐ʹͳΔ͔͸αʔϏεʹΑͬͯҟͳΔ • ϞχλʔɾϩάɾϝτϦΫε΁ͷݱΕํ΋ҟͳΔ 

26. ো֐ͱҰޱʹݴͬͯ΋ • Ͳͷঢ়ଶ͕ো֐ʹͳΔ͔͸αʔϏεʹΑͬͯҟͳΔ • ϞχλʔɾϩάɾϝτϦΫε΁ͷݱΕํ΋ҟͳΔ  ݕ஌͍ͨ͠ো֐ʹ߹Θͤͯ؂ࢹΛ࢝ΊΑ͏

27. SLO (Service Level Objective) • cybozu.comʹ͸Քಇ཰99.99%ͱ͍͏SLO͕͋Δɻ • ͔͠͠ͳ͕ΒɺGaroonϨϕϧͰ͸SLO͸ͳ͔ͬͨ • ʮGaroon͕஗͍ʯͱ͍͏͓໰͍߹Θ͕ͤ͋ͬͯ΋ɺ

    
 ো֐ͳͷ͔ͷ൑அ͕͙͢ʹͰ͖ͳ͍ɻ • SRE΍αϙʔτɺӦۀͱ͍ͬͨଞͷνʔϜͱ΋ɺ 
 Ͳͷ͘Β͍ٸ͍ͰରԠ͢΂͖͔ɺͷೝ͕ࣝἧ͑ΒΕͳ͍  https://www.cybozu.com/jp/infrastructure/slo.html

28. ʮຖே࢝ۀ௚ޙʹϝʔϧΛ։͜͏ͱ͢ΔͱɺҰ෦ͷࣾһ͚ͩ 
 ΊͪΌͪ͘Ό஗͘ͳΔͷ͚ͩͲʯ  ྫ͑͹͜Μͳ͓໰͍߹Θͤ

29. ʮຖே࢝ۀ௚ޙʹϝʔϧΛ։͜͏ͱ͢ΔͱɺҰ෦ͷࣾһ͚ͩ 
 ΊͪΌͪ͘Ό஗͘ͳΔͷ͚ͩͲʯ  ྫ͑͹͜Μͳ͓໰͍߹Θͤ ಛఆͷ࣌ؒଳͷΈ

30. ʮຖே࢝ۀ௚ޙʹϝʔϧΛ։͜͏ͱ͢ΔͱɺҰ෦ͷࣾһ͚ͩ 
 ΊͪΌͪ͘Ό஗͘ͳΔͷ͚ͩͲʯ  ྫ͑͹͜Μͳ͓໰͍߹Θͤ ಛఆͷ࣌ؒଳͷΈ ಛఆͷૢ࡞ͷΈ

31. ʮຖே࢝ۀ௚ޙʹϝʔϧΛ։͜͏ͱ͢ΔͱɺҰ෦ͷࣾһ͚ͩ 
 ΊͪΌͪ͘Ό஗͘ͳΔͷ͚ͩͲʯ  ಛఆͷ࣌ؒଳͷΈ ಛఆͷૢ࡞ͷΈ ಛఆͷϢʔβʔͷΈ ྫ͑͹͜Μͳ͓໰͍߹Θͤ

32. ಛఆͷૢ࡞ͷΈ ಛఆͷ࣌ؒଳͷΈ ʮຖே࢝ۀ௚ޙʹϝʔϧΛ։͜͏ͱ͢ΔͱɺҰ෦ͷࣾһ͚ͩ 
 ΊͪΌͪ͘Ό஗͘ͳΔͷ͚ͩͲʯ  ಛఆͷϢʔβʔͷΈ ϨεϙϯελΠϜ͕஗͍ ྫ͑͹͜Μͳ͓໰͍߹Θͤ

33. ಛఆͷૢ࡞ͷΈ ಛఆͷ࣌ؒଳͷΈ ʮຖே࢝ۀ௚ޙʹϝʔϧΛ։͜͏ͱ͢ΔͱɺҰ෦ͷࣾһ͚ͩ 
 ΊͪΌͪ͘Ό஗͘ͳΔͷ͚ͩͲʯ  ಛఆͷϢʔβʔͷΈ ϨεϙϯελΠϜ͕஗͍ ྫ͑͹͜Μͳ͓໰͍߹Θͤ ΞΫηεϩάͰ൑ผ͸Ͱ͖ͦ͏

34. cybozu.comͷΞΫηεϩά • ϩάͷղੳʹ෼ࢄΫΤϦΤϯδϯͷPresto Λ • UIͰΫΤϦΛ࣮ߦ͢ΔͨΊ Redash Λར༻͍ͯ͠Δ  αΠϘ΢ζͷϩάج൫

    2018೥൛ΑΓ https://blog.cybozu.io/entry/2018/03/19/080000

35. ো֐ൃੜ࣌ͷαʔόʔ͝ͱͷ 
 ϨεϙϯελΠϜͷਪҠΛΈΔ 

36.  server 11 server 24 server 41 server 59 server

    13 server 21 server 32 server 17 server 12 server 98 ো֐ൃੜ࣌ͷαʔόʔ͝ͱͷ 
 ϨεϙϯελΠϜͷਪҠΛΈΔ

37.  server 11 server 24 server 41 server 59 server

    13 server 21 server 32 server 17 server 12 server 98 ো֐ൃੜ࣌ͷαʔόʔ͝ͱͷ 
 ϨεϙϯελΠϜͷਪҠΛΈΔ ো֐ͩʂ

38. • σʔλΛঢॱʹฒ΂ͨͱ͖ʹɺશମͷN ˋͷҐஔʹ͋Δ஋ • ֎Ε஋Λແࢹͯ͠େ෦෼ͷϢʔβʔʹͲ͏͔ͩͬͨΛݟΔͷʹ ޲͍͍ͯΔ • Presto ʹ͸ύʔηϯλΠϧͷ֓ࢉΛૉૣ͘ٻΊΔؔ਺͕͋Δ ύʔηϯλΠϧ

     approx_percentile(response_time, 0.95)

39. ύʔηϯλΠϧΛͲ͜ʹઃఆ͢Δ͔ʁ • ো֐Λݕ஌͢Δ͚ͩͳΒߴ͍਺஋ͷ΄͏͕ɺݕ஌͠΍͍͢ • γεςϜ͕݈શʹಈ࡞͍ͯ͠Δ͜ͱΛ஌Γ͍ͨͷͰ͋Ε͹ ௿͍਺஋ͷํ͕ద͍ͯ͠Δ͜ͱ΋͋Δ • ࠓͷGaroonͰ͸99%λΠϧͰ30ඵɺ95ˋλΠϧͰ4ඵɺ 85%λΠϧͰ2ඵɺͱ͍͏Α͏ʹઃఆ͍ͯ͠Δ 

40. ୯७ͳᮢ஋Ͱো֐ΛΈ͚ͭΒΕΔ͔ʁ • ୯७ʹᮢ஋Λ௒͑ͨͱ͜Ζ͔Βো֐Λݕ஌͠Α͏ͱ͢Δ ͱɺِཅੑ͕ଟ͘ͳΔ • ूܭൣғ͕ͤ·͍ͱগ਺ͷΞΫηεʹҾͬுΒΕͯ͠·͏ • ஗͘ͳΓ΍͍͢ΞΫηε΋ଘࡏ͢Δ 

41. ूܭൣғ • 95%λΠϧͰ͸ूܭൣғʹ20ΞΫηε͔͠ͳ͚Ε͹ɺ 1൪஗͍ΞΫηεͷ஋͕༻͍ΒΕΔ • ूܭൣғ͕ڱ͍ͱɺগͳ͍ΞΫηεʹҾͬுΒΕΔ • ΞΫηε਺͕গͳ͍৔߹͸ͦ΋ͦ΋ແࢹ͢Δͷ΋͋Γ 

42. Ͳͷ࣌ؒ΢Πϯυ΢෯Ͱूܭ͢Δ͔ʁ • ୹͍΢Πϯυ΢෯Ͱूܭ͢Δɿ • ͢͹΍͘ো֐Λݕ஌Ͱ͖Δ • ॠஅͷো֐΋ݕ஌Ͱ͖Δ • গͳ͍ΞΫηεʹҾͬுΒΕ ΍͍͢

     • ௕͍΢Πϯυ΢෯Ͱूܭ͢Δɿ • ো֐ݕ஌࣌ؒʹϥά͕ͰΔ • ॠஅͷো֐Λݕ஌Ͱ͖ͳ͘ͳΔ • গͳ͍ΞΫηεʹӨڹ͞Εͳ͘ ͳΔ

43. ूܭൣғ • αʔϏεશମ • αʔόʔ͝ͱ • υϝΠϯ͝ͱ • Ϣʔβʔ͝ͱ 

44. ूܭൣғ • αʔϏεશମ • αʔόʔ͝ͱ • υϝΠϯ͝ͱ • Ϣʔβʔ͝ͱ 

    খ͍͞ൣғͰͷো֐͕ 
 ݕ஌͠ʹ͍͘ খ͍͞ൣғͰͷো֐͕ 
 ݕ஌Մೳ ϊΠζ͕ଟ͘ͳΔ ϊΠζ͕গͳ͘ͳΔ

45. ஗͘ͳΓ΍͍͢ΞΫηε • ஗ͯ͘΋໰୊ͷͳ͍ΞΫηε͸͋Δ • ϑΝΠϧΞοϓϩʔυɾμ΢ϯϩʔυ • APIͰͷҰׅऔಘ • CSVॻ͖ग़͠ •

    etc... 

46. ஗͘ͳΓ΍͍͢ΞΫηε • ஗ͯ͘΋໰୊ͷͳ͍ΞΫηε͸͋Δ • ϑΝΠϧΞοϓϩʔυɾμ΢ϯϩʔυ • APIͰͷҰׅऔಘ • CSVॻ͖ग़͠ •

    etc...  ੑ࣭͝ͱʹผʑʹ؂ࢹ͢Δඞཁ͕͋Δ

47. ো֐Λ࢒ͣ͞ݕ஌Ͱ͖Δ͔ʁ • ϨεϙϯελΠϜ͸͋͘·Ͱ਺஋ɻ • ݕ஌͍ͨ͠ͷ͸Ϣʔβʔʹෆརӹͳঢ়گ͕ൃੜ͍ͯ͠ ͳ͍͔Ͳ͏͔ • ϢʔβʔͷͨΊʹͳΔ൑அج४͕ඞཁ 

48. Apple Watch • ߴ৺ഥ਺ɾ௿৺ഥ਺ɾෆنଇͳ৺ഥΛ௨஌ͯ͘͠ΕΔ • ৺๪ࡉಈʹΑΔෆنଇͳ৺ഥΛૣظʹݟ͚ͭΒΕΔ͜ ͱ͕ظ଴Ͱ͖Δ  https://support.apple.com/ja-jp/HT208931

49. Apple Watch • ߴ৺ഥ਺ɾ௿৺ഥ਺ɾෆنଇͳ৺ഥΛ௨஌ͯ͘͠ΕΔ • ৺๪ࡉಈʹΑΔෆنଇͳ৺ഥΛૣظʹݟ͚ͭΒΕΔ͜ ͱ͕ظ଴Ͱ͖Δ  https://support.apple.com/ja-jp/HT208931

50. Apple Watch • ߴ৺ഥ਺ɾ௿৺ഥ਺ɾෆنଇͳ৺ഥΛ௨஌ͯ͘͠ΕΔ • ৺๪ࡉಈʹΑΔෆنଇͳ৺ഥΛૣظʹݟ͚ͭΒΕΔ͜ ͱ͕ظ଴Ͱ͖Δ  https://support.apple.com/ja-jp/HT208931 ো֐ݕ஌ʹ͓͍ͯ΋ɺ׬શͳݕ஌͸ͳ͍ͱ೦಄ʹஔ͘ඞཁ͸͋Δ

51. ো֐ީิΛه࿥  ఆظతʹ3FEBTIͰΫΤϦΛ࣮ߦ ᮢ஋Λӽ͑ͨΞΫηεΛ 
 ো֐ީิͱͯ͠ه࿥

52. RedashͷRefresh Schedule • Redash ͷΫΤϦΛఆظతʹ 

53. Garoon PerformanceΞϓϦ 

54. Garoon PerformanceΞϓϦ  ͲͷαʔόʔͰͲͷ͘Β͍Քಇঢ়گ͕ѱԽ͍ͯ͠Δ͔͕Θ͔Δ

55. 

56. ·ͱΊ • αʔόʔϨϕϧͰ͸ͳ͘ΞϓϦέʔγϣϯϨϕϧͰ΋ ؂ࢹΛ͸͡ΊΑ͏ • SLO͸ϢʔβʔͷͨΊʹཱͯΔ • ؂ࢹ͢Δൣғ͸޿͗ͣ͢ɾڱ͗ͣ͢ߦ͓͏ • ো֐͸σʔλΛ΋ͱʹٞ࿦Λ͠Α͏

    

57. ΤϥʔΛݕ஌ • ϦϦʔε௚ޙʹ৽ͨͳΤϥʔ͕ൃੜ͢Δέʔε͕ଟൃ • Garoon ͸PHPΤϥʔ͕͋Δͱɺ༧ظͤ͵Τϥʔͱ͢Δ • σʔλෆ੔߹ͳͲͰɺ༧ظͤ͵ΤϥʔΛ׬શʹͳ͘͢ͷ͸ ࠔ೉ 9

58. ΤϥʔͷൃੜΛϩάʹه࿥ • Τϥʔൃੜ࣌͸ Header ʹ Τϥʔ൪߸Λه࿥ • Nginx ͰΞΫηεϩάʹు͘Α͏ʹ͢Δ •

    RedashͰͷղੳ͕ՄೳʹͳΔ 9

59. ৽ͨͳΤϥʔΛݕ஌ 9 ఆظతʹΫΤϦΛ࣮ߦ ͍··Ͱݕ஌ͨ͜͠ͱͷͳ͍ 
 Τϥʔ͕͋ͬͨΒLJOUPOFʹొ࿥