KibanaではじめるDashboard

KibanaではじめるDashboard
サーバ/インフラ養成読本 ログ収集可視化編 / 2014-09-08

Transcript

1. KibanaͰ͸͡ΊΔDashboard Harukasan / MICHII Shunsuke 2014-09-08
 サーバ/インフラエンジニア養成読本 ログ収集〜可視化編
 出版記念！執筆者が語る大講演会！
2. Harukasan / MICHII Shunsuke Infrastructure team in pixiv Inc. since 2012 ! Works
 Contents Delivery / Monitoring / Server Management Server side infrastructure
 nginx / Apache TrafficServer / PHP / Ruby Data Analytics
 Fluentd / Kibana / Google BigQuery @harukasan shunsuke.michii
3. Agenda • pixivʹ͓͚Δσʔλ෼ੳ • DashboardΛͭ͘Ζ͏ • ͔ͭͬͯ͘Βͷ͜ͱ
5. pixiv ͜͜ʹpixivͷઆ໌͕ೖΔ ʮ͓ֆ͔͖͕΋ͬͱָ͘͠ͳΔ৔ॴʯΛ໨ࢦ͍ͯ͠Δ ΠϥετίϛϡχέʔγϣϯαʔϏε
6. pixivʹ͓͚Δσʔλ෼ੳ
7. pixivͷ։ൃαΠΫϧ • σϓϩΠճ਺: ฏۉ17ճ/೔ • ຖिͳʹ͔͠Β৽͍͠ػೳ͕ϦϦʔε͞ΕΔ • ৽͍͠ػೳͷޮՌΛݕূ͍ͨ͠ • ࢥ͍͕͚ͳ͍มԽ͕ͳ͍͔
8. pixivʹ͓͚Δσʔλ෼ੳ • άϩʔενʔϜ • αʔϏεͷάϩʔεͷͨΊʹͳΜͰ΋΍Δ • ༷ʑͳࢪࡦͷݕূͷͨΊʹϩάΛ࢖༻͍ͯ͠Δ ! • pixivͰ࣮ࡍʹى͍ͬͯ͜Δ͜ͱΛௐ΂Δ • ͲͷΑ͏ͳΠϥετ͕Ӿཡ͞Ε͍ͯΔ͔ • ͲͷΑ͏ͳݕࡧ͕ߦΘΕ͍ͯΔ͔
9. pixivʹ͓͚Δσʔλ෼ੳ • ։ൃνʔϜ • σʔλ෼ੳ͸ܧଓతσϦόϦʔͷखஈ • ػೳΛϦϦʔεͨ͠ͱ͖ʹςετ͢Δ • ਖ਼͍࣮͠૷͕ߦ͑ͨͷ͔ • ༧૝֎ͷޮՌ͕ͳ͍ͷ͔
10. pixivʹ͓͚Δσʔλ෼ੳ • ͳͥՄࢹԽΛ͸͡Ίͨͷ͔ • ࣾ಺ͰFluentd/MongoͰՄࢹԽπʔϧΛͭͬͨ͘ • ܾ·ͬͨ஋Λه࿥͚ͭͮ͠Δ • ͦΕͳΓʹ࢖ΘΕ͍ͯͨ
11. pixivʹ͓͚Δσʔλ෼ੳ • ;ͱKibanaΛ஌Δ • ͳΜ͔͓΋͠Ζͦ͏ • σʔλΛྲྀ͠ࠐΜͰΈΔͱ݁ߏ͓΋͠Ζ͍ • ͦͷ͏ͪଞͷਓ͕࢖͍࢝Ίͨ • ো֐͕ى͜ΔͱౖΒΕΔΑ͏ʹͳͬͨ
12. pixivʹ͓͚Δσʔλ෼ੳ • fluent-plugin-elasticsearch͔Βlogstash-*Ҏ֎ͷ
 ΠϯσοΫεʹग़ྗग़དྷΔΑ͏ʹͨ͠ • ͳͥlogstash_prefixͱ͍͏໊લʹͯ͠͠·ͬͨͷ͔……
13. Kibana
14. Query/Filter and Panels • Query: ϩάΛݕࡧ • Filter: ͢΂ͯͷΫΤϦʹద༻͞ΕΔ • Panel: ΫΤϦͷݕࡧ݁ՌΛ༷ʑͳํ๏Ͱදࣔ͢Δ
15. • ຊͰͨ͘͞Μઆ໌ͨ͠ Panels
16. Dashboard
17. Dashboard • ݟ͍ͨ਺஋͕1ը໘ʹऩ·͍ͬͯΔ • 1ͭͷσʔλʹରͯ͠ෳ਺ͷ໘͔Β෼ੳ͢Δ • ຖ೔/ຖिܧଓͯ͠มԽΛݟΔ͜ͱ͕ग़དྷΔ • ͜ͷσʔλʹ͍ͭͯݟΔʹ͸͜ͷը໘ΛݟΕ͹ྑ͍ ! • ΠϯϑϥΤϯδχΞ΍։ൃऀ͕࢖༻͍ͯͨ͠
 ϩάσʔλʹ୭Ͱ΋ΞΫηεͰ͖ΔΑ͏ʹ͢Δ
18. ྫ͑͹
19. ྫ͑͹ • ελϯϓػೳ௥Ճͷࡍʹͭ͘ΒΕͨ • ͲͷΑ͏ͳ༻్Ͱ࢖ΘΕ͍ͯΔ͔ • ίϝϯτ਺ʹ͸ͲͷΑ͏ͳมԽ͕͔͋ͬͨ • ຖिϛʔςΟϯά࣌ʹ֬ೝ͢Δ
20. DashboardΛͭ͘Ζ͏
21. ༻ҙ͢Δ΋ͷ • ద౰ͳαʔό: SSD 256GBx3/ϝϞϦ32GB • 5,000,000 records/day ·Ͱ͸༨༟ • EFKελοΫ • Elasticsearch • Fluentd • Kibana • ϩάϑΝΠϧ • ۭ͖࣌ؒ
22. ͭ͘Γ͔ͨ 1. ElasticsearchΛηοτΞοϓ 2. FluentdͰϩάΛૹΓ࢝ΊΔ 3. μογϡϘʔυΛͭ͘Δ  Elasticsearch Fluentd Application Load Balancer Database ΞΫηεϩά Πϕϯτϩά  ੜσʔλ  Τϥʔϩά
23. Ͳ͏͍͏ϩάΛ࢖͏͔ • αʔόʹอଘ͞Ε͍ͯΔΠϕϯτϩά • ूܭࡁΈͷσʔλ͸೉͍͠ • ΠϯϑϥνʔϜͱ͕ه࿥͍ͯͨ͠ϩάΛଞͷ༻్ʹ΋࢖͑ΔΑ͏ʹ ΞΫηεϩά
    • ϦΫΤετͨ͠URL • ૹ৴ݩIPΞυϨε • ϨεϙϯελΠϜ/ϦΫΤετॲཧ࣌ؒ ! Πϕϯτϩά
    • Ϣʔβ͕ߦͬͨΠϕϯτ(ϩάΠϯ/౤ߘ/ϒοΫϚʔΫ)ͷৄࡉ৘ใ • Πϕϯτͷछྨຖʹߏ଄Խ͞Ε͍ͯΔ • ࠷ॳʹՄࢹԽը໘Λͭͬͨ͘ͱ͖ʹ༻ҙͨ͠
24. Πϕϯτϩά • ༧Ίߏ଄Խσʔλ͕͋Δͱศར • ΋ͱ΋ͱ෼ੳπʔϧ༻ͷϩά͕͋ͬͨ ! • type • ϦΫΤετ৘ใ • ϦϞʔτΞυϨε • UA • ϦϑΝϥ • ࠃ৘ใ • Πϕϯτͷৄࡉ • ର৅ίϯςϯτͷID
25. ม׵ॲཧ • FluentdͰ࠷௿ݶͷม׵ॲཧΛߦ͓ͬͯ͘ • ूܭॲཧ͸ߦΘͳ͍ ! fluent-plugin-geoip • IPΞυϨεΛࠃ৘ใʹม׵͢Δ fluent-plugin-rewrite-tag-filter • ϩάͷग़ྗઌΠϯσοΫεΛৼΓ෼͚Δ • ෆඞཁͳϩάΛল͘
26. DashboardΛͭ͘Δ ͖ͬ͞ͷίϝϯτμογϡϘʔυΛྫʹߟ͑Δ ! 1. جຊ͸HistogramͱTable 2. ϩάΛϑΟϧλϦϯά 3. ͱΓ͋͑ͣద౰ʹ͍ΖΜͳύωϧΛฒ΂Δ 4. Share͢Δ
27. Histogram / Table • ώετάϥϜͱςʔϒϧΛஔ͍͚ͨͩ • ·ͣ͸ϑΟϧλϦϯάͯ͠ίϝϯτؔ࿈ͷσʔλΛநग़
28. σϓϩΠΛه࿥͢Δ • σϓϩΠεΫϦϓτʹ1ߦ௥Ճ͢Δ͚ͩ • σϓϩΠޙʹͲͷΑ͏ͳมԽ͕͔͋ͬͨΘ͔Γ΍͍͢ curl -XPOST -H 'Content-type: text/json' http://localhost:9200/deploy/deploy/
 -d "{'project':'pixiv', '@timestamp':'$(date +"%Y-%m-%dT%H:%I:%S%z")', 'message':'tag'}"
29. Terms • ؾʹͳ͍ͬͯΔ஋Λूܭ্ͯ͠ҐN݅Λදࣔ • ๮άϥϑɾԁάϥϑͰදࣔͰ͖Δ • TableܗࣜͩͱϘλϯͰϑΟϧλϦϯάͰ͖Δ
30. Text • MarkdownͰςΩετΛॻ͚Δ • ஫ҙࣄ߲ͱ͔ɺຌྫͱ͔Λද͓ࣔͯ͘͠ • Ͳ͏͍͏σʔλ͔ɺͲ͏͍͏࢖͍ํΛ͢Δ͔
31. ׬੒
32. ͔ͭͬͯ͘Βͷ͜ͱ
33. Share͢Δ • ShareϘλϯͰҰ࣌URLΛੜ੒ͯ͠νϟοτͱ͔ʹషΔ • ͪΌΜͱग़དྷͨΒอଘͯٞ͠ࣄ࿥ͱ͔ʹష͓ͬͯ͘
34. ͔ͭͬͯ͘Βͷ͜ͱ • ຖ೔/ຖि࣌ؒΛͱͬͯมԽΛ؍࡯͢Δ • ͨͩϦϯΫΛ͸Δ͚ͩͩͱ୭΋ݟͯ͘Εͳ͍ • ΈΜͳͰมԽʹ͍ͭͯٞ࿦͢Δ࣌ؒΛͭ͘Δ • ৽͍͠վળํ๏΍ΞΠσΞʹͭͳ͕Δ • ՄࢹԽج൫ʹର͍ͯ͠ΖΜͳจ͕۟Ͱͯ͘Δ
35. ࢖ͬͯΔͱग़ͯ͘Δ໰୊ • PVΛͦͷ··ಥͬࠐΉͱܭࢉϦιʔε͕଍Γͳ͘ͳΔ • TermsɺTrendsͷύωϧΛฒ΂Δͱ͔ͳΓॏ͍ • ௕ظؒʹ౉ΔσʔλΛ࢖͍͍ͨ • ෳࡶͳूܭॲཧ΍ϑΟϧλϦϯάΛ࢖͍͍ͨ
36. Kibana with BigQuery • BigQueryͰूܭ/ϑΟϧλϦϯάΛߦ͏ • σʔλΛBulk APIͰElasticsearchʹग़ྗ • JenkinsΛ࢖ͬͯఆظతʹ࣮ߦ͢Δ  Elasticsearch Fluentd  Google BigQuery Jenkins
37. ଞͷ෼ੳπʔϧΛ࢖͏ • ·ͣ͸KibanaͰ͸͡ΊͯΈΔ • ਺िؒ෼ͷσʔλͰ͋Ε͹؆୯ʹՄࢹԽͰ͖Δ • Kibana͕ۤखͳ͜ͱ΋Θ͔ͬͯ͘Δ • ͨ͘͞Μͷ࣠ʹ౉Δ౷ܭ৘ใ • ௕ظؒʹ౉Δσʔλ • େྔͷσʔλͷूܭॲཧ • KibanaͷͨΊʹͭͬͨ͘ΠϯϑϥΛଞͷπʔϧʹల։
38. ଞͷ෼ੳπʔϧʹల։  Elasticsearch Fluentd  Google BigQuery Jenkins Tableau HRForecast
39. ·ͱΊ • ͱΓ͋͑ͣKibanaΛ࢖͍࢝ΊͯΈΔ • ՄࢹԽΛ͸͡ΊΔͱ͍ΖΜͳ໰୊఺͕ग़ͯ͘Δ • αʔϏεʹ͓͚Δ໰୊఺ʹ͋Θͤͯ෼ੳπʔϧΛల։