fluentdによる大規模キュー設計

「Fluentd Meetup 2015 夏」で発表した内容です。

Transcript

1. fluentdʹΑΔ େن໛Ωϡʔઃܭ A large scale queue design with fluentd
2. ࣗݾ঺հ • ߴࢁ Թ @edvakf • pixivͷອըࣄۀͷ։ൃ੹೚ऀ • ීஈॻ͍ͯΔͷ͸Scala΍PHPɺͨ·ʹJS΍Ruby΍Go • ࠷ۙϦʔυΤϯδχΞͱ͍͏ݞॻʹ • ձࣾͷٕज़બ୒ʹ੹೚Λ࣋ͭ • ʮࣾ಺ͷΤϯδχΞ͕޾ͤʹಇͨ͘Ίʹ͸ʯΛߟ࣮͑ݱ͢Δۀ
3. ී௨ͷ ΢ΣϒΞϓϦ+δϣϒΩϡʔ
4. Sidekiq
5. Resque Resque
6. MySQL Q4M PHP PHP PHP PHP Q4M batch
7. MongoDB PHP PHP PHP PHP Mongo batch
8. ྑ͍఺ • Sidekiq΍Resque͸൚༻δϣϒΩϡʔ • Rubyͷϝιου୯ҐͰ؆୯ʹδϣϒʹͰ͖Δ • ޿͘࢖ΘΕ͍ͯΔ • ΋͠Redis΍MongoDBͳͲΛطʹ࢖͍ͬͯΔͳΒ৽͍͠ ϛυϧ΢ΣΞΛಋೖ͠ͳͯ͘ྑ͍
9. ΋͠ • 1෼ؒʹ10ສճͷδϣϒΛ࣮ߦ͠ͳ͍ͱ͍͚ͳ͔ͬͨΒ • ਺࣌ؒલͱ͔਺೔લͷঢ়ଶ·Ͱר͖໭ͬͯδϣϒΛ࣮ߦ ͠௚͞ͳ͍ͱ͍͚ͳ͔ͬͨΒ
10. ΞΫηεղੳ www.pixiv.net
11. ࠷ॳʹߟ͑ͨҊ
12. MongoDB PHP PHP PHP PHP Mongo batch
13. ݒ೦఺ • MongoDB͕٧·ΔorམͪΔ • ͢΂ͯͷPVͰॻ͖ࠐΉΑ͏ͳͱ͜Ζʹ౤ೖͰ͖Δ΄Ͳ ৴པͰ͖ͳ͍
14. ͦ͜Ͱfluentd
16. ߏ੒ • ΞϓϦέʔγϣϯ͸ϩʔΧϧͷϑΝΠϧʹॻ͚ͩ͘ • fluentd͕ͦͬ͘Γͦͷ··సૹ͠ɺసૹઌͰ΋ϑΝΠϧ ʹॻ͖ࠐΉ • σʔϞϯͬΆ͍όονεΫϦϓτ͕ϑΝΠϧΛݹ͍ॱʹ ಡΜͰ͍ͬͯॲཧ͢Δ • exec_filterʹ͢Δख΋͕͋ͬͨɺॾʑͷཧ༝͔ΒPHP ͰϑΝΠϧΛtailͯ͠ϙδγϣϯͷ؅ཧͳͲ΋͍ͯ͠Δ
17. ར఺ʢ̍ʣ • ϢʔβʔͷϦΫΤετΛॲཧ͍ͯ͠Δؒʹ௨৴͕ൃੜ͠ ͳ͍ • ϑΝΠϧ΁ͷॻ͖ࠐΈ͸γʔέϯγϟϧͳͷͰઈରʹ٧ ·Βͳ͍ • సૹઌ΋ಉ༷ • ϑΝΠϧγεςϜ͸Ұ൪ރΕͯΔετϨʔδ
18. ར఺ʢ̎ʣ • ॲཧͨ͠ޙ΋ϩά͕࢒Δ • ԿΒ͔ͷΤϥʔͰόον͕͏·࣮͘ߦͰ͖͍ͯͳ͔ͬ ͨͱͯ͠΋ɺݩʹ໭ͬͯ΍Γ௚ͤΔ • ࣦഊ͢Δͱઌʹਐ·ࣦͣഊ͠ଓ͚ΔΑ͏ʹͳ͍ͬͯͯɺ ରࡦͯ͠σϓϩΠ͢ΔͱਐΜͰ͘ΕΔ
19. ར఺ʢ̏ʣ • సૹઌΛΞΫςΟϒɾελϯόΠߏ੒ʹͰ͖Δ • ྆ํಉ͡ߏ੒Ͱಉ͡όον͕ಈ͍͍ͯΔ
20. • “When an active node goes down, the standby node is promoted to an active node.” • http://docs.fluentd.org/articles/out_forward#standby <server> name host1 host 192.168.xx.1 standby </server> <server> name host2 host 192.168.xx.2 </server>
21. ·ͱΊ • fluentdͱϑΝΠϧγεςϜΛ࢖ͬͯ৴པੑͷߴ͍େن໛ ΩϡʔγεςϜΛߏஙͨ͠ • ϑΝΠϧʹγʔέϯγϟϧʹॻ͖ࠐΉ • 2೥Ҏ্ී௨ʹಈ͍͍ͯͯɺಉ͡࢓૊Ͱ·ͩ·ͩϩάΛ ૹͬͯ΋໰୊ͳͦ͞͏ • ϑΝΠϧ͕࢒͍ͬͯΔ҆৺ײ