Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
fluentdによる大規模キュー設計
Search
Atsushi Takayama
June 01, 2015
Technology
9
5k
fluentdによる大規模キュー設計
「Fluentd Meetup 2015 夏」で発表した内容です。
Atsushi Takayama
June 01, 2015
Tweet
Share
More Decks by Atsushi Takayama
See All by Atsushi Takayama
最高の開発者体験の追求が開発生産性を改善し続ける文化を生み出した話
edvakf
3
980
NeurIPS 2021 論文読み会: How Modular should Neural Module Networks Be for Systematic Generalization?
edvakf
0
110
8年物のJavaのシステムをKotlinに変えていく選択に至るまで
edvakf
2
980
ピクシブ社内のImageFlux利用事例紹介
edvakf
1
2.6k
学びの文化を育む社内読書会のススメ
edvakf
0
200
フルCDNアーキテクチャでサービス設計した話
edvakf
5
3.7k
Goでバイナリを読む+α
edvakf
1
860
お前はこれまでに作ったAPIの数を覚えているのか?
edvakf
0
2.4k
「ふつうのRailsアプリケーション」についての考え方
edvakf
2
730
Other Decks in Technology
See All in Technology
TypeScript x Raycast x AIで変える開発者体験
nagauta
1
230
これはPerl? それともRuby? クイズ〜〜〜〜〜!!!- Perl or Ruby Quiz
moznion
2
1.7k
【完全版】Dify - LINE Bot連携 考え方と実用テクニック
uezo
1
150
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
0
130
受託開発でもアジャイル開発できました / Agile in Contract Development
takaking22
3
2k
山手線一周のパフォーマンス改善
suzukahr
0
160
【shownet.conf_】革新と伝統を融合したファシリティ
shownet
PRO
0
330
普通の Web エンジニアのための様相論理入門 #yapcjapan / YAPC Hakodate 2024
ytaka23
5
1.4k
Tracking down sources of kernel errors with retsnoop
ennael
PRO
0
160
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
400
PREEMPT_RT over the years
ennael
PRO
0
360
Oracle Database 23ai 新機能#4 Real Application Clusters
oracle4engineer
PRO
0
150
Featured
See All Featured
The Language of Interfaces
destraynor
154
24k
How to Think Like a Performance Engineer
csswizardry
16
1k
Building an army of robots
kneath
302
42k
Building Your Own Lightsaber
phodgson
102
6k
4 Signs Your Business is Dying
shpigford
180
21k
Faster Mobile Websites
deanohume
304
30k
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.9k
Git: the NoSQL Database
bkeepers
PRO
425
64k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Why Our Code Smells
bkeepers
PRO
334
57k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.5k
Rails Girls Zürich Keynote
gr2m
93
13k
Transcript
fluentdʹΑΔ େنΩϡʔઃܭ A large scale queue design with fluentd
ࣗݾհ • ߴࢁ Թ @edvakf • pixivͷອըࣄۀͷ։ൃऀ • ීஈॻ͍ͯΔͷScalaPHPɺͨ·ʹJSRubyGo •
࠷ۙϦʔυΤϯδχΞͱ͍͏ݞॻʹ • ձࣾͷٕज़બʹΛ࣋ͭ • ʮࣾͷΤϯδχΞ͕ͤʹಇͨ͘ΊʹʯΛߟ࣮͑ݱ͢Δۀ
ී௨ͷ ΣϒΞϓϦ+δϣϒΩϡʔ
Sidekiq
Resque Resque
MySQL Q4M PHP PHP PHP PHP Q4M batch
MongoDB PHP PHP PHP PHP Mongo batch
ྑ͍ • SidekiqResque൚༻δϣϒΩϡʔ • Rubyͷϝιου୯ҐͰ؆୯ʹδϣϒʹͰ͖Δ • ͘ΘΕ͍ͯΔ • ͠RedisMongoDBͳͲΛطʹ͍ͬͯΔͳΒ৽͍͠ ϛυϧΣΞΛಋೖ͠ͳͯ͘ྑ͍
͠ • 1ؒʹ10ສճͷδϣϒΛ࣮ߦ͠ͳ͍ͱ͍͚ͳ͔ͬͨΒ • ࣌ؒલͱ͔લͷঢ়ଶ·Ͱר͖ͬͯδϣϒΛ࣮ߦ ͠͞ͳ͍ͱ͍͚ͳ͔ͬͨΒ
ΞΫηεղੳ www.pixiv.net
࠷ॳʹߟ͑ͨҊ
MongoDB PHP PHP PHP PHP Mongo batch
ݒ೦ • MongoDB͕٧·ΔorམͪΔ • ͯ͢ͷPVͰॻ͖ࠐΉΑ͏ͳͱ͜ΖʹೖͰ͖Δ΄Ͳ ৴པͰ͖ͳ͍
ͦ͜Ͱfluentd
None
ߏ • ΞϓϦέʔγϣϯϩʔΧϧͷϑΝΠϧʹॻ͚ͩ͘ • fluentd͕ͦͬ͘Γͦͷ··సૹ͠ɺసૹઌͰϑΝΠϧ ʹॻ͖ࠐΉ • σʔϞϯͬΆ͍όονεΫϦϓτ͕ϑΝΠϧΛݹ͍ॱʹ ಡΜͰ͍ͬͯॲཧ͢Δ •
exec_filterʹ͢Δख͕͋ͬͨɺॾʑͷཧ༝͔ΒPHP ͰϑΝΠϧΛtailͯ͠ϙδγϣϯͷཧͳͲ͍ͯ͠Δ
རʢ̍ʣ • ϢʔβʔͷϦΫΤετΛॲཧ͍ͯ͠Δؒʹ௨৴͕ൃੜ͠ ͳ͍ • ϑΝΠϧͷॻ͖ࠐΈγʔέϯγϟϧͳͷͰઈରʹ٧ ·Βͳ͍ • సૹઌಉ༷ •
ϑΝΠϧγεςϜҰ൪ރΕͯΔετϨʔδ
རʢ̎ʣ • ॲཧͨ͠ޙϩά͕Δ • ԿΒ͔ͷΤϥʔͰόον͕͏·࣮͘ߦͰ͖͍ͯͳ͔ͬ ͨͱͯ͠ɺݩʹͬͯΓͤΔ • ࣦഊ͢Δͱઌʹਐ·ࣦͣഊ͠ଓ͚ΔΑ͏ʹͳ͍ͬͯͯɺ ରࡦͯ͠σϓϩΠ͢ΔͱਐΜͰ͘ΕΔ
རʢ̏ʣ • సૹઌΛΞΫςΟϒɾελϯόΠߏʹͰ͖Δ • ྆ํಉ͡ߏͰಉ͡όον͕ಈ͍͍ͯΔ
• “When an active node goes down, the standby node
is promoted to an active node.” • http://docs.fluentd.org/articles/out_forward#standby <server> name host1 host 192.168.xx.1 standby </server> <server> name host2 host 192.168.xx.2 </server>
·ͱΊ • fluentdͱϑΝΠϧγεςϜΛͬͯ৴པੑͷߴ͍େن ΩϡʔγεςϜΛߏஙͨ͠ • ϑΝΠϧʹγʔέϯγϟϧʹॻ͖ࠐΉ • 2Ҏ্ී௨ʹಈ͍͍ͯͯɺಉ͡Ͱ·ͩ·ͩϩάΛ ૹͬͯͳͦ͞͏ •
ϑΝΠϧ͕͍ͬͯΔ҆৺ײ