Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
delightworks-tech-night-1
Search
Tomohiro Koike
March 07, 2019
Technology
2
1.7k
delightworks-tech-night-1
Tomohiro Koike
March 07, 2019
Tweet
Share
More Decks by Tomohiro Koike
See All by Tomohiro Koike
SRE NEXT 2024で得た知見を若手のSREエンジニア育成・採用にどう活かしたか
tmkoikee
1
250
2023-10-31-SRE-MIXITECHTALK.pdf
tmkoikee
0
390
全社横断組織でのAWSコスト最適化への取り組み
tmkoikee
1
710
新規ゲームのリリース(開発)前からのSRE活動
tmkoikee
1
6.9k
モンスターストライクのマスターデータのローカライズ運用について / Operation of Monster-Strike master data localization /
tmkoikee
1
1.1k
モンストのマルチクラウドについて / sre-lounge-at-xflag
tmkoikee
1
5.6k
モンスターストライク海外版でのSREの取り組み / xflag-studio-sre-in-global
tmkoikee
2
2.5k
Other Decks in Technology
See All in Technology
定期的な価値提供だけじゃない、スクラムが導くチームの共創化 / 20251004 Naoki Takahashi
shift_evolve
PRO
3
330
SOC2取得の全体像
shonansurvivors
1
410
多野優介
tanoyusuke
1
470
データエンジニアがこの先生きのこるには...?
10xinc
0
450
OpenAI gpt-oss ファインチューニング入門
kmotohas
2
1k
SwiftUIのGeometryReaderとScrollViewを基礎から応用まで学び直す:設計と活用事例
fumiyasac0921
0
150
LLM時代にデータエンジニアの役割はどう変わるか?
ikkimiyazaki
4
920
AIAgentの限界を超え、 現場を動かすWorkflowAgentの設計と実践
miyatakoji
0
150
Goに育てられ開発者向けセキュリティ事業を立ち上げた僕が今向き合う、AI × セキュリティの最前線 / Go Conference 2025
flatt_security
0
350
リーダーになったら未来を語れるようになろう/Speak the Future
sanogemaru
0
300
about #74462 go/token#FileSet
tomtwinkle
1
430
小学4年生夏休みの自由研究「ぼくと Copilot エージェント」
taichinakamura
0
500
Featured
See All Featured
Done Done
chrislema
185
16k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
850
Git: the NoSQL Database
bkeepers
PRO
431
66k
Code Review Best Practice
trishagee
72
19k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
51k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.7k
Visualization
eitanlees
148
16k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Site-Speed That Sticks
csswizardry
11
880
Statistics for Hackers
jakevdp
799
220k
Context Engineering - Making Every Token Count
addyosmani
5
200
Transcript
ϞϯελʔετϥΠΫͷࢹπʔϧࠓੲޠ ʙ্רʙ ։ൃຊ෦ SREάϧʔϓ খ༟ גࣜձࣾϛΫγΟ
ࣗݾհ 2
ࣗݾհ ‣ࢯ໊ ‣খ༟ ‣ܦྺ ‣2008ϛΫγΟʹೖࣾ ‣SNSʮmixiʯͳͲͰΠϯϑϥɺγεςϜӡ༻ ‣ͦͷޙɺϞϯελʔετϥΠΫΛ͡Ίͱͨ͠ήʔϜΞϓϦͷӡ༻ ‣Ϟϯετ֤छαΠτɺࣾͰར༻͢ΔαʔϏεӡ༻πʔϧɺཧΠ ϯϑϥڥͷӡ༻ʑɺ෯͘ैࣄ ‣։ൃຊ෦
SRE άϧʔϓॴଐ 3
ϞϯελʔετϥΠΫ 4
ϞϯελʔετϥΠΫ ࣗͷϞϯελʔΛҾͬு͖ͬͯɺఢͷϞϯελʔʹ͍ͯͯͯ͘͠ͱ͍͏ɺεϚʔτϑΥϯͷಛੑΛ׆༻ͨ͠ɺ ୭Ͱ؆୯ʹָ͠ΊΔΞΫγϣϯRPGͰ͢ɻήʔϜλʔϯ੍Λͱ͓ͬͯΓɺ Ұॹʹ͍Δ༑ͩͪͱ࠷େ4ਓ·Ͱಉ࣌ʹ༡ΔڠྗϓϨΠʢϚϧνϓϨΠʣ͕ಛͰ͢ɻ 2013ͷ10݄ͷఏڙ։͔࢝Βݱࡏ※·Ͱͷੈքྦྷܭར༻ऀ4,900ສਓΛಥഁ※ 201812݄࣌ ʮੈքྦྷܭར༻ऀ 4,900ສਓΛಥഁͨ͠εϚϗΞϓϦʯ 5
͓͠ͳ͕͖ 6 ‣Ϟϯετͷαʔόߏ ‣ࢹγεςϜͷߏʹ͍ͭͯ ‣ࢮ׆ɾϝτϦοΫεࢹ ‣ΞϥʔτରԠ ‣·ͱΊ
αʔόߏ 7
αʔόߏ(γεςϜ) Unicorn memcached MariaDB Redis Fluetnd resque worker LoadBalancer 8
αʔόߏ(Πϯϑϥ) 9 ‣Քಇαʔόʔ ‣1,000 ‣ϚϧνΫϥυߏ ‣ΦϯϓϨαʔόʔͱΫϥυͷซ༻ ‣ࣗࣾDC 2ڌ ‣ύϒϦοΫΫϥυΛෳ
αʔόߏ DataCenter 1 •DB •memcached DataCenter 2 •DB •memcached 10
application Cloud1 application Cloud3 application Cloud4 application Cloud2
αʔόߏ 11 ‣Application ‣13,000 ʙ 26,000 core ‣DB ‣ཧϚγϯ150 1ηοτ
‣ͦΕͧΕͷDCʹஔ
ࢹγεςϜߏ 12
ࢹγεςϜ 13 ‣ࢮ׆ࢹ ‣ Nagios ‣ ϝτϦοΫεࢹ ‣ CloudForecast ‣
Kibana + elasticsearch ‣ Grafana + InfluxDB
ࢹγεςϜ 14 ‣ͳͥ͜ΕΒΛબΜͩͷ͔ ‣ΦϯϓϨɺΫϥυͰڞ௨Ͱ͑Δ ‣SNS(mixi.jp)͔Βͷࢿ࢈
ࢮ׆ࢹ 15
ࢮ׆ࢹ 16 ‣ࠔͬͨ͜ͱ ‣ରαʔό͕୯७ʹଟ͍ ‣ࢹαʔό͕ࣗΛࢹͰ͖ͳ͍ ‣αʔό͕ࢮΜͩͷ͔Ϋϥυͱͷ ଓ͕Εͨͷ͔
ࢮ׆ࢹ 17 ‣֤ڌʹNagios Λߏங ‣ͦΕͧΕʹ૬ޓࢹ
ࢮ׆ࢹ 18 DC 1 DC 2 Cloud 1
ࢮ׆ࢹ 19 ‣ࠔͬͨ͜ͱ ‣Nagios ͷઃఆϑΝΠϧ(cfg)͕ࡶ ‣ෳͷࢹαʔόͷߋ৽͕໘
ࢮ׆ࢹ 20 ‣Nagios ‣ ࢹઃఆͷcfg ϑΝΠϧΛYAML͔Βੜ ‣ ֤ڌͷߋ৽ΛҰׅͰߦ͏πʔϧΛ ‣ cfg
ϑΝΠϧߋ৽ ‣ syntax check && nagios restart
ࢮ׆ࢹ 21
ࢮ׆ࢹ 22 DC 1 DC 2 Cloud 1
ࢮ׆ࢹ 23 ‣ࠔͬͨ͜ͱ ‣ࢹ߲ΛΧελϚΠζ͍ͨ͠
ࢮ׆ࢹ 24 ‣SNMP ͷextend ػೳΛར༻ ‣Net-SNMPͷ֦ுػೳ ‣ҙͷίϚϯυ݁ՌΛSNMPͰฦ͢
ࢮ׆ࢹ 25 ‣check plugin ͍͔ͭࣾ͘Ͱࣗ࡞ ‣ྫ: ‣αʔόͷuptime ΛνΣοΫ ‣filesystem ͷreadonly
ΛνΣοΫ
ࢮ׆ࢹ 26 ‣ࠔͬͨ͜ͱ ‣ ෳͷࢹαʔόཧࡶ ‣ ࢹ͢ΔͨΊʹ༷ʑͳιϑτΣΞ͕ඞཁ ‣ libmysqlclient, snmp…
ࢮ׆ࢹ 27 ‣ ͦ͜Ͱ ‣ࢹγεςϜͷ৽ ‣ৄ͘͠ޙฤʹͯ
ϝτϦοΫεࢹ 28
ࢮ׆ࢹ 29 ࠷ॳ
ϝτϦοΫεࢹ 30 ‣CloudForecast ‣https://github.com/kazeburo/ cloudforecast ‣monitor pluginΛࣗ࡞
ࢮ׆ࢹ 31 ࣍ʹ
ϝτϦοΫεࢹ 32 ‣Kibana + Elasticsearch ‣application αʔόͷlog Λੵ ‣ूܭݕࡧͳͲ ‣1/100
ʹ samplingͰऩू
ϝτϦοΫεࢹ Application Elasticsearch + Kibana Fluetnd 33 αϯϓϦϯάσʔλՃ
ࢮ׆ࢹ 34 ࣍ʹ
ϝτϦοΫεࢹ 35 ‣grafana + InfluxDB ‣ ֤छσʔλΛूܭͯ͠InfluxDB ʹੵ ‣ ͦΕΒΛgrafana
ͰՄࢹԽ ‣ μογϡϘʔυΛ࡞ ‣ Ξϥʔτઃఆ
ϝτϦοΫࢹ 36 ‣ͳͥ͜ΕΒΛબΜͩͷ͔ ‣ΦϯϓϨɺΫϥυͰڞ௨Ͱ͑Δ ‣༷ʑͳϝτϦοΫεΛՃͰ͖Δ
ࢹΞϥʔτ 37
ࢹΞϥʔτ 38 ‣ࢹͰҟৗ͕͋ͬͨ߹ͷΞϥʔτ ‣ϞϯετͰPagerDuty Λར༻ ‣On-Call൪੍ ‣αʔό։ൃ & SRE Ͱϩʔςʔγϣϯ
ࢹΞϥʔτ 39 ‣PagerDuty ‣ https://www.pagerduty.com/ ‣ ֤छࢹγεςϜͱ࿈ܞͯ͠௨ΛૹΕΔ ‣ ॊೈͳΤεΧϨʔγϣϯϧʔϧ͕ΊΔ
ࢹΞϥʔτ 40 ‣On-Call ൪ ‣γεςϜͷোʹඋ͑ΔͨΊͷػ ‣ೋਓҰͷ൪੍ ‣Ξϥʔτൃੜ࣌ʹ15ͰରԠ։࢝
ࢹΞϥʔτ 41 Ϛωʔδϟɾࣄۀऀ ։ൃɾSRE ຊͷରԠ൪ োൃੜʂ
·ͱΊ 42
·ͱΊ 43 ‣ϞϯετͷΠϯϑϥͷࢹʹ͍ͭͯ ‣ࢮ׆ࢹ ‣ϝτϦοΫεࢹ ‣ΞϥʔτରԠ
Thank you!