Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
delightworks-tech-night-1
Search
Tomohiro Koike
March 07, 2019
Technology
2
1.7k
delightworks-tech-night-1
Tomohiro Koike
March 07, 2019
Tweet
Share
More Decks by Tomohiro Koike
See All by Tomohiro Koike
SRE NEXT 2024で得た知見を若手のSREエンジニア育成・採用にどう活かしたか
tmkoikee
1
260
2023-10-31-SRE-MIXITECHTALK.pdf
tmkoikee
0
400
全社横断組織でのAWSコスト最適化への取り組み
tmkoikee
1
710
新規ゲームのリリース(開発)前からのSRE活動
tmkoikee
1
6.9k
モンスターストライクのマスターデータのローカライズ運用について / Operation of Monster-Strike master data localization /
tmkoikee
1
1.1k
モンストのマルチクラウドについて / sre-lounge-at-xflag
tmkoikee
1
5.6k
モンスターストライク海外版でのSREの取り組み / xflag-studio-sre-in-global
tmkoikee
2
2.5k
Other Decks in Technology
See All in Technology
スタートアップの現場で実践しているテストマネジメント #jasst_kyushu
makky_tyuyan
0
140
【SORACOM UG Explorer 2025】さらなる10年へ ~ SORACOM MVC 発表
soracom
PRO
0
160
AI時代におけるデータの重要性 ~データマネジメントの第一歩~
ryoichi_ota
0
720
現場の壁を乗り越えて、 「計装注入」が拓く オブザーバビリティ / Beyond the Field Barriers: Instrumentation Injection and the Future of Observability
aoto
PRO
1
640
「タコピーの原罪」から学ぶ間違った”支援” / the bad support of Takopii
piyonakajima
0
150
JSConf JPのwebsiteをGatsbyからNext.jsに移行した話 - Next.jsの多言語静的サイトと課題
leko
2
190
AWS DMS で SQL Server を移行してみた/aws-dms-sql-server-migration
emiki
0
250
OCIjp_Oracle AI World_Recap
shinpy
1
180
20251024_TROCCO/COMETAアップデート紹介といくつかデモもやります!_#p_UG 東京:データ活用が進む組織の作り方
soysoysoyb
0
120
MCP ✖️ Apps SDKを触ってみた
hisuzuya
0
390
abema-trace-sampling-observability-cost-optimization
tetsuya28
0
210
webpack依存からの脱却!快適フロントエンド開発をViteで実現する #vuefes
bengo4com
4
3.6k
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1371
200k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Done Done
chrislema
185
16k
Into the Great Unknown - MozCon
thekraken
40
2.1k
How to Think Like a Performance Engineer
csswizardry
27
2.1k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Keith and Marios Guide to Fast Websites
keithpitt
411
23k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
The Straight Up "How To Draw Better" Workshop
denniskardys
238
140k
GitHub's CSS Performance
jonrohan
1032
470k
Leading Effective Engineering Teams in the AI Era
addyosmani
7
640
Transcript
ϞϯελʔετϥΠΫͷࢹπʔϧࠓੲޠ ʙ্רʙ ։ൃຊ෦ SREάϧʔϓ খ༟ גࣜձࣾϛΫγΟ
ࣗݾհ 2
ࣗݾհ ‣ࢯ໊ ‣খ༟ ‣ܦྺ ‣2008ϛΫγΟʹೖࣾ ‣SNSʮmixiʯͳͲͰΠϯϑϥɺγεςϜӡ༻ ‣ͦͷޙɺϞϯελʔετϥΠΫΛ͡Ίͱͨ͠ήʔϜΞϓϦͷӡ༻ ‣Ϟϯετ֤छαΠτɺࣾͰར༻͢ΔαʔϏεӡ༻πʔϧɺཧΠ ϯϑϥڥͷӡ༻ʑɺ෯͘ैࣄ ‣։ൃຊ෦
SRE άϧʔϓॴଐ 3
ϞϯελʔετϥΠΫ 4
ϞϯελʔετϥΠΫ ࣗͷϞϯελʔΛҾͬு͖ͬͯɺఢͷϞϯελʔʹ͍ͯͯͯ͘͠ͱ͍͏ɺεϚʔτϑΥϯͷಛੑΛ׆༻ͨ͠ɺ ୭Ͱ؆୯ʹָ͠ΊΔΞΫγϣϯRPGͰ͢ɻήʔϜλʔϯ੍Λͱ͓ͬͯΓɺ Ұॹʹ͍Δ༑ͩͪͱ࠷େ4ਓ·Ͱಉ࣌ʹ༡ΔڠྗϓϨΠʢϚϧνϓϨΠʣ͕ಛͰ͢ɻ 2013ͷ10݄ͷఏڙ։͔࢝Βݱࡏ※·Ͱͷੈքྦྷܭར༻ऀ4,900ສਓΛಥഁ※ 201812݄࣌ ʮੈքྦྷܭར༻ऀ 4,900ສਓΛಥഁͨ͠εϚϗΞϓϦʯ 5
͓͠ͳ͕͖ 6 ‣Ϟϯετͷαʔόߏ ‣ࢹγεςϜͷߏʹ͍ͭͯ ‣ࢮ׆ɾϝτϦοΫεࢹ ‣ΞϥʔτରԠ ‣·ͱΊ
αʔόߏ 7
αʔόߏ(γεςϜ) Unicorn memcached MariaDB Redis Fluetnd resque worker LoadBalancer 8
αʔόߏ(Πϯϑϥ) 9 ‣Քಇαʔόʔ ‣1,000 ‣ϚϧνΫϥυߏ ‣ΦϯϓϨαʔόʔͱΫϥυͷซ༻ ‣ࣗࣾDC 2ڌ ‣ύϒϦοΫΫϥυΛෳ
αʔόߏ DataCenter 1 •DB •memcached DataCenter 2 •DB •memcached 10
application Cloud1 application Cloud3 application Cloud4 application Cloud2
αʔόߏ 11 ‣Application ‣13,000 ʙ 26,000 core ‣DB ‣ཧϚγϯ150 1ηοτ
‣ͦΕͧΕͷDCʹஔ
ࢹγεςϜߏ 12
ࢹγεςϜ 13 ‣ࢮ׆ࢹ ‣ Nagios ‣ ϝτϦοΫεࢹ ‣ CloudForecast ‣
Kibana + elasticsearch ‣ Grafana + InfluxDB
ࢹγεςϜ 14 ‣ͳͥ͜ΕΒΛબΜͩͷ͔ ‣ΦϯϓϨɺΫϥυͰڞ௨Ͱ͑Δ ‣SNS(mixi.jp)͔Βͷࢿ࢈
ࢮ׆ࢹ 15
ࢮ׆ࢹ 16 ‣ࠔͬͨ͜ͱ ‣ରαʔό͕୯७ʹଟ͍ ‣ࢹαʔό͕ࣗΛࢹͰ͖ͳ͍ ‣αʔό͕ࢮΜͩͷ͔Ϋϥυͱͷ ଓ͕Εͨͷ͔
ࢮ׆ࢹ 17 ‣֤ڌʹNagios Λߏங ‣ͦΕͧΕʹ૬ޓࢹ
ࢮ׆ࢹ 18 DC 1 DC 2 Cloud 1
ࢮ׆ࢹ 19 ‣ࠔͬͨ͜ͱ ‣Nagios ͷઃఆϑΝΠϧ(cfg)͕ࡶ ‣ෳͷࢹαʔόͷߋ৽͕໘
ࢮ׆ࢹ 20 ‣Nagios ‣ ࢹઃఆͷcfg ϑΝΠϧΛYAML͔Βੜ ‣ ֤ڌͷߋ৽ΛҰׅͰߦ͏πʔϧΛ ‣ cfg
ϑΝΠϧߋ৽ ‣ syntax check && nagios restart
ࢮ׆ࢹ 21
ࢮ׆ࢹ 22 DC 1 DC 2 Cloud 1
ࢮ׆ࢹ 23 ‣ࠔͬͨ͜ͱ ‣ࢹ߲ΛΧελϚΠζ͍ͨ͠
ࢮ׆ࢹ 24 ‣SNMP ͷextend ػೳΛར༻ ‣Net-SNMPͷ֦ுػೳ ‣ҙͷίϚϯυ݁ՌΛSNMPͰฦ͢
ࢮ׆ࢹ 25 ‣check plugin ͍͔ͭࣾ͘Ͱࣗ࡞ ‣ྫ: ‣αʔόͷuptime ΛνΣοΫ ‣filesystem ͷreadonly
ΛνΣοΫ
ࢮ׆ࢹ 26 ‣ࠔͬͨ͜ͱ ‣ ෳͷࢹαʔόཧࡶ ‣ ࢹ͢ΔͨΊʹ༷ʑͳιϑτΣΞ͕ඞཁ ‣ libmysqlclient, snmp…
ࢮ׆ࢹ 27 ‣ ͦ͜Ͱ ‣ࢹγεςϜͷ৽ ‣ৄ͘͠ޙฤʹͯ
ϝτϦοΫεࢹ 28
ࢮ׆ࢹ 29 ࠷ॳ
ϝτϦοΫεࢹ 30 ‣CloudForecast ‣https://github.com/kazeburo/ cloudforecast ‣monitor pluginΛࣗ࡞
ࢮ׆ࢹ 31 ࣍ʹ
ϝτϦοΫεࢹ 32 ‣Kibana + Elasticsearch ‣application αʔόͷlog Λੵ ‣ूܭݕࡧͳͲ ‣1/100
ʹ samplingͰऩू
ϝτϦοΫεࢹ Application Elasticsearch + Kibana Fluetnd 33 αϯϓϦϯάσʔλՃ
ࢮ׆ࢹ 34 ࣍ʹ
ϝτϦοΫεࢹ 35 ‣grafana + InfluxDB ‣ ֤छσʔλΛूܭͯ͠InfluxDB ʹੵ ‣ ͦΕΒΛgrafana
ͰՄࢹԽ ‣ μογϡϘʔυΛ࡞ ‣ Ξϥʔτઃఆ
ϝτϦοΫࢹ 36 ‣ͳͥ͜ΕΒΛબΜͩͷ͔ ‣ΦϯϓϨɺΫϥυͰڞ௨Ͱ͑Δ ‣༷ʑͳϝτϦοΫεΛՃͰ͖Δ
ࢹΞϥʔτ 37
ࢹΞϥʔτ 38 ‣ࢹͰҟৗ͕͋ͬͨ߹ͷΞϥʔτ ‣ϞϯετͰPagerDuty Λར༻ ‣On-Call൪੍ ‣αʔό։ൃ & SRE Ͱϩʔςʔγϣϯ
ࢹΞϥʔτ 39 ‣PagerDuty ‣ https://www.pagerduty.com/ ‣ ֤छࢹγεςϜͱ࿈ܞͯ͠௨ΛૹΕΔ ‣ ॊೈͳΤεΧϨʔγϣϯϧʔϧ͕ΊΔ
ࢹΞϥʔτ 40 ‣On-Call ൪ ‣γεςϜͷোʹඋ͑ΔͨΊͷػ ‣ೋਓҰͷ൪੍ ‣Ξϥʔτൃੜ࣌ʹ15ͰରԠ։࢝
ࢹΞϥʔτ 41 Ϛωʔδϟɾࣄۀऀ ։ൃɾSRE ຊͷରԠ൪ োൃੜʂ
·ͱΊ 42
·ͱΊ 43 ‣ϞϯετͷΠϯϑϥͷࢹʹ͍ͭͯ ‣ࢮ׆ࢹ ‣ϝτϦοΫεࢹ ‣ΞϥʔτରԠ
Thank you!