Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
delightworks-tech-night-1
Search
Tomohiro Koike
March 07, 2019
Technology
2
1.7k
delightworks-tech-night-1
Tomohiro Koike
March 07, 2019
Tweet
Share
More Decks by Tomohiro Koike
See All by Tomohiro Koike
SRE NEXT 2024で得た知見を若手のSREエンジニア育成・採用にどう活かしたか
tmkoikee
1
240
2023-10-31-SRE-MIXITECHTALK.pdf
tmkoikee
0
380
全社横断組織でのAWSコスト最適化への取り組み
tmkoikee
1
690
新規ゲームのリリース(開発)前からのSRE活動
tmkoikee
1
6.8k
モンスターストライクのマスターデータのローカライズ運用について / Operation of Monster-Strike master data localization /
tmkoikee
1
1.1k
モンストのマルチクラウドについて / sre-lounge-at-xflag
tmkoikee
1
5.5k
モンスターストライク海外版でのSREの取り組み / xflag-studio-sre-in-global
tmkoikee
2
2.5k
Other Decks in Technology
See All in Technology
ソフトウェアテストのAI活用_ver1.25
fumisuke
1
560
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
360
ソフトウェアQAがハードウェアの人になったの
mineo_matsuya
3
110
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
200
VGGT: Visual Geometry Grounded Transformer
peisuke
1
620
American airlines ®️ USA Contact Numbers: Complete 2025 Support Guide
airhelpsupport
0
390
Operating Operator
shhnjk
1
650
ゼロからはじめる採用広報
yutadayo
4
1k
microCMSではじめるAIライティング
himaratsu
0
120
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
180
CDK Toolkit Libraryにおけるテストの考え方
smt7174
1
450
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
3
980
Featured
See All Featured
Side Projects
sachag
455
42k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
We Have a Design System, Now What?
morganepeng
53
7.7k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Scaling GitHub
holman
460
140k
For a Future-Friendly Web
brad_frost
179
9.8k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
980
BBQ
matthewcrist
89
9.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Documentation Writing (for coders)
carmenintech
72
4.9k
Transcript
ϞϯελʔετϥΠΫͷࢹπʔϧࠓੲޠ ʙ্רʙ ։ൃຊ෦ SREάϧʔϓ খ༟ גࣜձࣾϛΫγΟ
ࣗݾհ 2
ࣗݾհ ‣ࢯ໊ ‣খ༟ ‣ܦྺ ‣2008ϛΫγΟʹೖࣾ ‣SNSʮmixiʯͳͲͰΠϯϑϥɺγεςϜӡ༻ ‣ͦͷޙɺϞϯελʔετϥΠΫΛ͡Ίͱͨ͠ήʔϜΞϓϦͷӡ༻ ‣Ϟϯετ֤छαΠτɺࣾͰར༻͢ΔαʔϏεӡ༻πʔϧɺཧΠ ϯϑϥڥͷӡ༻ʑɺ෯͘ैࣄ ‣։ൃຊ෦
SRE άϧʔϓॴଐ 3
ϞϯελʔετϥΠΫ 4
ϞϯελʔετϥΠΫ ࣗͷϞϯελʔΛҾͬு͖ͬͯɺఢͷϞϯελʔʹ͍ͯͯͯ͘͠ͱ͍͏ɺεϚʔτϑΥϯͷಛੑΛ׆༻ͨ͠ɺ ୭Ͱ؆୯ʹָ͠ΊΔΞΫγϣϯRPGͰ͢ɻήʔϜλʔϯ੍Λͱ͓ͬͯΓɺ Ұॹʹ͍Δ༑ͩͪͱ࠷େ4ਓ·Ͱಉ࣌ʹ༡ΔڠྗϓϨΠʢϚϧνϓϨΠʣ͕ಛͰ͢ɻ 2013ͷ10݄ͷఏڙ։͔࢝Βݱࡏ※·Ͱͷੈքྦྷܭར༻ऀ4,900ສਓΛಥഁ※ 201812݄࣌ ʮੈքྦྷܭར༻ऀ 4,900ສਓΛಥഁͨ͠εϚϗΞϓϦʯ 5
͓͠ͳ͕͖ 6 ‣Ϟϯετͷαʔόߏ ‣ࢹγεςϜͷߏʹ͍ͭͯ ‣ࢮ׆ɾϝτϦοΫεࢹ ‣ΞϥʔτରԠ ‣·ͱΊ
αʔόߏ 7
αʔόߏ(γεςϜ) Unicorn memcached MariaDB Redis Fluetnd resque worker LoadBalancer 8
αʔόߏ(Πϯϑϥ) 9 ‣Քಇαʔόʔ ‣1,000 ‣ϚϧνΫϥυߏ ‣ΦϯϓϨαʔόʔͱΫϥυͷซ༻ ‣ࣗࣾDC 2ڌ ‣ύϒϦοΫΫϥυΛෳ
αʔόߏ DataCenter 1 •DB •memcached DataCenter 2 •DB •memcached 10
application Cloud1 application Cloud3 application Cloud4 application Cloud2
αʔόߏ 11 ‣Application ‣13,000 ʙ 26,000 core ‣DB ‣ཧϚγϯ150 1ηοτ
‣ͦΕͧΕͷDCʹஔ
ࢹγεςϜߏ 12
ࢹγεςϜ 13 ‣ࢮ׆ࢹ ‣ Nagios ‣ ϝτϦοΫεࢹ ‣ CloudForecast ‣
Kibana + elasticsearch ‣ Grafana + InfluxDB
ࢹγεςϜ 14 ‣ͳͥ͜ΕΒΛબΜͩͷ͔ ‣ΦϯϓϨɺΫϥυͰڞ௨Ͱ͑Δ ‣SNS(mixi.jp)͔Βͷࢿ࢈
ࢮ׆ࢹ 15
ࢮ׆ࢹ 16 ‣ࠔͬͨ͜ͱ ‣ରαʔό͕୯७ʹଟ͍ ‣ࢹαʔό͕ࣗΛࢹͰ͖ͳ͍ ‣αʔό͕ࢮΜͩͷ͔Ϋϥυͱͷ ଓ͕Εͨͷ͔
ࢮ׆ࢹ 17 ‣֤ڌʹNagios Λߏங ‣ͦΕͧΕʹ૬ޓࢹ
ࢮ׆ࢹ 18 DC 1 DC 2 Cloud 1
ࢮ׆ࢹ 19 ‣ࠔͬͨ͜ͱ ‣Nagios ͷઃఆϑΝΠϧ(cfg)͕ࡶ ‣ෳͷࢹαʔόͷߋ৽͕໘
ࢮ׆ࢹ 20 ‣Nagios ‣ ࢹઃఆͷcfg ϑΝΠϧΛYAML͔Βੜ ‣ ֤ڌͷߋ৽ΛҰׅͰߦ͏πʔϧΛ ‣ cfg
ϑΝΠϧߋ৽ ‣ syntax check && nagios restart
ࢮ׆ࢹ 21
ࢮ׆ࢹ 22 DC 1 DC 2 Cloud 1
ࢮ׆ࢹ 23 ‣ࠔͬͨ͜ͱ ‣ࢹ߲ΛΧελϚΠζ͍ͨ͠
ࢮ׆ࢹ 24 ‣SNMP ͷextend ػೳΛར༻ ‣Net-SNMPͷ֦ுػೳ ‣ҙͷίϚϯυ݁ՌΛSNMPͰฦ͢
ࢮ׆ࢹ 25 ‣check plugin ͍͔ͭࣾ͘Ͱࣗ࡞ ‣ྫ: ‣αʔόͷuptime ΛνΣοΫ ‣filesystem ͷreadonly
ΛνΣοΫ
ࢮ׆ࢹ 26 ‣ࠔͬͨ͜ͱ ‣ ෳͷࢹαʔόཧࡶ ‣ ࢹ͢ΔͨΊʹ༷ʑͳιϑτΣΞ͕ඞཁ ‣ libmysqlclient, snmp…
ࢮ׆ࢹ 27 ‣ ͦ͜Ͱ ‣ࢹγεςϜͷ৽ ‣ৄ͘͠ޙฤʹͯ
ϝτϦοΫεࢹ 28
ࢮ׆ࢹ 29 ࠷ॳ
ϝτϦοΫεࢹ 30 ‣CloudForecast ‣https://github.com/kazeburo/ cloudforecast ‣monitor pluginΛࣗ࡞
ࢮ׆ࢹ 31 ࣍ʹ
ϝτϦοΫεࢹ 32 ‣Kibana + Elasticsearch ‣application αʔόͷlog Λੵ ‣ूܭݕࡧͳͲ ‣1/100
ʹ samplingͰऩू
ϝτϦοΫεࢹ Application Elasticsearch + Kibana Fluetnd 33 αϯϓϦϯάσʔλՃ
ࢮ׆ࢹ 34 ࣍ʹ
ϝτϦοΫεࢹ 35 ‣grafana + InfluxDB ‣ ֤छσʔλΛूܭͯ͠InfluxDB ʹੵ ‣ ͦΕΒΛgrafana
ͰՄࢹԽ ‣ μογϡϘʔυΛ࡞ ‣ Ξϥʔτઃఆ
ϝτϦοΫࢹ 36 ‣ͳͥ͜ΕΒΛબΜͩͷ͔ ‣ΦϯϓϨɺΫϥυͰڞ௨Ͱ͑Δ ‣༷ʑͳϝτϦοΫεΛՃͰ͖Δ
ࢹΞϥʔτ 37
ࢹΞϥʔτ 38 ‣ࢹͰҟৗ͕͋ͬͨ߹ͷΞϥʔτ ‣ϞϯετͰPagerDuty Λར༻ ‣On-Call൪੍ ‣αʔό։ൃ & SRE Ͱϩʔςʔγϣϯ
ࢹΞϥʔτ 39 ‣PagerDuty ‣ https://www.pagerduty.com/ ‣ ֤छࢹγεςϜͱ࿈ܞͯ͠௨ΛૹΕΔ ‣ ॊೈͳΤεΧϨʔγϣϯϧʔϧ͕ΊΔ
ࢹΞϥʔτ 40 ‣On-Call ൪ ‣γεςϜͷোʹඋ͑ΔͨΊͷػ ‣ೋਓҰͷ൪੍ ‣Ξϥʔτൃੜ࣌ʹ15ͰରԠ։࢝
ࢹΞϥʔτ 41 Ϛωʔδϟɾࣄۀऀ ։ൃɾSRE ຊͷରԠ൪ োൃੜʂ
·ͱΊ 42
·ͱΊ 43 ‣ϞϯετͷΠϯϑϥͷࢹʹ͍ͭͯ ‣ࢮ׆ࢹ ‣ϝτϦοΫεࢹ ‣ΞϥʔτରԠ
Thank you!