Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例...
Search
kobashin
December 05, 2022
Programming
0
290
Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例 ショッピングのSREチームとして試したこと、 失敗したこと
kobashin
December 05, 2022
Tweet
Share
More Decks by kobashin
See All by kobashin
気になったセッションから今すぐ開発に導入したいあれこれ(主観
shinjikobayashi
2
710
Navigationの採用を検討してみて、 色々考えた話を共有するよ
shinjikobayashi
1
290
Systemアプリ開発入門
shinjikobayashi
6
13k
Other Decks in Programming
See All in Programming
Putting The Genie in the Bottle - A Crash Course on running LLMs on Android
iurysza
0
140
Go言語での実装を通して学ぶLLMファインチューニングの仕組み / fukuokago22-llm-peft
monochromegane
0
120
🔨 小さなビルドシステムを作る
momeemt
3
670
プロパティベーステストによるUIテスト: LLMによるプロパティ定義生成でエッジケースを捉える
tetta_pdnt
0
280
RDoc meets YARD
okuramasafumi
4
170
Swift Updates - Learn Languages 2025
koher
2
460
Updates on MLS on Ruby (and maybe more)
sylph01
1
180
OSS開発者という働き方
andpad
5
1.7k
Zendeskのチケットを Amazon Bedrockで 解析した
ryokosuge
3
290
複雑なドメインに挑む.pdf
yukisakai1225
5
1.1k
CJK and Unicode From a PHP Committer
youkidearitai
PRO
0
110
1から理解するWeb Push
dora1998
7
1.8k
Featured
See All Featured
Producing Creativity
orderedlist
PRO
347
40k
RailsConf 2023
tenderlove
30
1.2k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
13k
Agile that works and the tools we love
rasmusluckow
330
21k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
It's Worth the Effort
3n
187
28k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
Site-Speed That Sticks
csswizardry
10
810
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Transcript
Mix Leap Study #69 Yahoo!γϣοϐϯά+PayPayϑϦϚͷSREࣄྫ γϣοϐϯάͷSREνʔϜͱͯ͠ࢼͨ͜͠ͱɺ ࣦഊͨ͜͠ͱ @kobashinG ʢ͜͠Μʣ 2022.12.05
ࣗݾհ ͜͠Μ (@kobashinG) Ϡϑʔגࣜձࣾ ϑϩϯτΤϯυશൠ, etc… Android, Linux, k8s, ˏϠϑʔγϣοϐϯάSRE
ΏΔΏΔͱ͓͠·͢ ࠓͷΞδΣϯμ • ̑ͭͷࣄྫΛݩʹ͖ͬͯͨ͜ͱΛৼΓฦΔ
·ͣݟʹཔΔ ྠߨͷऔΓΈ
SREνʔϜͷൃ • SREͱ͍͏ϩʔϧ͕ॳΊͯੜ·Εͨ →֤νʔϜͷऔΓΈͷதͰ࣮ફ͍ͯ͠Δਓୡډͨ • ʮSRE͕γϣοϐϯάͰԿΛ͢Δͷ͔ʁʯʹ͍ͭͯ ࡋྔΛ࣋ͨͤͯΒ͍ͬͯͨ
SREຊͷྠߨ • Πϯϓοτͱͯ͠ॻ੶ͷྠߨͷ࣮ࢪ • ্ཱͪ͛ϝϯόͱڞʹڞ௨ཧղΛ࡞ΔͰඇৗʹΑ͔ͬͨ ɹˠ୯७ʹಡΉ͚ͩͰͳ͘ɺষ/߲ͷ୯ҐͰσΟεΧογϣϯ
SREͷϓϥΫςΟεͷ࣮ફ • ༷ʑͳϓϥΫςΟεΛಉ࣌ʹ࣮ࢪ͠Α͏ͱࣦͯ͠ഊ • ϦιʔεͷݶΒΕ͍ͯΔॳظʹશͯͨΊ͢ͷѱखͩͬͨ • ՝ղܾͷखஈͱͯ͠ଊ͑ɺثͱͯ͠ἧ͓͑ͯ͘ • ࣮ફϓϥΫςΟεྗΛߟ͑ɺ৫՝ʹ߹ΘͤΔ ͜͏ͨ͠Βྑ͔͔ͬͨ🤔
🤔ৼΓฦΓ🤔 • σΟεΧογϣϯʹΑͬͯɺ՝Λڞ௨ೝࣝʹͰ͖ͨ ◦ →AʮHWᝑମނোͷ෮چΈ͍ͨͳͷτΠϧͳͷʁʯ ɹBʮظతʹՁ͕ੜ·Εͯͳ͍͔ΒτΠϧΆ͍ʯ ɹCʮࣗͨͪͷΩϟύϓϥѱྫ··͡Όͳ͍ɺɺʁʯ • ྗྖҬΛߟ͑ͣશͯτϥΠ ✗
SLI/SLOͷࡦఆ طଘͷӡ༻ΛͲ͏ม͑Δͷ͔ʁ
SLI/SLOΛͲ͏ઃఆ͢Δʁ • γεςϜͷఏڙ͍ͯ͠ΔओཁͳػೳຖʹɺҰͭͣͭݕ౼ CUJͷࡦఆ SLIͷࡦఆ SLOͷࡦఆ CUJ - Critical User
Journey - Ϣʔβʔ͕తΛୡ͢ΔͨΊʹߦ͏αʔϏεͱͷΓͱΓ SLI - Service Level Indicator - αʔϏεϨϕϧʹؔ͢ΔϢʔβʔͷຬࢦ SLO - Service Level Objective - αʔϏεʹର͢ΔϢʔβʔͷظ
ྫ͑ɺγϣοϐϯάͷτοϓϖʔδʁ • ϚΠΫϩϑϩϯτΤϯυࢥ • CUJ ʮ͓ಘใ͔ΒΛ୳͢ॴʯ • ඞਢϞδϡʔϧΛબఆ͠Մ༻ੑΛ SLI/SLOͱͯ͠ߟ͑Δ
ྫ͑ɺγϣοϐϯάͷτοϓϖʔδʁ 99.9% 99.9% མͪͯྑ͍ 99.9%
൚༻SLIͱαʔϏεݻ༗SLO • ൚༻SLIͱͯ͠VALET(※) Λ׆༻ • VALETΛΈ߹ΘͤԿΛSLOͱ͢Δͷ͔ΛCUJ͔Βݕ౼ ˞ग़యɿαΠτϦϥΠΞϏϦςΟϫʔΫϒοΫʕ43&ͷ࣮ફํ๏ VALET ύΠϓϥΠϯܥΞϓϦ
🤔ৼΓฦΓ🤔 • CUJ͔ΒSLI/SLOΛఆΊ͍ͯ͘͜ͱඞཁ →ͨͩ͠ɺCUJ͔ΒղͳSLIΛఆΊΔඞཁແ͍ →ҰൠʹVALET૬ͷͷ͕͋ΒΏΔՕॴͰSLIʹͳΔ
ΤϥʔόδΣοτͷӡ༻ͯ͠·͔͢ʁ
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ SLI SLO ࣌ؒ࣠ ϦϦʔείϯτϩʔϧ ͍ͨ͠ظؒ ͰɺͲ͏ͯ͠ग़͞ͳ͍ͱͬͯͭ͋Δ͘Ͷʁ🤔
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ ϦεΫxϦϦʔεཁ݅ͰධՁ͠ϦϦʔεஅͷ࣮ࢪ
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ اը SRE ʮKPIʹ߹ΘͤͨىҊʯ ʮظதʹxxΛϦϦʔε͍ͨ͠ʯ ʮةݥͳͷͰϦϦʔεࢭΊ͍ͨʯ
• Α͍FB͍͔ͭ͘ಘΒΕ͕ͨݱࡏӡ༻ΛࢭΊͯΔ • ௐͷΧϩϦʔ͕ߴ͗ͯ͢ఆணͤ͞Δ·Ͱʹࢸͬͯͳ͍ →ٕज़ͱاըʢσΟϨΫλʔʣͷඪཧʹٴͿ ࣮ࢪ༰ͱͯ͠खԠ͑Λײ͍ͯ͡ΔͷͰɺ ϦϦʔείϯτϩʔϧͷఆணͷͤ͞ํΛݕ౼͍ͯ͠Δ 🤔ৼΓฦΓ🤔
EmbeddedSREͱSREͷαΠϩԽ
SREνʔϜͱEmbedded SRE ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ͜ͷSREνʔϜͬͯԿͰඞཁͳΜ͚ͩͬʁʁ🤔
SREνʔϜͱEmbedded SRE • SREͷ࣮ͱͯ͠Embedded SREͷܗଶཧʹదͬͯΔ →՝ͷൃݟ࣮ࡍͷӡ༻͔ΒಘΒΕΔ • ҰํͰSREͱͯ͠શʹαΠϩԽ͞ΕΔ
WorkingGroupʹΑΔԣ۲ ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ݱͰͷݟ WorkingGroup γϣοϐϯάશମ
• SREͷ֓೦ԣஅతͳղΛఏڙ͢Δ৫ͱͯ͠ͷWG →Ξϥʔτ/ΠϯγσϯτରԠ/υΩϡϝϯτ࡞..etc →ํ๏ͱͯ͠खԠ͑Λײͯ͡Δ • ۀྔ͕େ͖͘ͳΓ͕ͪʹͳΔ →50%ϧʔϧͱΈ߹ΘͤͯϦιʔεΛ೧ग़ →ͦΕͰେ͖ͳෛՙΛ͔͚͍ͯΔɻ՝͋Γ˛ 🤔ৼΓฦΓ🤔
αʔϏεӡ༻ͷධՁΛͲ͏͢Δͷ͔ʁ
ϚΠΫϩαʔϏεͷӡ༻ʹαʔϏεϨϕϧ͕·Β • ֤ϚΠΫϩαʔϏε୯ҐͰͷEmbedded SREʹٻΊΒΕΔ ༰͕ҟͳΔ • ͋Δఔ·ͰɺҰൠղΛݩʹαʔϏεϨϕϧΛҾ্͖͍͛ͨ ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ
ϠϑʔγϣοϐϯάͷνʔϜମ੍ • αʔϏεɿ18νʔϜ x 113ΞϓϦέʔγϣϯ • SREɿ1νʔϜ -> 3νʔϜ(ݱࡏ) Embedded
SREΛ͍ͬͯ͘ʹ͗͢Δ
ॏཁͳαʔϏεʢTierʣͷબఆ • 113ͷΞϓϦέʔγϣϯʹର͠ɺTierΛ੍ఆ • ߴ࣍ͷTierʹରͯ͠ɺEmbedded SREͷஔ ߴՄ༻ੑΛٻΊΔΑ͏ʹ • Tierͷ͍ͷʹ͍ͭͯɺ൚Խͨ͠ରԠΛ࣮ࢪͯ͠Β͏
αʔϏε୯ҐͰͷӡ༻ঢ়ଶͷ૯߹ධՁ • ҆ఆੑ ͱ ӡ༻ίετ ͷ྆໘͔ΒαʔϏεΛධՁ͢Δ ҆ఆੑ ӡ༻ίετ ཧͷঢ়ଶ ҆ఆੑɿ
ӡ༻ίετɿߴ ҆ఆੑɿߴ ӡ༻ίετɿߴ ҆ఆੑɿ ӡ༻ίετɿ ҆ఆੑɿߴ ӡ༻ίετɿ ߲ ॏΈ ྨ SLI/SLO͕ఆٛ͞Ε͍ͯΔ 3 ҆ఆੑ ґଘPFͷࢮ׆ࢹ 3 ҆ఆੑ Ξϥʔτͷఆظతͳݟ͠ 2 ҆ఆੑ ӡ༻ίετͷൺ͕xະຬ 3 ίετ γεςϜϦιʔεͷఆظݟ͠ 2 ίετ
ΞϥʔτඋͷධՁ • Ξϥʔτઃఆঢ়گΛLv͚͠ɺ࣍ͷLvͷΞΫγϣϯΛఏࣔ Lv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5
ঢ়گɿ ɹɾ҉ͷྃղͷڞ௨ೝࣝ͋Γ ɹɾηϯεʹΑΔӡ༻ ωΫετεςοϓɿ ɹɾϖʔδʹڞ௨ೝࣝ ɹɾՍిͷऔࣺબΛ͢͢ΊΔ ঢ়گɿ ɹɾ໌จԽ͞Εͣͱہॴղ ɹɾΓηϯεʹΑΔӡ༻ ωΫετεςοϓɿ
ɹɾSLOΛ༻͍ͨΞϥʔτઃܭ ঢ়گɿ ɹɾηϯε͔ΒSLO ωΫετεςοϓ ɹɾΑΓSLOΛ༻͍ͨΞϥʔτ ɹɾόʔϯϨʔτͷݕ౼ ΞϥʔτඋͷධՁ Lv.2 Lv.3 Lv.4
• ධՁ͕࣠·ͩ·ͩΓͳ͍ • SRE৫ͷεέʔϧΞτʹ͚ͨςϯϓϨʔτԽ →ঢ়ଶͷධՁ x ࣍ͷΞΫγϣϯ ʹΑΓߴ࣍·ͰͷಓͷΓΛ →ߴ࣍ݩͷӡ༻ঢ়ଶʹ͓͍ͯݸผԽͨ͠ରԠΛ •
͏·͘ӡɺҰఆҎ্·ͰSREෆཁͰ͢͢ΊΔʁ →SREͷਓతϦιʔεৗ࣌Γͯͳ͍ 🤔ৼΓฦΓ🤔
ऴΘΓʹ
🐥 ॴײ 🐣 • ͏·͘ӡ༻ʹͤΒΕͳ͔ͬͨͷͷଟ͘ɺ ੜΈग़ͨࣗͨͪ͢͠ΒϑΥϩϫʔʹͳΕͳ͔ͬͨͷ • ෳࡶʹߟ͑ͯӡ༻ͨ͠ޙɺγϯϓϧʹࢸΔ • ૯ͯ͡ɺϦιʔεͷׂʹଟ͘ΛΈ͗ͨ͢ؾ͕͢Δ
औࣺબͷॏཁੑΛ࠶ೝࣝ →ධՁ͕ԼͤΔΑ͏ʹͳΕɺྗϙΠϯτΛ࡞ΕΔ
We Are Hiring!!! https://about.yahoo.co.jp/hr/job-info/role/1432/