Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例...
Search
kobashin
December 05, 2022
Programming
0
290
Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例 ショッピングのSREチームとして試したこと、 失敗したこと
kobashin
December 05, 2022
Tweet
Share
More Decks by kobashin
See All by kobashin
気になったセッションから今すぐ開発に導入したいあれこれ(主観
shinjikobayashi
2
710
Navigationの採用を検討してみて、 色々考えた話を共有するよ
shinjikobayashi
1
290
Systemアプリ開発入門
shinjikobayashi
6
13k
Other Decks in Programming
See All in Programming
Playwrightはどのようにクロスブラウザをサポートしているのか
yotahada3
7
2.3k
ポスターセッション: 「まっすぐ行って、右!」って言ってラズパイカーを動かしたい 〜生成AI × Raspberry Pi Pico × Gradioの試作メモ〜
komofr
0
940
プログラマのための作曲入門
cheebow
0
540
高度なUI/UXこそHotwireで作ろう Kaigi on Rails 2025
naofumi
4
3.4k
Model Pollution
hschwentner
1
180
株式会社 Sun terras カンパニーデック
sunterras
0
220
CSC509 Lecture 02
javiergs
PRO
0
400
GitHub Actions × AWS OIDC連携の仕組みと経緯を理解する
ota1022
0
240
CSC509 Lecture 06
javiergs
PRO
0
240
NetworkXとGNNで学ぶグラフデータ分析入門〜複雑な関係性を解き明かすPythonの力〜
mhrtech
3
990
Back to the Future: Let me tell you about the ACP protocol
terhechte
0
130
CSC305 Lecture 02
javiergs
PRO
1
260
Featured
See All Featured
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.7k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
32
2.2k
A Tale of Four Properties
chriscoyier
160
23k
Building an army of robots
kneath
306
46k
Code Reviewing Like a Champion
maltzj
525
40k
The Cost Of JavaScript in 2023
addyosmani
53
9k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
How to train your dragon (web standard)
notwaldorf
96
6.3k
Optimizing for Happiness
mojombo
379
70k
Transcript
Mix Leap Study #69 Yahoo!γϣοϐϯά+PayPayϑϦϚͷSREࣄྫ γϣοϐϯάͷSREνʔϜͱͯ͠ࢼͨ͜͠ͱɺ ࣦഊͨ͜͠ͱ @kobashinG ʢ͜͠Μʣ 2022.12.05
ࣗݾհ ͜͠Μ (@kobashinG) Ϡϑʔגࣜձࣾ ϑϩϯτΤϯυશൠ, etc… Android, Linux, k8s, ˏϠϑʔγϣοϐϯάSRE
ΏΔΏΔͱ͓͠·͢ ࠓͷΞδΣϯμ • ̑ͭͷࣄྫΛݩʹ͖ͬͯͨ͜ͱΛৼΓฦΔ
·ͣݟʹཔΔ ྠߨͷऔΓΈ
SREνʔϜͷൃ • SREͱ͍͏ϩʔϧ͕ॳΊͯੜ·Εͨ →֤νʔϜͷऔΓΈͷதͰ࣮ફ͍ͯ͠Δਓୡډͨ • ʮSRE͕γϣοϐϯάͰԿΛ͢Δͷ͔ʁʯʹ͍ͭͯ ࡋྔΛ࣋ͨͤͯΒ͍ͬͯͨ
SREຊͷྠߨ • Πϯϓοτͱͯ͠ॻ੶ͷྠߨͷ࣮ࢪ • ্ཱͪ͛ϝϯόͱڞʹڞ௨ཧղΛ࡞ΔͰඇৗʹΑ͔ͬͨ ɹˠ୯७ʹಡΉ͚ͩͰͳ͘ɺষ/߲ͷ୯ҐͰσΟεΧογϣϯ
SREͷϓϥΫςΟεͷ࣮ફ • ༷ʑͳϓϥΫςΟεΛಉ࣌ʹ࣮ࢪ͠Α͏ͱࣦͯ͠ഊ • ϦιʔεͷݶΒΕ͍ͯΔॳظʹશͯͨΊ͢ͷѱखͩͬͨ • ՝ղܾͷखஈͱͯ͠ଊ͑ɺثͱͯ͠ἧ͓͑ͯ͘ • ࣮ફϓϥΫςΟεྗΛߟ͑ɺ৫՝ʹ߹ΘͤΔ ͜͏ͨ͠Βྑ͔͔ͬͨ🤔
🤔ৼΓฦΓ🤔 • σΟεΧογϣϯʹΑͬͯɺ՝Λڞ௨ೝࣝʹͰ͖ͨ ◦ →AʮHWᝑମނোͷ෮چΈ͍ͨͳͷτΠϧͳͷʁʯ ɹBʮظతʹՁ͕ੜ·Εͯͳ͍͔ΒτΠϧΆ͍ʯ ɹCʮࣗͨͪͷΩϟύϓϥѱྫ··͡Όͳ͍ɺɺʁʯ • ྗྖҬΛߟ͑ͣશͯτϥΠ ✗
SLI/SLOͷࡦఆ طଘͷӡ༻ΛͲ͏ม͑Δͷ͔ʁ
SLI/SLOΛͲ͏ઃఆ͢Δʁ • γεςϜͷఏڙ͍ͯ͠ΔओཁͳػೳຖʹɺҰͭͣͭݕ౼ CUJͷࡦఆ SLIͷࡦఆ SLOͷࡦఆ CUJ - Critical User
Journey - Ϣʔβʔ͕తΛୡ͢ΔͨΊʹߦ͏αʔϏεͱͷΓͱΓ SLI - Service Level Indicator - αʔϏεϨϕϧʹؔ͢ΔϢʔβʔͷຬࢦ SLO - Service Level Objective - αʔϏεʹର͢ΔϢʔβʔͷظ
ྫ͑ɺγϣοϐϯάͷτοϓϖʔδʁ • ϚΠΫϩϑϩϯτΤϯυࢥ • CUJ ʮ͓ಘใ͔ΒΛ୳͢ॴʯ • ඞਢϞδϡʔϧΛબఆ͠Մ༻ੑΛ SLI/SLOͱͯ͠ߟ͑Δ
ྫ͑ɺγϣοϐϯάͷτοϓϖʔδʁ 99.9% 99.9% མͪͯྑ͍ 99.9%
൚༻SLIͱαʔϏεݻ༗SLO • ൚༻SLIͱͯ͠VALET(※) Λ׆༻ • VALETΛΈ߹ΘͤԿΛSLOͱ͢Δͷ͔ΛCUJ͔Βݕ౼ ˞ग़యɿαΠτϦϥΠΞϏϦςΟϫʔΫϒοΫʕ43&ͷ࣮ફํ๏ VALET ύΠϓϥΠϯܥΞϓϦ
🤔ৼΓฦΓ🤔 • CUJ͔ΒSLI/SLOΛఆΊ͍ͯ͘͜ͱඞཁ →ͨͩ͠ɺCUJ͔ΒղͳSLIΛఆΊΔඞཁແ͍ →ҰൠʹVALET૬ͷͷ͕͋ΒΏΔՕॴͰSLIʹͳΔ
ΤϥʔόδΣοτͷӡ༻ͯ͠·͔͢ʁ
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ SLI SLO ࣌ؒ࣠ ϦϦʔείϯτϩʔϧ ͍ͨ͠ظؒ ͰɺͲ͏ͯ͠ग़͞ͳ͍ͱͬͯͭ͋Δ͘Ͷʁ🤔
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ ϦεΫxϦϦʔεཁ݅ͰධՁ͠ϦϦʔεஅͷ࣮ࢪ
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ اը SRE ʮKPIʹ߹ΘͤͨىҊʯ ʮظதʹxxΛϦϦʔε͍ͨ͠ʯ ʮةݥͳͷͰϦϦʔεࢭΊ͍ͨʯ
• Α͍FB͍͔ͭ͘ಘΒΕ͕ͨݱࡏӡ༻ΛࢭΊͯΔ • ௐͷΧϩϦʔ͕ߴ͗ͯ͢ఆணͤ͞Δ·Ͱʹࢸͬͯͳ͍ →ٕज़ͱاըʢσΟϨΫλʔʣͷඪཧʹٴͿ ࣮ࢪ༰ͱͯ͠खԠ͑Λײ͍ͯ͡ΔͷͰɺ ϦϦʔείϯτϩʔϧͷఆணͷͤ͞ํΛݕ౼͍ͯ͠Δ 🤔ৼΓฦΓ🤔
EmbeddedSREͱSREͷαΠϩԽ
SREνʔϜͱEmbedded SRE ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ͜ͷSREνʔϜͬͯԿͰඞཁͳΜ͚ͩͬʁʁ🤔
SREνʔϜͱEmbedded SRE • SREͷ࣮ͱͯ͠Embedded SREͷܗଶཧʹదͬͯΔ →՝ͷൃݟ࣮ࡍͷӡ༻͔ΒಘΒΕΔ • ҰํͰSREͱͯ͠શʹαΠϩԽ͞ΕΔ
WorkingGroupʹΑΔԣ۲ ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ݱͰͷݟ WorkingGroup γϣοϐϯάશମ
• SREͷ֓೦ԣஅతͳղΛఏڙ͢Δ৫ͱͯ͠ͷWG →Ξϥʔτ/ΠϯγσϯτରԠ/υΩϡϝϯτ࡞..etc →ํ๏ͱͯ͠खԠ͑Λײͯ͡Δ • ۀྔ͕େ͖͘ͳΓ͕ͪʹͳΔ →50%ϧʔϧͱΈ߹ΘͤͯϦιʔεΛ೧ग़ →ͦΕͰେ͖ͳෛՙΛ͔͚͍ͯΔɻ՝͋Γ˛ 🤔ৼΓฦΓ🤔
αʔϏεӡ༻ͷධՁΛͲ͏͢Δͷ͔ʁ
ϚΠΫϩαʔϏεͷӡ༻ʹαʔϏεϨϕϧ͕·Β • ֤ϚΠΫϩαʔϏε୯ҐͰͷEmbedded SREʹٻΊΒΕΔ ༰͕ҟͳΔ • ͋Δఔ·ͰɺҰൠղΛݩʹαʔϏεϨϕϧΛҾ্͖͍͛ͨ ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ
ϠϑʔγϣοϐϯάͷνʔϜମ੍ • αʔϏεɿ18νʔϜ x 113ΞϓϦέʔγϣϯ • SREɿ1νʔϜ -> 3νʔϜ(ݱࡏ) Embedded
SREΛ͍ͬͯ͘ʹ͗͢Δ
ॏཁͳαʔϏεʢTierʣͷબఆ • 113ͷΞϓϦέʔγϣϯʹର͠ɺTierΛ੍ఆ • ߴ࣍ͷTierʹରͯ͠ɺEmbedded SREͷஔ ߴՄ༻ੑΛٻΊΔΑ͏ʹ • Tierͷ͍ͷʹ͍ͭͯɺ൚Խͨ͠ରԠΛ࣮ࢪͯ͠Β͏
αʔϏε୯ҐͰͷӡ༻ঢ়ଶͷ૯߹ධՁ • ҆ఆੑ ͱ ӡ༻ίετ ͷ྆໘͔ΒαʔϏεΛධՁ͢Δ ҆ఆੑ ӡ༻ίετ ཧͷঢ়ଶ ҆ఆੑɿ
ӡ༻ίετɿߴ ҆ఆੑɿߴ ӡ༻ίετɿߴ ҆ఆੑɿ ӡ༻ίετɿ ҆ఆੑɿߴ ӡ༻ίετɿ ߲ ॏΈ ྨ SLI/SLO͕ఆٛ͞Ε͍ͯΔ 3 ҆ఆੑ ґଘPFͷࢮ׆ࢹ 3 ҆ఆੑ Ξϥʔτͷఆظతͳݟ͠ 2 ҆ఆੑ ӡ༻ίετͷൺ͕xະຬ 3 ίετ γεςϜϦιʔεͷఆظݟ͠ 2 ίετ
ΞϥʔτඋͷධՁ • Ξϥʔτઃఆঢ়گΛLv͚͠ɺ࣍ͷLvͷΞΫγϣϯΛఏࣔ Lv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5
ঢ়گɿ ɹɾ҉ͷྃղͷڞ௨ೝࣝ͋Γ ɹɾηϯεʹΑΔӡ༻ ωΫετεςοϓɿ ɹɾϖʔδʹڞ௨ೝࣝ ɹɾՍిͷऔࣺબΛ͢͢ΊΔ ঢ়گɿ ɹɾ໌จԽ͞Εͣͱہॴղ ɹɾΓηϯεʹΑΔӡ༻ ωΫετεςοϓɿ
ɹɾSLOΛ༻͍ͨΞϥʔτઃܭ ঢ়گɿ ɹɾηϯε͔ΒSLO ωΫετεςοϓ ɹɾΑΓSLOΛ༻͍ͨΞϥʔτ ɹɾόʔϯϨʔτͷݕ౼ ΞϥʔτඋͷධՁ Lv.2 Lv.3 Lv.4
• ධՁ͕࣠·ͩ·ͩΓͳ͍ • SRE৫ͷεέʔϧΞτʹ͚ͨςϯϓϨʔτԽ →ঢ়ଶͷධՁ x ࣍ͷΞΫγϣϯ ʹΑΓߴ࣍·ͰͷಓͷΓΛ →ߴ࣍ݩͷӡ༻ঢ়ଶʹ͓͍ͯݸผԽͨ͠ରԠΛ •
͏·͘ӡɺҰఆҎ্·ͰSREෆཁͰ͢͢ΊΔʁ →SREͷਓతϦιʔεৗ࣌Γͯͳ͍ 🤔ৼΓฦΓ🤔
ऴΘΓʹ
🐥 ॴײ 🐣 • ͏·͘ӡ༻ʹͤΒΕͳ͔ͬͨͷͷଟ͘ɺ ੜΈग़ͨࣗͨͪ͢͠ΒϑΥϩϫʔʹͳΕͳ͔ͬͨͷ • ෳࡶʹߟ͑ͯӡ༻ͨ͠ޙɺγϯϓϧʹࢸΔ • ૯ͯ͡ɺϦιʔεͷׂʹଟ͘ΛΈ͗ͨ͢ؾ͕͢Δ
औࣺબͷॏཁੑΛ࠶ೝࣝ →ධՁ͕ԼͤΔΑ͏ʹͳΕɺྗϙΠϯτΛ࡞ΕΔ
We Are Hiring!!! https://about.yahoo.co.jp/hr/job-info/role/1432/