Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例...
Search
kobashin
December 05, 2022
Programming
0
260
Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例 ショッピングのSREチームとして試したこと、 失敗したこと
kobashin
December 05, 2022
Tweet
Share
More Decks by kobashin
See All by kobashin
気になったセッションから今すぐ開発に導入したいあれこれ(主観
shinjikobayashi
2
670
Navigationの採用を検討してみて、 色々考えた話を共有するよ
shinjikobayashi
1
280
Systemアプリ開発入門
shinjikobayashi
6
13k
Other Decks in Programming
See All in Programming
型付き API リクエストを実現するいくつかの手法とその選択 / Typed API Request
euxn23
8
2.2k
TypeScriptでライブラリとの依存を限定的にする方法
tutinoko
2
660
Generative AI Use Cases JP (略称:GenU)奮闘記
hideg
1
290
CSC509 Lecture 12
javiergs
PRO
0
160
シールドクラスをはじめよう / Getting Started with Sealed Classes
mackey0225
4
640
Webの技術スタックで マルチプラットフォームアプリ開発を可能にするElixirDesktopの紹介
thehaigo
2
1k
初めてDefinitelyTypedにPRを出した話
syumai
0
400
CSC509 Lecture 11
javiergs
PRO
0
180
シェーダーで魅せるMapLibreの動的ラスタータイル
satoshi7190
1
480
3 Effective Rules for Using Signals in Angular
manfredsteyer
PRO
0
110
RubyLSPのマルチバイト文字対応
notfounds
0
120
Compose 1.7のTextFieldはPOBox Plusで日本語変換できない
tomoya0x00
0
190
Featured
See All Featured
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
GitHub's CSS Performance
jonrohan
1030
460k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
Producing Creativity
orderedlist
PRO
341
39k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
Facilitating Awesome Meetings
lara
50
6.1k
Gamification - CAS2011
davidbonilla
80
5k
KATA
mclloyd
29
14k
Code Reviewing Like a Champion
maltzj
520
39k
Transcript
Mix Leap Study #69 Yahoo!γϣοϐϯά+PayPayϑϦϚͷSREࣄྫ γϣοϐϯάͷSREνʔϜͱͯ͠ࢼͨ͜͠ͱɺ ࣦഊͨ͜͠ͱ @kobashinG ʢ͜͠Μʣ 2022.12.05
ࣗݾհ ͜͠Μ (@kobashinG) Ϡϑʔגࣜձࣾ ϑϩϯτΤϯυશൠ, etc… Android, Linux, k8s, ˏϠϑʔγϣοϐϯάSRE
ΏΔΏΔͱ͓͠·͢ ࠓͷΞδΣϯμ • ̑ͭͷࣄྫΛݩʹ͖ͬͯͨ͜ͱΛৼΓฦΔ
·ͣݟʹཔΔ ྠߨͷऔΓΈ
SREνʔϜͷൃ • SREͱ͍͏ϩʔϧ͕ॳΊͯੜ·Εͨ →֤νʔϜͷऔΓΈͷதͰ࣮ફ͍ͯ͠Δਓୡډͨ • ʮSRE͕γϣοϐϯάͰԿΛ͢Δͷ͔ʁʯʹ͍ͭͯ ࡋྔΛ࣋ͨͤͯΒ͍ͬͯͨ
SREຊͷྠߨ • Πϯϓοτͱͯ͠ॻ੶ͷྠߨͷ࣮ࢪ • ্ཱͪ͛ϝϯόͱڞʹڞ௨ཧղΛ࡞ΔͰඇৗʹΑ͔ͬͨ ɹˠ୯७ʹಡΉ͚ͩͰͳ͘ɺষ/߲ͷ୯ҐͰσΟεΧογϣϯ
SREͷϓϥΫςΟεͷ࣮ફ • ༷ʑͳϓϥΫςΟεΛಉ࣌ʹ࣮ࢪ͠Α͏ͱࣦͯ͠ഊ • ϦιʔεͷݶΒΕ͍ͯΔॳظʹશͯͨΊ͢ͷѱखͩͬͨ • ՝ղܾͷखஈͱͯ͠ଊ͑ɺثͱͯ͠ἧ͓͑ͯ͘ • ࣮ફϓϥΫςΟεྗΛߟ͑ɺ৫՝ʹ߹ΘͤΔ ͜͏ͨ͠Βྑ͔͔ͬͨ🤔
🤔ৼΓฦΓ🤔 • σΟεΧογϣϯʹΑͬͯɺ՝Λڞ௨ೝࣝʹͰ͖ͨ ◦ →AʮHWᝑମނোͷ෮چΈ͍ͨͳͷτΠϧͳͷʁʯ ɹBʮظతʹՁ͕ੜ·Εͯͳ͍͔ΒτΠϧΆ͍ʯ ɹCʮࣗͨͪͷΩϟύϓϥѱྫ··͡Όͳ͍ɺɺʁʯ • ྗྖҬΛߟ͑ͣશͯτϥΠ ✗
SLI/SLOͷࡦఆ طଘͷӡ༻ΛͲ͏ม͑Δͷ͔ʁ
SLI/SLOΛͲ͏ઃఆ͢Δʁ • γεςϜͷఏڙ͍ͯ͠ΔओཁͳػೳຖʹɺҰͭͣͭݕ౼ CUJͷࡦఆ SLIͷࡦఆ SLOͷࡦఆ CUJ - Critical User
Journey - Ϣʔβʔ͕తΛୡ͢ΔͨΊʹߦ͏αʔϏεͱͷΓͱΓ SLI - Service Level Indicator - αʔϏεϨϕϧʹؔ͢ΔϢʔβʔͷຬࢦ SLO - Service Level Objective - αʔϏεʹର͢ΔϢʔβʔͷظ
ྫ͑ɺγϣοϐϯάͷτοϓϖʔδʁ • ϚΠΫϩϑϩϯτΤϯυࢥ • CUJ ʮ͓ಘใ͔ΒΛ୳͢ॴʯ • ඞਢϞδϡʔϧΛબఆ͠Մ༻ੑΛ SLI/SLOͱͯ͠ߟ͑Δ
ྫ͑ɺγϣοϐϯάͷτοϓϖʔδʁ 99.9% 99.9% མͪͯྑ͍ 99.9%
൚༻SLIͱαʔϏεݻ༗SLO • ൚༻SLIͱͯ͠VALET(※) Λ׆༻ • VALETΛΈ߹ΘͤԿΛSLOͱ͢Δͷ͔ΛCUJ͔Βݕ౼ ˞ग़యɿαΠτϦϥΠΞϏϦςΟϫʔΫϒοΫʕ43&ͷ࣮ફํ๏ VALET ύΠϓϥΠϯܥΞϓϦ
🤔ৼΓฦΓ🤔 • CUJ͔ΒSLI/SLOΛఆΊ͍ͯ͘͜ͱඞཁ →ͨͩ͠ɺCUJ͔ΒղͳSLIΛఆΊΔඞཁແ͍ →ҰൠʹVALET૬ͷͷ͕͋ΒΏΔՕॴͰSLIʹͳΔ
ΤϥʔόδΣοτͷӡ༻ͯ͠·͔͢ʁ
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ SLI SLO ࣌ؒ࣠ ϦϦʔείϯτϩʔϧ ͍ͨ͠ظؒ ͰɺͲ͏ͯ͠ग़͞ͳ͍ͱͬͯͭ͋Δ͘Ͷʁ🤔
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ ϦεΫxϦϦʔεཁ݅ͰධՁ͠ϦϦʔεஅͷ࣮ࢪ
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ اը SRE ʮKPIʹ߹ΘͤͨىҊʯ ʮظதʹxxΛϦϦʔε͍ͨ͠ʯ ʮةݥͳͷͰϦϦʔεࢭΊ͍ͨʯ
• Α͍FB͍͔ͭ͘ಘΒΕ͕ͨݱࡏӡ༻ΛࢭΊͯΔ • ௐͷΧϩϦʔ͕ߴ͗ͯ͢ఆணͤ͞Δ·Ͱʹࢸͬͯͳ͍ →ٕज़ͱاըʢσΟϨΫλʔʣͷඪཧʹٴͿ ࣮ࢪ༰ͱͯ͠खԠ͑Λײ͍ͯ͡ΔͷͰɺ ϦϦʔείϯτϩʔϧͷఆணͷͤ͞ํΛݕ౼͍ͯ͠Δ 🤔ৼΓฦΓ🤔
EmbeddedSREͱSREͷαΠϩԽ
SREνʔϜͱEmbedded SRE ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ͜ͷSREνʔϜͬͯԿͰඞཁͳΜ͚ͩͬʁʁ🤔
SREνʔϜͱEmbedded SRE • SREͷ࣮ͱͯ͠Embedded SREͷܗଶཧʹదͬͯΔ →՝ͷൃݟ࣮ࡍͷӡ༻͔ΒಘΒΕΔ • ҰํͰSREͱͯ͠શʹαΠϩԽ͞ΕΔ
WorkingGroupʹΑΔԣ۲ ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ݱͰͷݟ WorkingGroup γϣοϐϯάશମ
• SREͷ֓೦ԣஅతͳղΛఏڙ͢Δ৫ͱͯ͠ͷWG →Ξϥʔτ/ΠϯγσϯτରԠ/υΩϡϝϯτ࡞..etc →ํ๏ͱͯ͠खԠ͑Λײͯ͡Δ • ۀྔ͕େ͖͘ͳΓ͕ͪʹͳΔ →50%ϧʔϧͱΈ߹ΘͤͯϦιʔεΛ೧ग़ →ͦΕͰେ͖ͳෛՙΛ͔͚͍ͯΔɻ՝͋Γ˛ 🤔ৼΓฦΓ🤔
αʔϏεӡ༻ͷධՁΛͲ͏͢Δͷ͔ʁ
ϚΠΫϩαʔϏεͷӡ༻ʹαʔϏεϨϕϧ͕·Β • ֤ϚΠΫϩαʔϏε୯ҐͰͷEmbedded SREʹٻΊΒΕΔ ༰͕ҟͳΔ • ͋Δఔ·ͰɺҰൠղΛݩʹαʔϏεϨϕϧΛҾ্͖͍͛ͨ ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ
ϠϑʔγϣοϐϯάͷνʔϜମ੍ • αʔϏεɿ18νʔϜ x 113ΞϓϦέʔγϣϯ • SREɿ1νʔϜ -> 3νʔϜ(ݱࡏ) Embedded
SREΛ͍ͬͯ͘ʹ͗͢Δ
ॏཁͳαʔϏεʢTierʣͷબఆ • 113ͷΞϓϦέʔγϣϯʹର͠ɺTierΛ੍ఆ • ߴ࣍ͷTierʹରͯ͠ɺEmbedded SREͷஔ ߴՄ༻ੑΛٻΊΔΑ͏ʹ • Tierͷ͍ͷʹ͍ͭͯɺ൚Խͨ͠ରԠΛ࣮ࢪͯ͠Β͏
αʔϏε୯ҐͰͷӡ༻ঢ়ଶͷ૯߹ධՁ • ҆ఆੑ ͱ ӡ༻ίετ ͷ྆໘͔ΒαʔϏεΛධՁ͢Δ ҆ఆੑ ӡ༻ίετ ཧͷঢ়ଶ ҆ఆੑɿ
ӡ༻ίετɿߴ ҆ఆੑɿߴ ӡ༻ίετɿߴ ҆ఆੑɿ ӡ༻ίετɿ ҆ఆੑɿߴ ӡ༻ίετɿ ߲ ॏΈ ྨ SLI/SLO͕ఆٛ͞Ε͍ͯΔ 3 ҆ఆੑ ґଘPFͷࢮ׆ࢹ 3 ҆ఆੑ Ξϥʔτͷఆظతͳݟ͠ 2 ҆ఆੑ ӡ༻ίετͷൺ͕xະຬ 3 ίετ γεςϜϦιʔεͷఆظݟ͠ 2 ίετ
ΞϥʔτඋͷධՁ • Ξϥʔτઃఆঢ়گΛLv͚͠ɺ࣍ͷLvͷΞΫγϣϯΛఏࣔ Lv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5
ঢ়گɿ ɹɾ҉ͷྃղͷڞ௨ೝࣝ͋Γ ɹɾηϯεʹΑΔӡ༻ ωΫετεςοϓɿ ɹɾϖʔδʹڞ௨ೝࣝ ɹɾՍిͷऔࣺબΛ͢͢ΊΔ ঢ়گɿ ɹɾ໌จԽ͞Εͣͱہॴղ ɹɾΓηϯεʹΑΔӡ༻ ωΫετεςοϓɿ
ɹɾSLOΛ༻͍ͨΞϥʔτઃܭ ঢ়گɿ ɹɾηϯε͔ΒSLO ωΫετεςοϓ ɹɾΑΓSLOΛ༻͍ͨΞϥʔτ ɹɾόʔϯϨʔτͷݕ౼ ΞϥʔτඋͷධՁ Lv.2 Lv.3 Lv.4
• ධՁ͕࣠·ͩ·ͩΓͳ͍ • SRE৫ͷεέʔϧΞτʹ͚ͨςϯϓϨʔτԽ →ঢ়ଶͷධՁ x ࣍ͷΞΫγϣϯ ʹΑΓߴ࣍·ͰͷಓͷΓΛ →ߴ࣍ݩͷӡ༻ঢ়ଶʹ͓͍ͯݸผԽͨ͠ରԠΛ •
͏·͘ӡɺҰఆҎ্·ͰSREෆཁͰ͢͢ΊΔʁ →SREͷਓతϦιʔεৗ࣌Γͯͳ͍ 🤔ৼΓฦΓ🤔
ऴΘΓʹ
🐥 ॴײ 🐣 • ͏·͘ӡ༻ʹͤΒΕͳ͔ͬͨͷͷଟ͘ɺ ੜΈग़ͨࣗͨͪ͢͠ΒϑΥϩϫʔʹͳΕͳ͔ͬͨͷ • ෳࡶʹߟ͑ͯӡ༻ͨ͠ޙɺγϯϓϧʹࢸΔ • ૯ͯ͡ɺϦιʔεͷׂʹଟ͘ΛΈ͗ͨ͢ؾ͕͢Δ
औࣺબͷॏཁੑΛ࠶ೝࣝ →ධՁ͕ԼͤΔΑ͏ʹͳΕɺྗϙΠϯτΛ࡞ΕΔ
We Are Hiring!!! https://about.yahoo.co.jp/hr/job-info/role/1432/