Pepabo Tech Conference #20 春のSREまつり で発表した資料です。 https://pepabo.connpass.com/event/276927/
Scrapbox版もあります。 https://scrapbox.io/shimoju/%E3%83%97%E3%83%AD%E3%83%80%E3%82%AF%E3%83%88%E9%96%8B%E7%99%BA%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%8B%E3%82%A2%E3%81%8B%E3%82%89SRE%E3%81%B8%E3%81%AE%E6%8C%91%E6%88%A6
1プロダクト開発エンジニアからSREへの挑戦Embedded SREとしてSUZURIの可用性向上に取り組む下重博資 / GMO PEPABO inc.2023.04.14 Pepabo Tech Conference #20 春のSREまつり
View Slide
SUZURI事業部 プロダクトチーム シニアエンジニア2016年 新卒入社2自己紹介下重 博資 Hiroshi Shimoju趣味はゲーム。スプラトゥーン3でウデマエSまで上がったもののそこから苦戦中● Blog: https://shimoju.org/● Twitter: https://twitter.com/shimoju_● GitHub: https://github.com/shimoju● Scrapbox: https://scrapbox.io/shimoju/
3この資料にはScrapbox版があります！！！• https://bit.ly/ptc20-sh で見れます• 資料としての一覧性が高く、各種リンクにアクセスしやすくなっています• （最初はScrapboxで作っていて、せっかくなので公開）
4アジェンダ1. プロダクト開発エンジニアとしてのキャリア2. Embedded SREとしてのキャリア3. SUZURIのSRE実践パターン4. まとめ
5プロダクト開発エンジニアとしてのキャリア
6● 2016/04：新卒入社、EC事業部 SUZURIチーム（現SUZURI事業部）に配属● 2019/07：シニアエンジニアに昇格● 2020/01：SUZURI事業部内にSREチームが発足、そのメンバーとしてSRE活動を開始● 2020/10：Kaigi on Railsにて登壇● 2020/12：Shopifyモデルを参考にした組織体制へ変更、「SRE座」というチーム名に● 2022/06：毎年恒例のTシャツセールにあわせ、SUZURI初のテレビCM放映年表プロダクト開発エンジニアとしてのキャリア
7● Ruby on Railsを用いたサーバサイド開発が中心● SUZURIの新アイテムの実装をはじめ、新機能の追加や、モバイルアプリの開発● インフラの管理、CI/CDや開発環境の整備、セキュリティ対策など● Canvathの事業譲受○ 開発の引き継ぎを担当し、自社で運用できるようにした○ AWSで運用されていたサービスを Herokuに移設し、運用コストを削減これまでの経験プロダクト開発エンジニアとしてのキャリア
8● 配属当初のSUZURIは小さいチームだったため、Webをはじめ、インフラからモバイルアプリまで全部やっていた● SUZURIではHerokuを活用しており、アプリケーションエンジニアでもインフラを管理しやすかった● その後チームが拡大し、2018年にSUZURI事業部として独立当時からインフラを触ることも多かったプロダクト開発エンジニアとしてのキャリア
9Embedded SREとしてのキャリア
10● もともとインフラの構成管理を行ったり、開発環境やCIの高速化などに取り組んでいた○ みんなに気持ちよく開発してもらい、組織としての生産性を上げることに興味があった● インフラやセキュリティ対策に強みをもつ事業部メンバーが少ない○ こちらに手を伸ばした方が自分の強みが発揮でき、組織的にもカバー範囲が広がりそうSREに挑戦した経緯Embedded SREとしてのキャリア
11● 個人的にはキャリアチェンジではなく「キャリアの幅を広げる」イメージ○ 状況に応じてプロダクト開発も行っている○ アプリケーションコードを直接修正してパフォーマンスを改善したりもするキャリアの幅を広げるEmbedded SREとしてのキャリア
12SUZURIのSRE実践パターン
13● SUZURI事業部 SRE座○ SUZURIの「中の人」としてSREを実践する（Embedded SRE）○ 7種類のSRE実践パターン https://x-tech5.co.jp/2022/02/21/204/ における、「1.中の人がSREする、あるいは中の人として SREする」● 技術部（技術基盤チーム、プラットフォームグループ）○ SUZURIの「外の人」として、SRE座と連携してSREを実践する（Platform SRE）○ メンバーやその状況に応じて、「 2.外の人として、SREに関わるタスクや機能開発を引き受ける」「 3.外の人として、SREに関わる助言を行う」「 7.プラットフォームを提供する」など様々メンバーSUZURIのSRE実践パターン
14● SRE座と技術部が週1回ミーティングし、直近のSLIを確認、今後の施策などを検討する○ Datadogでダッシュボードを作成し、 SLI/SLOを一目で確認できるようにしている○ 大規模セールの際は負荷試験を行い、キャパシティプランニングやパフォーマンス改善について相談する● 各々の専門性に応じて担当を割り振って実行する○ アプリケーションコードの調査が必要であれば SRE座○ Kubernetesクラスタやインフラの込み入った部分の調査が必要であれば技術部Embedded SREとPlatform SREの協業SUZURIのSRE実践パターン
15● SUZURI初のテレビCMを伴ったセールの実施が決まった○ より確証を持った負荷対策が実施できるように、負荷試験に基づいたキャパシティプランニングやパフォーマンス改善を行うことにした● 負荷試験は技術部@takutakaが担当○ https://tech.pepabo.com/2022/07/07/suzuri-sale-and-load-testing/● パフォーマンス改善は技術部@pyamaを中心に、SRE座とプロダクト開発エンジニアで担当○ https://tech.pepabo.com/2022/06/29/suzuri-sale-2022-summer/実践例：CM放映&セール対策SUZURIのSRE実践パターン
16● ステージング環境で負荷試験を実施するためのアプリ側の修正○ Rate Limitを無効化できるようにするなど● 負荷試験のシナリオの作成● N+1を効率的に検知できるようにするための自動テストの修正● データベースのスケールアップ● Platform SREが変更したコードのレビューSRE座としてやったことSUZURIのSRE実践パターン
17● 負荷試験の目標値を達成できた！○ あるセールのN倍のトラフィックで、ログイン比率を M%としたとき、p95でO秒を切る● パフォーマンス関連の障害はなくセールを終えられた！その結果SUZURIのSRE実践パターン
18まとめ
19● 事業ドメインの理解とバックエンドの専門性があることで、ボトルネックの特定やパフォーマンスの改善に直接踏み込める● 高い専門性を持つSRE組織が既にあっても、Embedded SREとして働くことで価値を作れる○ Platform SREと連携することでより素早く、より高度なことに取り組める● 「プロダクトチームの中でSREをやる」選択肢も考えるとキャリアの幅が広がるはず！プロダクト開発エンジニアがSREに挑戦してみてまとめ
Thank You!!20
shimoju
wakamsha
pospome
chiroito
bengo4com
smasato
chloe463
mtx2s
mosa_siru
kazukihayase
sansan_randd
yoshidashingo
oracle4engineer
akmur
tanoku
quramy
skipperchong
panda_program
jnunemaker
kneath
destraynor
chriscoyier
malarkey
lara
stephaniewalter