小規模組織において、これから一緒にSREを考える仲間を増やすために実践したこと

jaws-ug-sre支部で「これからチームでSREやっていくぞ」な登壇をしました。

Transcript

1. 小規模組織において、これから一緒に SREを考える仲間を増やすために実践 したこと 株式会社スカラパートナーズ 中村友多朗
2. 自己紹介 　 ・中村友多朗(株式会社スカラパートナーズ) ・新卒1年目 ・主な業務 バックエンド開発(Python/Django) 　　 インフラ構築・運用(AWS/CDK) ・趣味 楽器(ギター)・アニメ鑑賞(P.A.WORKS) ・X(Twitter) @YuppeEng
3. 今日話すこと ・つらさの整理 ・SRE専任がいない環境で、助けてもらえる仲間を増やしてSREしていくために何が必 要か ・インフラも「チーム開発」という選択 ・安全な検証のためにガードレールを設けた話 ・小規模組織でのインフラ構築・運用業務のつらみ
4. こんな課題抱えてませんか？
5. プロジェクトA プロジェクトB インフラ構築/運用担当 アプリケーション開発担当 インフラ構築/運用担当 Aさん アプリケーション開発担当 誰か助けて... 時間ない... Aさん
6. 何が辛いのか... 「できるだけ」だと永遠に自分だけに負荷が降り注ぐ
7. 小組織規模運用負のスパイラル インフラ構築経験がある(できる)ので、任される 開発側もインフラ構築側も手一杯になる サービスがローンチする 監視・運用・新規開発業務が辛くなる SLOの設定...? トイルの削減...? 誰か助けて... 時間ない...
8. 助けたい人側の気持ち 助けたいけど、何をしたらいいかわからない
9. 助けてもらうにはどうしたらいいのか 助けてもらう練習をする
10. インフラも「チーム開発」という選択 ・IaCの導入だけでなく、そのCI/CDパイプラインも整えたことで「レビュー」が可能にな り、構築を一部頼めるようになった(コンテナへの環境変数の入れ込み、バッチ基盤作 成、API用Lambdaの権限設定...) →アプリケーションエンジニアがインフラを「読んで」理解する経験 ・インフラへの理解が進むと、日々の運用業務も徐々に任せられるようになる(障害調 査、ポストモーテムの記述)
11. 具体的に... ・CDKアプリのCI/CDパイプラインにはCDK Pipelinesを導入 ・すごく雑に説明すると実態はCodePipelineで、CDKアプリに特化した感じの CodePipeline関連リソースをCDKで書けるライブラリ ・revieweeには手元でcdk diffして出してもらっ た検証環境との差分をプルリクにくっつけて もらう→レビューする 最近出たAWS BlackBeltがおすすめ (https://youtu.be/z3Mst77p-aU?si=mmZ4 UBchNftXOKUH) 手元でcdk diff打てるってことはまさか deployもできちゃうの...?
12. diffれるけど、depれないを実現 ・bootstrapが終わったらすぐさまオールマイティーな Administratorアクセスポリシーを外して、 AWSCloudFormationReadOnlyAccesポリシーだけアタッチしたものを使ってもらう ・cdk CLIは最初にAdministrator権限でbootstrapしてから特に変更を加えていなければ、CFnの他にも様々な リソースへのReadOnlyAccess権限が含まれたLookUpRoleをAssumeすることで、cdk diffでの差分比較を実 現している ・このLookUpRoleをAssumeできない場合、実行主体に割り当てた残りの権限が適用されるが、その残りの権 限にAWSマネージドなAWSCloudFormationReadOnlyAccesポリシーを入れてやる 、・
13. 仲間がいないと... 障害でてます!! バッチ書いたのでイン フラ側設定お願いしま す! 何すればいいんだろ う...
14. 仲間がいると... 障害出てるけど... Athenaでログ見に行っ てみて。ポストモーテム もよろしく! 環境変数埋め込みした い... ここでこうやって埋め込 んでるから、ここ追加し てみて バッチ書いたけど... 一個設定すでに書いてある から真似してインフラ側の 設定書いてみて!終わった らレビューするよ