小規模組織において、これから一緒にSREを考える仲間を増やすために実践したこと

小規模組織において、これから一緒に SREを考える仲間を増やすために実践したこと株式会社スカラパートナーズ中村友多朗

自己紹介　・中村友多朗(株式会社スカラパートナーズ) ・新卒1年目・主な業務バックエンド開発(Python/Django) 　　インフラ構築・運用(AWS/CDK) ・趣味楽器(ギター)・アニメ鑑賞(P.A.WORKS)
・X(Twitter) @YuppeEng

今日話すこと・つらさの整理・SRE専任がいない環境で、助けてもらえる仲間を増やしてSREしていくために何が必要か・インフラも「チーム開発」という選択・安全な検証のためにガードレールを設けた話・小規模組織でのインフラ構築・運用業務のつらみ

こんな課題抱えてませんか？

プロジェクトA プロジェクトB インフラ構築/運用担当アプリケーション開発担当インフラ構築/運用担当 Aさんアプリケーション開発担当誰か助けて... 時間ない... Aさん

何が辛いのか... 「できるだけ」だと永遠に自分だけに負荷が降り注ぐ

小組織規模運用負のスパイラルインフラ構築経験がある(できる)ので、任される開発側もインフラ構築側も手一杯になるサービスがローンチする監視・運用・新規開発業務が辛くなる SLOの設定...? トイルの削減...? 誰か助けて... 時間ない...

助けたい人側の気持ち助けたいけど、何をしたらいいかわからない

助けてもらうにはどうしたらいいのか助けてもらう練習をする

インフラも「チーム開発」という選択・IaCの導入だけでなく、そのCI/CDパイプラインも整えたことで「レビュー」が可能になり、構築を一部頼めるようになった(コンテナへの環境変数の入れ込み、バッチ基盤作成、API用Lambdaの権限設定...) →アプリケーションエンジニアがインフラを「読んで」理解する経験・インフラへの理解が進むと、日々の運用業務も徐々に任せられるようになる(障害調査、ポストモーテムの記述)

具体的に... ・CDKアプリのCI/CDパイプラインにはCDK Pipelinesを導入・すごく雑に説明すると実態はCodePipelineで、CDKアプリに特化した感じの CodePipeline関連リソースをCDKで書けるライブラリ・revieweeには手元でcdk diffして出してもらった検証環境との差分をプルリクにくっつけてもらう→レビューする最近出たAWS
BlackBeltがおすすめ (https://youtu.be/z3Mst77p-aU?si=mmZ4 UBchNftXOKUH) 手元でcdk diff打てるってことはまさか deployもできちゃうの...?

diffれるけど、depれないを実現・bootstrapが終わったらすぐさまオールマイティーな Administratorアクセスポリシーを外して、 AWSCloudFormationReadOnlyAccesポリシーだけアタッチしたものを使ってもらう・cdk CLIは最初にAdministrator権限でbootstrapしてから特に変更を加えていなければ、CFnの他にも様々なリソースへのReadOnlyAccess権限が含まれたLookUpRoleをAssumeすることで、cdk diffでの差分比較を実現している・このLookUpRoleをAssumeできない場合、実行主体に割り当てた残りの権限が適用されるが、その残りの権
限にAWSマネージドなAWSCloudFormationReadOnlyAccesポリシーを入れてやる、・

仲間がいないと... 障害でてます!! バッチ書いたのでインフラ側設定お願いします! 何すればいいんだろう...

仲間がいると... 障害出てるけど... Athenaでログ見に行ってみて。ポストモーテムもよろしく! 環境変数埋め込みしたい... ここでこうやって埋め込んでるから、ここ追加してみて
バッチ書いたけど... 一個設定すでに書いてあるから真似してインフラ側の設定書いてみて!終わったらレビューするよ

小規模組織において、これから一緒にSREを考える仲間を増やすために実践したこと

小規模組織において、これから一緒にSREを考える仲間を増やすために実践したこと

YuppeEng

More Decks by YuppeEng

Featured

Transcript