はてなのSRE組織2024 / Road to SRE NEXT@福岡

by cohalz

Slide 1

Slide 1 text

はてなのSRE組織2024 id:cohalz / @cohalz Road to SRE NEXT@福岡 1

Slide 2

Slide 2 text

自己紹介 ● こはる(@cohalz) ● 株式会社はてな SRE ○ ブックマーク・ブログ ○ SRE関連ワーキンググループのオーナー ● 福岡移住して1年半 ○ リモート勤務 2

Slide 3

Slide 3 text

今日話すこと ● 最近のはてなのSREの取り組み ● PlatformとEmbeddedと横断組織について ● これからについて 3

Slide 4

Slide 4 text

4 はてなについて

Slide 5

Slide 5 text

はてなについて ● 様々なサービスを運用しています ○ ブログ、ブックマーク、Mackerel、マンガ、カクヨム... ○ https://hatena.co.jp/information/product ● SREの採用枠はPlatformとEmbeddedの2つ 5

Slide 6

Slide 6 text

6 上: Embedded SRE 下: Platform SRE https://speakerdeck.com/masayoshi/developers-summit-2021 -summer?slide=21

Slide 7

Slide 7 text

7 はてなにおける SRE活動の歴史

Slide 8

Slide 8 text

2018年まで ● EC2/オンプレ環境をプロビジョニング ○ アプリケーション・DB ● サーバの構築・運用は全てインフラチームに ○ DevとOpsが別れていた ○ プロダクトの多様化・複雑化により見直すことに 8

Slide 9

Slide 9 text

2018年 ● 職種がSREに変更 ○ 以前はWebオペレーションエンジニア ● 開発チームにSREを配置しはじめる ○ Mackerel、ブックマーク ○ 開発チームで運用をできるようにしていく 9

Slide 10

Slide 10 text

2019年 ● SRE横串のワーキンググループ(サブ会)が発足 ● 多くのサービスがオンプレからAWS(EC2)へ ○ 合わせてOSやミドルウェアのバージョンも更新 ● AWSのマネージドサービスを使い始める ○ 新規サービスはECS/RDSも 10

Slide 11

Slide 11 text

2020年 ● 全社で本格的にSREをやっていく流れに ○ CTOからのメッセージを発信 ○ 各チームのプロデューサー向けに説明会を実施 ● SRE成熟度レベルや障害対応テンプレートの作成 ○ SLI/SLO運用の開始 ● チーム付きSREの採用が活発に ○ 半数以上のチームでSREが配置された 11

Slide 12

Slide 12 text

2021年 ● SREサブ会がSRE標準化委員会へ変更 ○ 構築・運用に便利な社内OSSやドキュメントの作成 ○ 社内の標準技術を作って提供していく ● 既存サービスをECSやRDSに移行し始める ○ ECSの構築・CI/CD用のモジュールを作成 12

Slide 13

Slide 13 text

2022年 ● ブックマーク・ブログなど主要サービスで ECS/RDSへの移行が完了 ● EKSを簡単に構築するためのモジュールを作成 ● 採用枠をEmbedded/Platform SREに変更 ○ 今までの取り組みでうまくいくのがわかってきた 13

Slide 14

Slide 14 text

2023年 ● オンプレから完全撤退完了 ● ECSのリリースフローを標準化し改善 ● AWS Organizationsの利用 ○ 開発チームが安心してクラウドを利用できるように ● ジュニアSREの採用が活発に 14

Slide 15

Slide 15 text

2024年 ● SRE標準化委員会のオーナーがcohalzに ● SRE研修資料の作成 ○ サービス構築 ○ 障害対応研修 ● アウトプットを増やしていく取り組み 15

Slide 16

Slide 16 text

16 採用枠について

Slide 17

Slide 17 text

17 上: Embedded SRE 下: Platform SRE https://speakerdeck.com/masayoshi/developers-summit-2021 -summer?slide=21

Slide 18

Slide 18 text

採用枠について ● Embedded/Platformどちらも職種としてはSRE ○ 評価項目なども同じ ● プロダクトの状況を見て何人開発チームに配属させるかを柔軟に変化させる ○ Embedded/Platform間での異動も行われる 18

Slide 19

Slide 19 text

19 Platform SRE

Slide 20

Slide 20 text

Platform SREについて ● 全社を見るSREチームのこと ○ 以前はいわゆるインフラ・運用チームだった ● プロビジョニングやオペレーションツールも作成 ● 各チームでSREが足りていないところのヘルプ ○ 各開発チームからの問い合わせ対応も 20

Slide 21

Slide 21 text

運用しつつやっていたこと ● オンプレ撤退 ○ 内部ツールのクラウド移行や解約など ● クラウド・SaaSのガバナンス強化 ○ セキュリティインシデントを防ぐ ○ 費用周りの集計や取りまとめも 21

Slide 22

Slide 22 text

Platform Engineeringっぽいことも ● 複数の開発チームが必要とする技術を用意 ● SaaSでは要件が満たせない物を自前で持つ ○ メール、フォワードプロキシ、Terraform基盤など ● 今後は開発者ポータルを作成してトイル削減を目指す 22

Slide 23

Slide 23 text

23 Embedded SRE

Slide 24

Slide 24 text

Embedded SREについて ● 開発チームの一員としてSREを配置する戦略 ○ 各チームに1~3人配置する ● SRE文化の浸透、システムの改善を狙う ○ 開発チームの一員でチームの会議にも参加する ● 2018年頃からMackerel、ブックマークで開始 ○ 最初は異動から始まり、直接の採用は2020年頃から ○ うまく機能したので2022年に枠として新設 24

Slide 25

Slide 25 text

Embedded SREについて ● 現在、夜間休日のオンコールは担当しない ○ 今後どうなるかは未定 ● その人だけが運用するわけではない ○ チーム全体で運用できるよう「プロダクトオーナーシップ」を推進 ○ Platform SREとも協力することも 25

Slide 26

Slide 26 text

プロダクトオーナーシップ ● 開発から運用までをチーム内で完結させることを目指す取り組み ○ ストリームアラインドなチームを目指す ○ チームで信頼性を制御し開発速度を向上させるため ● 2018年頃から各チームで実施 26

Slide 27

Slide 27 text

プロダクトオーナーシップ初期 (2018~2021) ● 障害対応の一次対応をチームで行える、を目指す ○ ペアオペ、ドキュメンテーションの実施 ○ ホストの入れ替え、監視設定などからできる人を増やす ● SREing文化の浸透 ○ SLI/SLOの説明などあるべき姿を説明する 27

Slide 28

Slide 28 text

プロダクトオーナーシップ後期(2021~) ● 開発から運用までの大半をチームで完結させる ○ 障害の一次対応だけではなく全てを行えるように ● コンテナ・マネージド移行を進める ● インフラ予算の予実管理もチームで行う 28

Slide 29

Slide 29 text

この体制によってもたらされたもの ● SREの概念は各チームに浸透した ○ 会話する機会が増えたことによるもの ● チームで技術選定ができるように ○ RIをどのくらい買うかとかもチームで判断 29

Slide 30

Slide 30 text

良かったことだけでもない ● Embedded SRE同士の関わりが薄い ○ 隣の開発チームと似たような技術スタックなのに知見を共有できてない(再発明してしまう) ● 仕事が多くSREの推進は想定より進まなかった ○ Embedded SREが手薄なチームはより顕著 ● 同期を行う仕組みが必要になってきた 30

Slide 31

Slide 31 text

31 SREの横串組織について

Slide 32

Slide 32 text

SREの横串組織 ● 横串のワーキンググループを作れる制度がある ○ SREに関するサブ会は2019年に発足 ○ 他にはフロントエンド会、セキュリティ会など ● SRE関連の技術共有やドキュメンテーション、ガイドラインの作成、ツールの作成など行う ○ 任意参加だが全社のSREの半数程度が参加 ○ 最初はSRE文化の浸透を目指す 32

Slide 33

Slide 33 text

SREingの説明会を実施 ● プロデューサー・ディレクター・テックリード向けにSREingの概念を説明する会を実施 ● テックリードにはSLI/SLO運用やシステムのヒアリングも実施 33

Slide 34

Slide 34 text

https://speakerdeck.com/masayoshi/developers-summi t-2021-summer?slide=13 34

Slide 35

Slide 35 text

サブ会からSRE標準化委員会へ ● 2021年にSREサブ会から名称変更 ● 動くツールをチームに提供していく場に ○ 共有やドキュメンテーションよりもさらに便利な物を提供 ○ 標準として基本は使って欲しいという立ち位置に 35

Slide 36

Slide 36 text

サブ会・委員会での成果物(一部) ● SRE成熟度レベルというチェックリスト ● 障害対応と振り返りのためのドキュメント ● 監視設定周りのガイドライン ● ECS/EKSの環境を構築するためのモジュール ● 障害履歴から分析するツール ● MySQLアップグレードのためのツール 36

Slide 37

Slide 37 text

37 これからについて

Slide 38

Slide 38 text

SRE標準化委員会のこれから ● 採用、育成 ● アウトプット ● 運用の改善 38

Slide 39

Slide 39 text

採用の難しさ ● Embedded SREの採用が難しい ○ 1~3名のチームで仕事する即戦力が求められる ● 最近はまずPlatform SREとして周りと働き、その後Embedded SREチームにという流れに ○ SRE用の研修を受けてもらう 39

Slide 40

Slide 40 text

育成用のSRE研修資料 ● はてな固有の技術やフローを学ぶ ● 構築研修 ○ はてなで使われる技術のサブセットで構築 ○ AWS/GitHub Actions/Terraform/ecspresso/… ● 障害対応研修 ○ 各チームの過去の障害を元に追体験してもらう 40

Slide 41

Slide 41 text

アウトプットを増やす ● 登壇やブログで採用・育成に繋げる ● 今年からSRE連載を開始 ○ https://developer.hatenastaff.com/archive/category/SRE 41

Slide 42

Slide 42 text

運用の改善 ● 構築に関してはモジュールを作成し導入も進んだ ● 監視周りやSLO運用などもっと健全にやっていく ○ カヤックさんがいくつかツールを作っているので検証 ○ 今後は自分たちでも作っていく 42

Slide 43

Slide 43 text

Platform SREに求められていくもの ● 技術力、主にコードを書く能力も上げていく ○ 全てをSaaSでが難しくなってきた(円安...) ○ 運用だけでなくコードを書くことが正解になるように ● クラウドの知識 ○ 主にセキュリティなど ● よりPlatform Engineeringをやっていく 43

Slide 44

Slide 44 text

Embedded SREに求められていくもの ● 開発速度の向上 ○ アプリケーションのコードに手を加える ○ 開発プロセスの改善 ● うまくいった取り組みを輸出していく ○ チーム外だけでなく社外にも 44

Slide 45

Slide 45 text

まとめ ● SREのやることは日々変化しています ○ レガシーからの撤退も進みようやくスタートラインに ● SRE文化は社内に浸透したと言って良い ○ SLI/SLOといった用語は非エンジニアにも通じるように ● 今後はより技術を持って改善していくのでは 45

Slide 46

Slide 46 text

参考になる資料 ● はてなの技術組織2021 ○ CTOからのメッセージ ● Mackerel開発チームのリードSREが考える働き方と組織作り ○ SLO運用についてや歴史など 46

Slide 47

Slide 47 text

インターンやります！ ● はてなインターン2024 で検索 ● Platform SREのチームも募集あり ● 応募締め切りは2024年 6月10日（月）12:00 47