SREチームの立ち上げから1年の取り組みとこれからの課題

by Tech Leverages

Slide 1

Slide 1 text

SREチームの立ち上げから1年の取り組みとこれからの課題レバレジーズ株式会社システム本部 / レバテック開発部 / レバテックSRE 金澤伸行

Slide 2

Slide 2 text

|　© 2024 Levtech Co., Ltd. 2 システム本部 / レバテック開発部 / レバテックSRE 金澤伸行 NOBUYUKI KANAZAWA 社内での経歴 ● 2022年9月　　入社 ● 2022年9月〜　社内業務システム開発 ● 2023年3月〜　EmbeddedSREと兼任開始 ● 2024年9月〜　レバテックSREチーム発足海外サッカーとピザが好きです最近サイクリングにハマりました実は初の外部登壇で緊張しています

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

SREチーム立ち上げ前のお話・・・

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

EmbeddedSRE

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

|　© 2024 Levtech Co., Ltd. 22 Embedded SREとしての活動 EmbeddedSRE ● 育成観点 ○ 読書課題 ■ 社内勉強会として内容を共有する時間を設ける ○ 現在稼働しているサービスのインフラ構成を再現する ● 業務観点（3ヶ月1セット） ○ 課題として挙げられているタスクの対応（1ヶ月） ■ IaC化および推進 ● Ansible ● Terraform ■ CICDの構築 ■ モニタリング体制の整備 ○ 各チームに戻り運用課題を抽出して解決する（2ヶ月） ■ 所属チームへの共有も行う

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

レバテック開発部SREチーム発足

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

|　© 2024 Levtech Co., Ltd. 34 レバテック開発部が抱えていた課題レバテック開発部SREチーム発足 ● 障害対応 ○ 暗黙知が多くベテランに依存 ○ 関係者への周知の遅れ ○ 手作業によるミスが原因で障害になることも ○ インフラメトリクスやエラーログによる検知でノイズが多い ○ ユーザー影響を十分に検知できていない ● インフラの自走運用 ○ チームだけで運用完結できる状態ではない

Slide 35

Slide 35 text

|　© 2024 Levtech Co., Ltd. 35 課題に対しての取り組みレバテック開発部SREチーム発足 ● インフラ管理 ○ IaCとしてのTerraformへの共通化 ○ ペアプロ/モブプロ/レビューによるイネイブリング ● インシデント対応の整備 ○ 障害報告のワークフロー化 ■ 役割分担や何をするべきなのかを明確にする意図 ● ポストモーテムの布教 ○ 障害発生時のポストモーテムの雛形作成 ○ 各チームのポストモーテムに参加

Slide 36

Slide 36 text

Slide 37

Slide 37 text

1年間の成果

Slide 38

Slide 38 text

|　© 2024 Levtech Co., Ltd. 38 課題に対しての成果レバテック開発部SREチーム発足 ● インフラ管理 ○ 既存リソースに関しては各チームで運用できる状態に ○ つきっきりではなく必要な場合に相談を受ける形で運用 ● インシデント対応の整備 ○ 開発部全体で障害の発生を把握できる状態 ○ 緊急時にはチームをまたいだ連携が取れる ○ マーケティングや営業などとのコミュニケーション漏れなく取れるように ● ポストモーテムの布教 ○ 障害から学ぶを文化にすることができた ○ ドキュメントを残すことで開発部全体で学びに

Slide 39

Slide 39 text

|　© 2024 Levtech Co., Ltd. 39 課題に対しての成果レバテック開発部SREチーム発足 ● オブザーバビリティの導入 ○ Newrelicへの移行完了 ○ 各チームで独立して活用できる状態になっている ○ 監視では把握しきれなかったユーザー影響の検知 ○ ログに頼っていた障害対応からの脱却 ○ メトリクス確認会の実施による問題の事前検知 ● SLMの導入 ○ 開発チームと協力して流入経路に対するSLI/SLOを設定 ○ Newrelicを活用して8月から運用を開始 ○ 今後SLOを活用しながら事業部と開発部の意思決定に活用し、適用範囲も広げていく想定

Slide 40

Slide 40 text

これからの課題

Slide 41

Slide 41 text

|　© 2024 Levtech Co., Ltd. 41 改善は進んだけど・・・これからの課題 ● マクロで物事を進めるとミクロの問題が気になってくる、SREチームとしての関わり方の距離感を考えている ○ 特定のチームだけオブザーバビリティの活用が進んでいない ○ 特定のチームだけ障害多い ○ これらの解消のためにSREチームとしてどのように関わるべきか ■ 長期的にはサポートはしながらチームで運用できることが望ましい ■ 一方で現状うまく行っておらず時間がかかっている ■ この状態のままであることがリスクな場合も多い