少人数SREチームが、長寿なシステムを構築・運用するための取り組み / Efforts by a Small SRE Team to Build and Operate Long-Lived Systems

by コドモン開発チーム

Embed

Start on current slide

Slide 1

Slide 1 text

少人数SREチームが長寿なシステムを構築・運用するための取り組み 2026年4月23日株式会社コドモン小西達大 [コドモン x MIXI] 積み重なった課題とどう向き合うか — 長期運用のSREの実践

Slide 2

Slide 2 text

2 経歴前職でアプリケーションエンジニアとして従事後、株式会社コドモンのSREチームにジョイン。大阪在住。自己紹介小西達大こにしたつひろ

Slide 3

Slide 3 text

3 目次 1. はじめに：少人数SREチームが、長寿なシステムを構築・運用するためのポイント 2. 事例1：自治体ネットワーク向け閉域網システムの取り組み 3. 事例2：共有バッチ基盤の取り組み 4. 結び：本日のまとめと今後の展望

Slide 4

Slide 4 text

4 目次 1. はじめに：少人数SREチームが、長寿なシステムを構築・運用するためのポイント 2. 事例1：自治体ネットワーク向け閉域網システムの取り組み 3. 事例2：共有バッチ基盤の取り組み 4. 結び：本日のまとめと今後の展望

Slide 5

Slide 5 text

5 CONFIDENTIAL - © 2022 CoDMON Inc. 5 SREチームの体制と役割 ● メンバー3人 + マネージャー1人の4人体制 ● 一方、数多くの基盤システムを主担当として運用 ○ ビジネス的に重要なシステム群 ❏ 自治体ネットワーク向け閉域網システム ❏ 共有バッチ基盤 ❏ 内部通信基盤 ❏ Push通知・メール送信基盤 ❏ terraform実行基盤 ❏ テスト環境構築のためのKubernetesクラスタ ❏ データベース運用基盤 ❏ … etc

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

9 CONFIDENTIAL - © 2022 CoDMON Inc. 9 重要システムを「少人数で」「長期間」運用するために属人性をなくす・メンバーが入れ替わってもシステムを維持する必要がある変更を容易にする・長く運用するほど、ビジネス要求や外部環境の変化 / 依存ライブラリのEOL対応など変更機会が増え続ける。・変更のたびにコストがかかる構成では持続しない手離れを良くする・少人数チームのため、1システムあたりの運用時間を最小化しないと手が回らない

Slide 10

Slide 10 text

10 CONFIDENTIAL - © 2022 CoDMON Inc. 10 重要システムを「少人数で」「長期間」運用するために属人性をなくす・メンバーが入れ替わってもシステムを維持する必要がある変更を容易にする・長く運用するほど、ビジネス要求や外部環境の変化 / 依存ライブラリのEOL対応など変更機会が増え続ける。・変更のたびにコストがかかる構成では持続しない手離れを良くする・少人数チームのため、1システムあたりの運用時間を最小化しないと手が回らない → 事例1 → 事例2 → 事例2

Slide 11

Slide 11 text

11 目次 1. はじめに：少人数SREチームが、長寿なシステムを構築・運用するためのポイント 2. 事例1：自治体ネットワーク向け閉域網システムの取り組み 3. 事例2：共有バッチ基盤の取り組み 4. 結び：本日のまとめと今後の展望

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 取り組み：メンバー主体のナレッジ展開各SREメンバーがそれぞれ閉域網システムの構成情報等を調査し、構成図としてアウトプット作成した構成図について、各SREメンバーが自分の言葉で説明。主担当エンジニアがFBし、認識の誤りがあれば訂正不明点やシステム改善点を主担当エンジニア含め話し合う会を実施。 1 調査 & 構成図作成 2 説明会の実施 3 改善点の議論

Slide 17

Slide 17 text

17 CONFIDENTIAL - © 2022 CoDMON Inc. 17 ポイント：SREメンバー主体で実施 ● 主担当エンジニアでなく、SREメンバー主体となって実施した理由 ○ 自ら調べ、言語化することで、時間はかかるが主体的な学びになる ○ 初歩的な点から理解し、端折らず説明するため、参加した他メンバーにも理解が広がる ○ 複数人が各々インプット / アウトプットを行うことで、複数人の視点を介し、構成の解像度が上がる

Slide 18

Slide 18 text

18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 実施成果 ● 複数のメンバーでの運用が可能になり、属人化状態を解消 ● システムの解像度が上がったことで改善活動にも着手 ○ 不要リソース削除による構成のスリム化 ○ 監視最適化（メトリクス / ロギング / APMトレーシング）によるオブザーバビリティの向上 ● 属人性解消プロセス（構成図作成 → 説明 → 課題発見）は、他PJ・システムにも横展開している

Slide 19

Slide 19 text

19 目次 1. はじめに：少人数SREチームが、長寿なシステムを構築・運用するためのポイント 2. 事例1：自治体ネットワーク向け閉域網システムの取り組み 3. 事例2：共有バッチ基盤の取り組み 4. 結び：本日のまとめと今後の展望

Slide 20

Slide 20 text

Slide 21

Slide 21 text

21 CONFIDENTIAL - © 2022 CoDMON Inc. 21 共有バッチ基盤が抱えていた課題 ● 認知負荷が高い ○ この基盤のみEC2で稼働（他システムはECS） ○ 開発者 / SRE 双方にとって、認知負荷が高い状態 ● 変更が困難 ○ ゴールデンイメージ化をしておらず、稼働中サーバーへの直接変更必要 ○ 構成変更にリスクと心理的障壁あり ● 手離れが悪い ○ 上記2点によって、変更作業やトラブルシューティングがSREチームに依存し、手離れが悪い状態

Slide 22

Slide 22 text

22 CONFIDENTIAL - © 2022 CoDMON Inc. 22 共有バッチ基盤が抱えていた課題 ● 認知負荷が高い ○ この基盤のみEC2で稼働（他システムはECS） ○ 開発者 / SRE 双方にとって、認知負荷が高い状態 ● 変更が困難 ○ ゴールデンイメージ化をしておらず、稼働中サーバーへの直接変更必要 ○ 構成変更にリスクと心理的障壁あり ● 手離れが悪い ○ 上記2点によって、変更作業やトラブルシューティングがSREチームに依存し、手離れが悪い状態根本課題：永続稼働前提のEC2で動いていること

Slide 23

Slide 23 text

23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 取り組み：ECSベースのコンテナ基盤へリプレイス Before EC2ベース永続稼働サーバー上でバッチ処理を実行 After ECSベース（コンテナ）他システム群と同じ標準化された実行基盤 ● 他システムと同様の構成にすることで、開発者 / SRE 双方の認知負荷を軽減 ● コンテナベースのアーキテクチャへ移行し、変更容易性を向上

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

26 目次 1. はじめに：少人数SREチームが、長寿なシステムを構築・運用するためのポイント 2. 事例1：自治体ネットワーク向け閉域網システムの取り組み 3. 事例2：共有バッチ基盤の取り組み 4. 結び：本日のまとめと今後の展望

Slide 27

Slide 27 text

Slide 28

Slide 28 text

28 CONFIDENTIAL - © 2022 CoDMON Inc. 28 今後の展望：AIの発展による実現手段の変化観点従来今後属人化をなくす暗黙知をなくす AIが理解できる形での明文化・ドキュメント化変更を容易にする人間が変更容易な設計 AIが安全に変更できるガードレール整備手離れを良くする自動化開発チームへの作業移譲推進 AIへの作業移譲を推進これらの観点は今後も重要だが、AIの発展により実現手段や優先度は変わっていくことが予想される

Slide 29

Slide 29 text

29 CONFIDENTIAL - © 2022 CoDMON Inc. 29 今後の展望：AIの発展による実現手段の変化観点従来今後属人化をなくす暗黙知をなくす AIが理解できる形での明文化・ドキュメント化変更を容易にする人間が変更容易な設計 AIが安全に変更できるガードレール整備手離れを良くする自動化開発チームへの作業移譲推進 AIへの作業移譲を推進これらの観点は今後も重要だが、AIの発展により実現手段は変わっていく「AIに何ができるか」を継続的にウォッチし、実現手段 / 優先度を更新していくことが重要

Slide 30

Slide 30 text

No content