Upgrade to Pro — share decks privately, control downloads, hide ads and more …

EOLを迎えたベースイメージで動く属人化したNginxプロキシを無停止移行した話

Avatar for すみや すみや
August 07, 2025
1
2.4k

 EOLを迎えたベースイメージで動く属人化したNginxプロキシを無停止移行した話

2025/08/08(金)開催の
「ゆるSRE勉強会 #12 SRE乗り越え体験まつり 〜聞いてくれ俺の武勇伝〜」
にて15分枠で発表した内容になります。

Avatar for すみや

すみや

August 07, 2025
Tweet

More Decks by すみや

See All by すみや
Renovateを活用した手離れの良いCDKプロジェクトの作り方
Avatar for すみや sumiyae
2
150
VIM × AIエージェントで始める記録の好循環
Avatar for すみや sumiyae
3
1.2k
EC2からECSへ 念願のコンテナ移行と巨大レガシーPHPアプリケーションの再構築
Avatar for すみや sumiyae
5
1.2k
遅延読み込みの歩みから理解するSeekable OCI
Avatar for すみや sumiyae
2
370
CDKとLambda Aliasで実現する、SQS+Lambdaの、安全なリリース手法
Avatar for すみや sumiyae
1
150

Featured

See All Featured
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
53
7.8k
Navigating Team Friction
Avatar for Lara Hogan lara
189
15k
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
4k
Stop Working from a Prison Cell
Avatar for Chris Michel hatefulcrawdad
271
21k
No one is an island. Learnings from fostering a developers community.
Avatar for Antonio thoeni
21
3.5k
Art, The Web, and Tiny UX
Avatar for Lynn Fisher lynnandtonic
303
21k
Why Our Code Smells
Avatar for Brandon Keepers bkeepers
PRO
339
57k
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
12
1.1k
Why You Should Never Use an ORM
Avatar for John Nunemaker jnunemaker
PRO
59
9.5k
Into the Great Unknown - MozCon
Avatar for Noah Learner thekraken
40
2k
Side Projects
Avatar for Sacha Greif sachag
455
43k
The MySQL Ecosystem @ GitHub 2015
Avatar for Sam Lambert samlambert
251
13k

Transcript

  1. EOLを迎え属人化したNginxプロキシを 無停止移行した話 2025年08月08日 江口 純矢 ゆるSRE勉強会 #12 SRE乗り越え体験まつり 〜聞いてくれ俺の武勇伝〜

  2. 2 経歴 2021年、コドモンにエンジニアとして新卒で入社 アプリケーションエンジニアを経て、現在はSREとして働いています 最近ハマっていること 豚バラブロックを塩漬け&乾燥して作る自家製パンチェッタ 自己紹介 江口 純矢 えぐち

    すみや X:@egusumi1219
  3. None

  4. すべての先生に 子どもと向き合う 時間と心のゆとりを こんなプロダクトを開発しています メインプロダクトは、こども施設職員の業務を支援するWebアプリケーション。 保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版 アプリケーション、外部サービスと連携するAPIなども開発しています。 4

  5. 5

  6. 6 3 今日話すこと EOLを迎えたOSで動くNginxプロキシ ブラックボックス化した構成の解明 前提を疑いシンプルな構成へ ALBの加重設定で安全に無停止移行を実現 1 2 4

  7. 7 3 2 4 EOLを迎えたOSで動くNginxプロキシ ブラックボックス化した構成の解明 前提を疑いシンプルな構成へ ALBの加重設定で安全に無停止移行を実現 1 今日話すこと

  8. 8 CONFIDENTIAL - © 2022 CoDMON Inc. 8 当時のプロキシサーバーの現状 　

    EOLを迎えたOSで動くNginxプロキシ 閉域網経由の全リクエストを各サービスへプロキシする重要な役割 プロキシ Service1 Service2 Service3

  9. 9 CONFIDENTIAL - © 2022 CoDMON Inc. 9 当時のプロキシサーバーの現状 　

    EOLを迎えたOSで動くNginxプロキシ 閉域網経由の全リクエストを各サービスへプロキシする重要な役割 プロキシ Service1 Service2 Service3 EOLを迎えた OSを使用

  10. 10 CONFIDENTIAL - © 2022 CoDMON Inc. 10 当時のプロキシサーバーの現状 　

    EOLを迎えたOSで動くNginxプロキシ メンテナンス作業が 退職予定のエンジニア に属人化 プロキシ デプロイ方法 処理内容 関係者/連携先

  11. 11 CONFIDENTIAL - © 2022 CoDMON Inc. 11 不明確な構成 EOLを迎えたOSで動くNginxプロキシ

    プロキシ 他のメンバーはほとんど何もわからない

  12. 12 CONFIDENTIAL - © 2022 CoDMON Inc. 12 不明確な構成 EOLを迎えたOSで動くNginxプロキシ

    プロキシ Nginxで動いている らしい 他のメンバーはほとんど何もわからない

  13. 13 CONFIDENTIAL - © 2022 CoDMON Inc. 13 簡単に調査を進めると、、、 EOLを迎えたOSで動くNginxプロキシ

    プロキシ プロキシのイメージ

  14. 14 CONFIDENTIAL - © 2022 CoDMON Inc. 14 簡単に調査を進めると、、、 EOLを迎えたOSで動くNginxプロキシ

    FROM: EOLを迎えた OS

  15. 15 CONFIDENTIAL - © 2022 CoDMON Inc. 15 FROM: EOLを迎えた

    OS 諸々の設定を適用 簡単に調査を進めると、、、 EOLを迎えたOSで動くNginxプロキシ

  16. 16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 FROM: EOLを迎えた

    OS 諸々の設定を適用 簡単に調査を進めると、、、 EOLを迎えたOSで動くNginxプロキシ コンテナ一つなのに なぜイメージが二つ？

  17. 17 CONFIDENTIAL - © 2022 CoDMON Inc. 17 FROM: EOLを迎えた

    OS 諸々の設定を適用 簡単に調査を進めると、、、 EOLを迎えたOSで動くNginxプロキシ コンテナ一つなのに なぜイメージが二つ？ てか Nginxのイメージないけど？

  18. 18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 FROM: EOLを迎えた

    OS 諸々の設定を適用 簡単に調査を進めると、、、 EOLを迎えたOSで動くNginxプロキシ コンテナ一つなのに なぜイメージが二つ？ てか Nginxのイメージないけど？ 小手先の調査では謎が深まるばかり ...

  19. 19 3 1 4 今日話すこと EOLを迎えたOSで動くNginxプロキシ ブラックボックス化した構成の解明 前提を疑いシンプルな構成へ ALBの加重設定で安全に無停止移行を実現 2

  20. 20 CONFIDENTIAL - © 2022 CoDMON Inc. 20 構成解明のためのSREチームの取り組み ブラックボックス化した構成の解明

  21. 21 CONFIDENTIAL - © 2022 CoDMON Inc. 21 構成解明のためのSREチームの取り組み ブラックボックス化した構成の解明

    1.プロキシ周りを SREメンバー各々で調べ構成図としてアウトプット 2.メンバー内で理解を深めた後メンテナンス担当のエンジニアにヒアリング

  22. 22 CONFIDENTIAL - © 2022 CoDMON Inc. 22 構成解明のためのSREチームの取り組み ブラックボックス化した構成の解明

    1.プロキシ周りを SREメンバー各々で調べ構成図としてアウトプット 2.メンバー内で理解を深めた後メンテナンス担当のエンジニアにヒアリング

  23. 23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 構成図作成による理解の過程 ブラックボックス化した構成の解明

  24. 24 CONFIDENTIAL - © 2022 CoDMON Inc. 24 構成図作成による理解の過程 ブラックボックス化した構成の解明

    各々で調べ 構成図としてアウトプット

  25. 25 CONFIDENTIAL - © 2022 CoDMON Inc. 25 構成図作成による理解の過程 ブラックボックス化した構成の解明

    メンバーそれぞれで 理解した内容を構成図を元に説明 各々で調べ 構成図としてアウトプット

  26. 26 CONFIDENTIAL - © 2022 CoDMON Inc. 26 構成解明のためのSREチームの取り組み ブラックボックス化した構成の解明

    1.プロキシ周りを SREメンバー各々で調べ構成図としてアウトプット 2.SRE内で理解を深めた後メンテナンスを担当してたエンジニアにヒアリング

  27. 27 CONFIDENTIAL - © 2022 CoDMON Inc. 27 メンテナンスを担当してたエンジニアにヒアリング ブラックボックス化した構成の解明

    一連の過程で解消しなかった疑問を ドキュメントに集約 疑問を集約したドキュメントを元に 丸一日かけてヒアリング

  28. 28 CONFIDENTIAL - © 2022 CoDMON Inc. 28 判明した不可解な構成の正体 ブラックボックス化した構成の解明

    コンテナ1つなのにイメージが2つ？ Nginxのイメージないけど？

  29. 29 CONFIDENTIAL - © 2022 CoDMON Inc. 29 判明した不可解な構成の正体 ブラックボックス化した構成の解明

    コンテナ1つなのにイメージが2つ？ Nginxのイメージないけど？ Nginxをソースコードからビルド ※ビルドツールの OSSもEOL ビルドされた Nginxに 諸々の設定を適用

  30. 30 CONFIDENTIAL - © 2022 CoDMON Inc. 30 コンテナ1つなのにイメージが2つ？ Nginxのイメージないけど？

    ビルドされた Nginxに 諸々の設定を適用 判明した不可解な構成の正体 ブラックボックス化した構成の解明 Nginxをソースコードからビルド ※ビルドツールの OSSもEOL

  31. 31 CONFIDENTIAL - © 2022 CoDMON Inc. 31 Nginxをなぜソースコードからビルドしている？ ブラックボックス化した構成の解明

    A.「ngx_http_sub_module」モジュールが必要だから

  32. 32 CONFIDENTIAL - © 2022 CoDMON Inc. 32 Nginxをなぜソースコードからビルドしている？ ブラックボックス化した構成の解明

    A.「ngx_http_sub_module」モジュールが必要だから 公式ドキュメントの記述より、ソースコードからビルド 引用：「 Nginx公式ドキュメント > Module ngx_http_sub_module」 https://Nginx.org/en/docs/http/ngx_http_sub_module.html

  33. 33 1 2 4 今日話すこと EOLを迎えたOSで動くNginxプロキシ ブラックボックス化した構成の解明 前提を疑いシンプルな構成へ ALBの加重設定で安全に無停止移行を実現 3

  34. 34 CONFIDENTIAL - © 2022 CoDMON Inc. 34 本当にソースコードからのビルドが必要なのか？ 前提を疑いシンプルな構成へ

  35. 35 CONFIDENTIAL - © 2022 CoDMON Inc. 35 本当にソースコードからのビルドが必要なのか？ 前提を疑いシンプルな構成へ

    「デフォルトはビルドされない」 ≠「公式イメージに含まれない」では？

  36. 36 CONFIDENTIAL - © 2022 CoDMON Inc. 36 本当にソースコードからのビルドが必要なのか？ 前提を疑いシンプルな構成へ

    「デフォルトはビルドされない」 ≠「公式イメージに含まれない」では？ Nginx公式イメージに含まれるているのでは？

  37. 37 CONFIDENTIAL - © 2022 CoDMON Inc. 37 本当にソースコードからのビルドが必要なのか？ 前提を疑いシンプルな構成へ

    Nginx公式イメージで使用される pkgを調査すると ...

  38. 38 CONFIDENTIAL - © 2022 CoDMON Inc. 38 本当にソースコードからのビルドが必要なのか？ 前提を疑いシンプルな構成へ

    Nginx公式イメージで使用される pkgを調査すると ... 該当のモジュールが 含まれていることが判明

  39. 39 CONFIDENTIAL - © 2022 CoDMON Inc. 39 詳細な比較検討 前提を疑いシンプルな構成へ

    「ngx_http_sub_module」以外の差分比較 →Nginx公式イメージ と現行Nginx のモジュールを一つずつ比較 各モジュールや設定 差分は 赤塗り

  40. 40 CONFIDENTIAL - © 2022 CoDMON Inc. 40 詳細な比較検討 前提を疑いシンプルな構成へ

    「ngx_http_sub_module」以外の差分比較 →Nginx公式イメージ と現行Nginx のモジュールを一つずつ比較 各モジュールや設定 差分は 赤塗り 差分はあれど動作確認を経て いずれも不要と判断

  41. 41 CONFIDENTIAL - © 2022 CoDMON Inc. 41 詳細な比較検討 前提を疑いシンプルな構成へ

    「ngx_http_sub_module」以外の差分比較 →Nginx公式イメージ と現行Nginx のモジュールを一つずつ比較 各モジュールや設定 差分は 赤塗り 差分はあれど動作確認を経て いずれも不要と判断 Nginx公式イメージが使える！

  42. 42 CONFIDENTIAL - © 2022 CoDMON Inc. 42 シンプルな構成へ 前提を疑いシンプルな構成へ

    FROM: EOLを迎えたOS Nginxをソースコードからビルド ※ビルドツールの OSSもEOL ビルドされたNginxに 諸々の設定を適用

  43. 43 CONFIDENTIAL - © 2022 CoDMON Inc. 43 シンプルな構成へ 前提を疑いシンプルな構成へ

    FROM: EOLを迎えたOS Nginxをソースコードからビルド ※ビルドツールの OSSもEOL ビルドされたNginxに 諸々の設定を適用

  44. 44 CONFIDENTIAL - © 2022 CoDMON Inc. 44 シンプルな構成へ 前提を疑いシンプルな構成へ

    FROM: EOLを迎えたOS Nginxをソースコードからビルド ※ビルドツールの OSSもEOL ビルドされたNginxに 諸々の設定を適用 DebianベースのNginx公式イメージに Nginxの設定を適用 ARM製に変更することで gravitonを使用しコストを削減 イメージサイズが 175MB→61MBにまで縮小 ecspressoによるデプロイに変更

  45. 45 CONFIDENTIAL - © 2022 CoDMON Inc. 45 シンプルな構成へ 前提を疑いシンプルな構成へ

    FROM: EOLを迎えたOS Nginxをソースコードからビルド ※ビルドツールの OSSもEOL ビルドされたNginxに 諸々の設定を適用 DebianベースのNginx公式イメージに Nginxの設定を適用 ARM製に変更することで gravitonを使用しコストを削減 イメージサイズが 175MB→61MBにまで縮小 ecspressoによるデプロイに変更

  46. 46 3 1 2 今日話すこと EOLを迎えたOSで動くNginxプロキシ ブラックボックス化した構成の解明 前提を疑いシンプルな構成へ ALBの加重設定で安全に無停止移行を実現 4

  47. 47 CONFIDENTIAL - © 2022 CoDMON Inc. 47 移行戦略 ALBの加重設定で安全に無停止移行を実現

    1. Datadogで新旧比較ダッシュボードを作成 2. ALB Target Groupの加重設定を活用し段階的に切り替え

  48. 48 CONFIDENTIAL - © 2022 CoDMON Inc. 48 移行戦略 ALBの加重設定で安全に無停止移行を実現

    1. Datadogで新旧比較ダッシュボードを作成 2. ALB Target Groupの加重設定を活用し段階的に切り替え 移行前と移行後を色分け

  49. 49 CONFIDENTIAL - © 2022 CoDMON Inc. 49 移行戦略 ALBの加重設定で安全に無停止移行を実現

    1. Datadogで新旧比較ダッシュボードを作成 2. ALB Target Groupの加重設定を活用し段階的に切り替え 旧プロキシ 新プロキシ トラフィックを徐々に新しい方へ

  50. 50 CONFIDENTIAL - © 2022 CoDMON Inc. 50 移行戦略 ALBの加重設定で安全に無停止移行を実現

    1. Datadogで新旧比較ダッシュボードを作成 2. ALB Target Groupの加重設定を活用し段階的に切り替え 旧プロキシ 新プロキシ トラフィックを徐々に新しい方へ

  51. 51 CONFIDENTIAL - © 2022 CoDMON Inc. 51 移行戦略 ALBの加重設定で安全に無停止移行を実現

    1. Datadogで新旧比較ダッシュボードを作成 2. ALB Target Groupの加重設定を活用し段階的に切り替え 旧プロキシ 新プロキシ トラフィックを徐々に新しい方へ

  52. 52 CONFIDENTIAL - © 2022 CoDMON Inc. 52 移行戦略 ALBの加重設定で安全に無停止移行を実現

    1. Datadogで新旧比較ダッシュボードを作成 2. ALB Target Groupの加重設定を活用し段階的に切り替え 旧プロキシ 新プロキシ トラフィックを徐々に新しい方へ

  53. 53 CONFIDENTIAL - © 2022 CoDMON Inc. 53 移行戦略 ALBの加重設定で安全に無停止移行を実現

    1. Datadogで新旧比較ダッシュボードを作成 2. ALB Target Groupの加重設定を活用し段階的に切り替え 旧プロキシ 新プロキシ トラフィックを徐々に新しい方へ

  54. 54 実際の移行作業

  55. 55 と行きたいところですが

  56. 56 時間がないので割愛

  57. 57 移行作業は特に問題なく無事完了

  58. 58 まとめ

  59. 59 CONFIDENTIAL - © 2022 CoDMON Inc. 59 武勇伝のポイントまとめ •

    属人化した複雑な構成を解明 ◦ • 「本当に必要か？」を疑い続ける ◦ • 安全な移行 ◦

  60. 60 CONFIDENTIAL - © 2022 CoDMON Inc. 60 武勇伝のポイントまとめ •

    属人化した複雑な構成を解明 ◦ チーム一丸となって不明確な構成を明確化したぜ！！ • 「本当に必要か？」を疑い続ける ◦ 前提を疑い、泥臭い検証でシンプルな構成を実現したぜ！！ • 安全な移行 ◦ 十分な監視と段階的移行で無停止移行を達成したぜ！！

  61. 61 CONFIDENTIAL - © 2022 CoDMON Inc. 61 武勇伝のポイントまとめ •

    属人化した複雑な構成を解明 ◦ チーム一丸となって不明確な構成を明確化したぜ！！ • 「本当に必要か？」を疑い続ける ◦ 前提を疑い、泥臭い検証でシンプルな構成を実現したぜ！！ • 安全な移行 ◦ 十分な監視と段階的移行で無停止移行を達成したぜ！！

  62. 62 最後に

  63. 63 開発ブログ コドモンでは一緒に働きたい仲間を募集しています！ お寿司パーティ

  64. 64 ご清聴ありがとうございました！

  65. None