Upgrade to Pro — share decks privately, control downloads, hide ads and more …

一筋縄ではいかない、、オンプレミスとクラウド間の接続

Avatar for 奈良貴充 奈良貴充
October 08, 2025
36

 一筋縄ではいかない、、オンプレミスとクラウド間の接続

■概要
オンプレミス環境とAWSクラウド環境(複数環境、Direct Connect、Transit Gateway、マルチクラウド接続など)を接続する際に発生した疎通トラブルの原因分析と、解決に至るまでのプロセス・学びを共有する技術事例

Avatar for 奈良貴充

奈良貴充

October 08, 2025
Tweet

Transcript

  1. I N D E X ©TOPPAN Digital Inc. 2 1.

    本日の内容 2. 要件と構築した環境 3. 躓きと解消に向けたアプローチ 4. まとめ
  2. 3 ©TOPPAN Digital Inc. 自己紹介 奈良 貴充(なら たかみつ) ◼ 所属:

    TOPPANデジタル株式会社 / ICT開発センター ◼ 役割: Webアプリケーション開発 / クラウド環境構築など ◼ 資格: 2025 Japan AWS Top Engineers AWS認定資格全冠 ◼ 好きなサービス: やっぱりEC2 ◼ 趣味: 子供とあそぶこと / アニメ(特にガンダム) 奈良 貴充
  3. 5 ©TOPPAN Digital Inc. 本日の内容 ▪本日話すこと • 要件と構築した環境 • 躓きと解消に向けたアプローチ

    ▪本日話さないこと • プロダクト、アプリケーション関連(その他機密情報) • ネットワーク設定内容
  4. 7 ©TOPPAN Digital Inc. 要件概要 1. 既存の業務システムの刷新 2. ユーザーが利用する環境、システム連携の環境を分ける必要がある 3.

    複数システムとの連携する必要がある 3-1. 連携先はオンプレミス環境とクラウド環境 3-2. ファイル転送(sftp接続など)、バッチ処理など連携が必要 4. 連携先の影響抑えるために既存の構成を踏襲する必要がある 5. 本番、検証、開発環境を準備する必要がある 刷新対象 既存の業務システム 連携先システム群
  5. 8 ©TOPPAN Digital Inc. 構築した環境(全体像) prod stg Corporate data center

    (オンプレミス環境) システムA システムD システムB システムE システムC システムF Direct Connect location Customer Router Direct Connect Router Direct Connect Gateway HULFT VPC Private subnet MAIN VPC Private subnet Public subnet HULFT VPC Private subnet Transit Gateway Transit Gateway Transit Gateway users システムX システムY システムZ ・・・ PrivateLink Transit VIF 連携先システム群 ※実際の構成から一部割愛しています。
  6. 9 ©TOPPAN Digital Inc. 構築した環境(要件マッピング※赤字&赤枠箇所) prod stg Corporate data center

    (オンプレミス環境) システムA システムD システムB システムE システムC システムF Direct Connect location Customer Router Direct Connect Router Direct Connect Gateway HULFT VPC Private subnet MAIN VPC Private subnet Public subnet HULFT VPC Private subnet Transit Gateway Transit Gateway Transit Gateway users システムX システムY PrivateLink 要件1、4 要件3 要件2 システムZ ・・・ 要件5 • 拠点接続用にマルチクラウド接続 サービス(AWS外)を準備 • オンプレミス環境(DX経由)・メイン VPCとHULFT用VPC間とのルーティン グはそれぞれTGWを使用 Transit VIF • stg環境のTGWにprod環境の TGWルートテーブルを関連付 けて伝番 連携先システム群 • SFTP(PrivateLink経由)でTransfer Family SFTPに接続 ※実際の構成から一部割愛しています。
  7. 11 ©TOPPAN Digital Inc. 疎通確認①、②、③ prod stg Corporate data center

    (オンプレミス環境) システムA システムD システムB システムE システムC システムF Direct Connect location Customer Router Direct Connect Router Direct Connect Gateway HULFT VPC Private subnet MAIN VPC Private subnet Public subnet HULFT VPC Private subnet Transit Gateway Transit Gateway Transit Gateway users システムX システムY システムZ ・・・ PrivateLink Transit VIF 連携先システム群 いざ疎通確認! 疎通確認② 疎通確認① 疎通確認③ • HULFTサーバーから連携先 システムへ疎通確認 • 連携先システムから疎通確 認 • 他環境からも同様に連携先 システムへ疎通確認 ※実際の構成から一部割愛しています。
  8. 12 ©TOPPAN Digital Inc. 躓き…① 連携先システムとの疎通がNG prod stg Corporate data

    center (オンプレミス環境) システムA システムD システムB システムE システムC システムF Direct Connect location Customer Router Direct Connect Router Direct Connect Gateway HULFT VPC Private subnet MAIN VPC Private subnet Public subnet HULFT VPC Private subnet Transit Gateway Transit Gateway Transit Gateway users システムX システムY システムZ ・・・ PrivateLink Transit VIF 連携先システム群 疎通確認① 疎通NG… 疎通確認③ 疎通確認② ※実際の構成から一部割愛しています。
  9. 13 ©TOPPAN Digital Inc. 解消に向けたアプローチ(原因と対処 ①) 1. 疎通経路の段階的トレースを実施 • DXGWまでは通過を確認、連携先システムから応答パケットが戻ってこないことを特定

    (FlowLogにTGW ingressの応答トラフィックが記録されていない) • 連携先システムが非対称ルーティングになっていたこと確認 2. 連携先システムのネットワークの設定修正 • FW/ACL/ポート設定を確認し、連携先システムの設定を修正 3. IPアドレスなど接続情報の再確認と見直し • SGで意図しない通信遮断がないか再確認し、設定を修正 • ルートテーブルを修正(上限値に達したため、ルートテーブル上限緩和を申請) • DXGW側の伝播ルート設定(広報(propagation)、関連付け(association))を修正
  10. 14 ©TOPPAN Digital Inc. 躓き…② stg環境から疎通がすべてNG prod stg Corporate data

    center (オンプレミス環境) システムA システムD システムB システムE システムC システムF Direct Connect location Customer Router Direct Connect Router Direct Connect Gateway HULFT VPC Private subnet MAIN VPC Private subnet Public subnet HULFT VPC Private subnet Transit Gateway Transit Gateway Transit Gateway users システムX システムY システムZ ・・・ PrivateLink Transit VIF 連携先システム群 疎通確認① stg環境から疎通NG解消せず… 疎通確認③ 疎通OK 疎通OK 疎通確認② ※実際の構成から一部割愛しています。 stgからのみNG stgからのみNG
  11. 16 ©TOPPAN Digital Inc. 解消 prod stg Corporate data center

    (オンプレミス環境) システムA システムD システムB システムE システムC システムF Direct Connect location Customer Router Direct Connect Router Direct Connect Gateway HULFT VPC Private subnet MAIN VPC Private subnet Public subnet HULFT VPC Private subnet Transit Gateway Transit Gateway Transit Gateway users システムX システムY システムZ ・・・ PrivateLink Transit VIF 連携先システム群 疎通確認① 全疎通OK 疎通確認③ 疎通OK 疎通OK 疎通確認② 疎通OK ※実際の構成から一部割愛しています。
  12. 17 ©TOPPAN Digital Inc. 得られた教訓(学び) No 観点 教訓(学び) 1 原因切り分けの順序

    「どこまで届いているか」を段階的に可視化する。 VPC→TGW→DXGW→対向Routerの順でtrace/FlowLogを確認する。 2 経路伝搬の確認 TGW⇔TGWやDXGWの伝搬設定は、環境ごと(prod/stg)に独立している ため、ルート広報の有無を常に確認する。 3 情報の整理と最新化 複数環境や複数の接続を行う構成は、通常のDirectConnectよりもACL・ ルート・広告設定の確認点が多く、属人化しやすい。 4 設計上限の認識不足 大規模ルーティング構成ではルートテーブル上限に注意し、設計段階から上 限緩和を想定しておく。 5 ネットワーク知識の重要性 Transit Gateway Network Managerなどのマネージドサービス頼りにならず、 FlowLogなど確認してトラブルシュートを行う。
  13. 19 ©TOPPAN Digital Inc. まとめ 1. 通信経路のトレーサビリティを確保 • 「どこまで届くか」を常に段階的に確認する •

    Pingだけでなく、FlowLogなど活用してトレースする 2. DXGW/TGW伝搬設定を確認 • TGW間接続とDXGW経由接続では経路伝搬が問題無いか確認する • 「広報(propagation)」と「関連付け(association)」の設定など 3. ルーティング構成をコード化 • Terraformなどでルート定義をコード化することで、環境差異(prod/stg)を可視化・再現可能にする 4. マルチクラウド接続サービスの責務分界を明確化 • 設定責任範囲を明示し、調査時に無駄な工数を減らす 5. 疎通試験は「双方向」で設計 • 一方向の通信確認だけでなく、応答ルート・戻りパスの存在確認を常に実施する
  14. 20 ©TOPPAN Digital Inc. まとめ 1. 通信経路のトレーサビリティを確保 • 「どこまで届くか」を常に段階的に確認する •

    Pingだけでなく、FlowLogなど活用してトレースする 2. DXGW/TGW伝搬設定を確認 • TGW間接続とDXGW経由接続では経路伝搬が問題無いか確認する • 「広報(propagation)」と「関連付け(association)」の設定など 3. ルーティング構成をコード化 • Terraformなどでルート定義をコード化することで、環境差異(prod/stg)を可視化・再現可能にする 4. マルチクラウド接続サービスの責務分界を明確化 • 設定責任範囲を明示し、調査時に無駄な工数を減らす 5. 疎通試験は「双方向」で設計 • 一方向の通信確認だけでなく、応答ルート・戻りパスの存在確認を常に実施する
  15. 21 ©TOPPAN Digital Inc. まとめ ▪今後の展望 ・定期的な疎通監視、経路可視化 ・ネットワーク構成の属人化解消とドキュメント整備 (AIエージェントの力も借りつつ) ▪良かった点

    ・チーム内のネットワークトラブル対応力が向上 (トラブルは人を成長させる) ・マルチクラウド接続やDXGW伝搬の仕組みの理解向上