ISPが福岡でトラフィックを交換するために大切なこと

2023年10月27日(金)に開催されましたQUNOG27の発表資料となります。

Transcript

1. Copyright © BIGLOBE Inc. 2023, All rights reserved. ISPが福岡でトラフィックを交換するために大切なこと October 27th, 2023 BIGLOBE Inc. 山口勝司・前野洋史
2. 2 Copyright © BIGLOBE Inc. 2023, All rights reserved. 発表者紹介（山口） 山口　勝司（Katsushi Yamaguchi）
 
 経歴
 • 2022年3月 BIGLOBE 中途入社
 • AS運用歴は8年程
 
 業務内容
 • バックボーンネットワークの企画や設計
 • Peering Coordinator
 
 趣味
 • 旅行、美味しいものを食べること、インフラ施設歩き

3. 3 Copyright © BIGLOBE Inc. 2023, All rights reserved. 発表者紹介（前野） 前野　洋史（Hiroshi Maeno）
 
 経歴
 • 2017年4月 BIGLOBE 新卒入社
 • 社会人7年目
 
 業務内容
 • 2017/4-2022/3：
 • バックボーンネットワークの設計・構築・運用
 • 2022/4-：
 • DNS/ロードバランサ/NAT64/IPv4 over IPv6基盤の設計・構築・運用
 • システムのAWS移行など
 趣味
 • 一人旅、漫画、動画鑑賞、美味しいものを食べること、カラオケ

4. 4 Copyright © BIGLOBE Inc. 2023, All rights reserved. BIGLOBEは福岡でのピアリングを開始しました
 2023年4月：福岡QD3で新POPの運用を開始しました
 2023年7月：JPIX福岡に100Gbpsで接続しました
 NTTドコモ(AS9605)様とのトラフィック交換を 見込んで100Gbpsでスタート
5. 5 Copyright © BIGLOBE Inc. 2023, All rights reserved. 地方への分散を進める目的 • トラフィックは年間30％程度の増加が継続
 • 東京と大阪から全国にトラフィックを配送する構成は高コスト
 • 地域でトラフィックを集約しトラフィック配送を効率化する構成へ
 福岡でのトラフィック交換により、福岡～大阪 間を運ぶトラフィックを削減する
 福岡でのピアリングやCDNキャッシュによ り東京と大阪から運んでいた
 トラフィックを福岡で折返し
 九州・沖縄 お客様
6. 6 Copyright © BIGLOBE Inc. 2023, All rights reserved. 接続の結果… • 期待していたいたInboundトラフィックはゼロの状態

7. 7 Copyright © BIGLOBE Inc. 2023, All rights reserved. なぜこのような状態に？ • 原因
 • BIGLOBEのDNSリゾルバ（キャッシュサーバ）は東京と大阪にある
 • CDNは以下のような仕組みで配信場所を選択する
 
 
 
 
 
 • BIGLOBEのDNSリゾルバはECS非対応のため東京や大阪が選択される
 ECS（EDNS Clinet Subnet） 対応のリゾルバ
 ECS（EDNS Clinet Subnet） 非対応のリゾルバ
 • リゾルバが権威サーバに対してリクエストをする際に、お客 様のIPアドレス情報を付与して送信する。 
 
 • CDNはこのIPアドレス情報をもとに、最適なコンテンツの送 信元のIPアドレス情報（九州地域のお客様の 
 リクエストであれば、九州にある送信元）を返答する。 
 
 ※ 予めCDN側にBIGLOBEのどのIPアドレスが九州のお客様で利 用しているものかを伝えておく。 
 • CDNはお客様のIPアドレス情報を知る術がないので、 
 お客様が利用したDNSリゾルバに最も近い場所が最適なコ ンテンツ送信元と判断し、そのIPアドレス情報を返答する。 
 DNSの問題は盲点だった、全国でサービス提供するISPは東京や大阪にDNSリゾルバを置くケースが多いはず
8. 8 Copyright © BIGLOBE Inc. 2023, All rights reserved. キャッシュサーバを置く場合も影響がある ピアリングではなく、CDN事業者の提供するキャッシュサーバを設置する場合もDNS対応は必要
 
 主なCDNキャッシュとDNS対応の要否
 社名 配信される主なコンテンツ DNS対応の要否 A社 様々なコンテンツ 必要 B社 様々なコンテンツ Prefix単位で制御できるので必須ではない C社 動画配信 不要 D社 様々なコンテンツ 必要 E社 様々なコンテンツ Prefix単位で制御できるので必須ではない F社 様々なコンテンツ 必要（一部DNS対応不要コンテンツあり） G社 動画配信 Prefix単位で制御できるので必須ではない H社 様々なコンテンツ 必要
9. 9 Copyright © BIGLOBE Inc. 2023, All rights reserved. 現状のキャッシュDNS構成 東キャッシュ DNS 西キャッシュ DNS 東京DC A 東京DC B 大阪DC A 大阪DC B TH4430 LB DNSサーバ TH4430 LB DNSサーバ TH4430 LB DNSサーバ TH4430 LB DNSサーバ • キャッシュDNSは東京と大阪のDCで稼働
 • 利用者の地域に応じて東京もしくは大阪のDNSサーバが利用される
 • 利用者にはDHCPv4/v6,RAでPrimaryとSecondaryのDNSサーバアドレス
 (LBのVIP)が配信される
 Primary VIP Secondary VIP NTT東日本ユーザ Primary VIP Secondary VIP NTT西日本ユーザ
10. 10 Copyright © BIGLOBE Inc. 2023, All rights reserved. DNS構成の検討 CDN事業者の配信サーバ決定の仕組みを参考に対応方針を検討
 対応方針 導入の効果 導入ハードル 導入における課題 ①ECSに対応 高 高 ・お客様のIPアドレスがクエリに追加されるため、プライバシーやセキュリ ティ上の問題が懸念される ・お客様のIPアドレスごとにキャッシュが必要なため、メモリ消費量の予 測が難しい ・国内採用実績が少ないためノウハウ不足 ②大阪用DNSサーバの 一部を福岡用に分割 中 中 ・キャッシュへのレスポンスで配信サーバを決定している CDNだと、大阪 と福岡が同距離に見えるため効果が出ない可能性あり ・LB調達もしくはLBによる振り分け機能の導入が必要 ③福岡DNS新規構築+ 福岡用アドレス払い出し 高 高 ・新規アドレスの払い出しが大変 ・九州のユーザに配信するアドレスを変更するのが大変 ④福岡DNS新規構築+ IP anycastで振り分け 高 低 ・事前評価が必要なこと以外は特になし ④のIP anycastで大阪と福岡のDNSに振り分ける方法を検討中 他によりよい案があればご意見ください！
11. 11 Copyright © BIGLOBE Inc. 2023, All rights reserved. 今後の福岡への期待 • 福岡で交換できるトラフィックを増やしたい
 • 地域の事業者はもちろんのこと、大手CDN事業者のトラフィックも
 • 立地を生かしアジア地域とも直接接続できるようになると嬉しい
 
 • CDN事業者を九州に呼び込むにはトラフィック量が増えることも必要
 • BIGLOBEに続き全国でサービスを提供するISPの進出が続くことを期待
 • DNSリゾルバの設置場所(ECS対応)については重要なポイント

12. Copyright © BIGLOBE Inc. 2023, All rights reserved.