RPKIのROVをISPが導入するには？〜実証実験への参加で分かったこと〜

2023年7月に開催されたJANOG52の以下のプログラムで発表した際の資料となります。
https://www.janog.gr.jp/meeting/janog52/rov/

Transcript

1. Copyright © BIGLOBE Inc. 2023, All rights reserved. RPKIのROVをISPが導入するには？ 〜実証実験への参加で分かったこと〜 2023/07/05 (Wed) BIGLOBE Inc. Katsushi Yamaguchi ka-yamaguchi@biglobe.co.jp JANOG52 Meeting in NAGASAKI
2. 2 Copyright © BIGLOBE Inc. 2023, All rights reserved. 自己紹介／会社紹介 • 会社紹介 • ビッグローブ株式会社（AS2518） • 全国で固定ブロードバンドやMVNOなどのインターネット接続サービスを提供 • 自己紹介 • 山口 勝司（Katsushi Yamaguchi） • 2022年3月 BIGLOBE 中途入社 • ピアリングコーディネーター • AS2518バックボーン全体の設計や運用 • AS運用は8年程の経験 • 検証なども含めてRPKI関わるようになって6年程
3. 3 Copyright © BIGLOBE Inc. 2023, All rights reserved. 本日お話すること • RPKI対応状況と実証実験参加目的 • 実証実験 での検証内容と結果 • ROV実施に向けての課題 ※ 総務省 ISPにおけるネットワークセキュリティ技術の導入及び普及促進に関する調査 ※
4. 4 Copyright © BIGLOBE Inc. 2023, All rights reserved. RPKI対応状況 実証実験への参加目的
5. 5 Copyright © BIGLOBE Inc. 2023, All rights reserved. BIGLOBEのRPKIへの対応状況 • 2022年6月にROA作成を完了 • 歴史的経緯PIアドレス以外のROA作成は2020年に完了済 • AS2518が広報する全IPアドレスについてROA作成を完了 • Peering Policyで他のASにもROA作成を推奨しています • https://biz.biglobe.ne.jp/transit/pdf/peering_policy2022_global.pdf • ROV実施に向けて設計を実施中 • 2022年度は実証実験でルータの動作を中心に検証を実施 • 2023年度中にROVを開始予定 • 開始当初はINVALID経路は優先度を下げる対応を予定 • INVALID経路の破棄は通信影響があることから慎重に行う
6. 6 Copyright © BIGLOBE Inc. 2023, All rights reserved. 実証実験への参加の目的 • 商用環境に近い状態でのROV動作の確認 • 複数台のルータを利用してより本番に近い環境での検証 • 商用環境での実装に向けて課題の確認 • セキュアなインターネット実現のための貢献 • 日本のISPによるROV導入が進む一つのきっかけになりたい
7. 7 Copyright © BIGLOBE Inc. 2023, All rights reserved. 実証実験の検証内容と結果
8. 8 Copyright © BIGLOBE Inc. 2023, All rights reserved. BIGLOBEのバックボーンネットワーク構成概要 大阪 コアルータ1 （RR） 大阪 コアルータ2 （RR） 東京 コアルータ1 （RR） 東京 コアルータ2 （RR） 対外接続 ルータ(RC) 対外接続 ルータ(RC) 対外接続 ルータ(RC) 対外接続 ルータ(RC) 対外接続 ルータ(RC) 対外接続 ルータ(RC) IX IX Transit PNI PNI IX IX Transit PNI PNI ※ 福岡、北米ネットワークを除く概略図 iBGP eBGP eBGP
9. 9 Copyright © BIGLOBE Inc. 2023, All rights reserved. 実証実験の検証環境 • 仮想ルータで設定も含め商用環境に近い構成を構築 コアルータ （RR） JUNOS 対外接続 ルータ RC/IOS-XRv 対外接続 ルータ RC/JUNOS 対外接続 ルータ RC/SR-OS Full Route Full Route Peer Peer Cache Server FORT Cache Server Routinator RPKI-RTR eBGP iBGP
10. 10 Copyright © BIGLOBE Inc. 2023, All rights reserved. 検証の目標 • 実証実験では確認すべき「3つの確証」が提示された • 確証A：ROVを行っても通常は問題ない • ROVを行い時間が経過してもBGPは安定動作する • ROVがルータのリソースを圧迫しない • 確証B：ROVを行うと不正な経路から守られる • INVALIDな経路が採用されない動作をする • 確証C：不具合が起きても対処できる • ROAキャッシュサーバの冗長構成と切り替わり時の動作 • ROAが間違っている場合の経路選択 • RPKIリポジトリが停止してNext Updateを超えてもVRPが維持できる
11. 11 Copyright © BIGLOBE Inc. 2023, All rights reserved. 確証A：ROVを行っても通常は問題ないか？ • ASの境界(eBGP接続)部分でROVを実施する設計 • 以下の項目について商用環境と同一の設定で問題ないことを確認 ROVを行い時間が経過してもBGPは安定動作する ROVがルータのリソースを圧迫しない ・2種類2台以上のキャッシュサーバとの接続 （ポート番号の指定、SourceIPの指定、優先度の指定、リフレッシュタイムの指定、RecordLifeTime の指定） ・キャッシュサーバの状態確認 （VRP数、VRP表示、存在すべきROAのVRPは得られているか）" ・経路に（VALID,INVALID,NOTFOUND）を反映させる ・ROV結果に基づくCommunityの付与とRR側での確認 ・ROV結果に基づくLocalPrefによる優先度の操作と経路選択 ・ROV結果に基づくMEDによる優先度の操作と経路選択 ・ROV結果に基づく経路のドロップ ・ROVを実施した際に既存の（ROVを実施ない状態での）設定による動作に影響がない ・上記の検証の実施時のルータのCPU負荷(数%の上昇)やメモリ使用率(100MB～200MB程度を消費）
12. 12 Copyright © BIGLOBE Inc. 2023, All rights reserved. 確証A：ROVを行っても通常は問題ないか？ • ルータでROVを行うことに問題はない • 検証に利用したルータではナレッジが揃ってきている • 機種ごとの実装差などには注意が必要 • Extended Community (RFC8097)の動作 • Private AS が ROVに巻き込まれないように • IOS-XRでは経路単位でROV結果を上書きできない • キャッシュサーバとの接続に関するパラメータ • SR-OSではキャッシュサーバの優先度を指定できない • タイマー関連のパラメータの設定内容の差 • Release NoteやSecurity Advisoryの確認を • ROVに関するBugやSecurity Advisoryは定期的に出ている
13. 13 Copyright © BIGLOBE Inc. 2023, All rights reserved. 確証B：ROVを行うと不正な経路から守られるか？ • 実証実験の環境の不正な経路の分析 • IPv4：1792経路（IPv6は実験環境に提供なし） • 気になるINVALID経路 • トラフィック量の多いASのINVALID経路 • アジアのコンテンツ事業者 • 米国のコンテンツ事業者 • 国内のISP • 実際にトラフィックのあったINVALID経路 • 上記の内で1経路については20Mbps程度のトラフィックを観測 ※ ※ 2023年3月の調査時の検証環境でのデータ、BIGLOBEのトラフィックの多い上位100ASを確認
14. 14 Copyright © BIGLOBE Inc. 2023, All rights reserved. 確証B：ROVを行うと不正な経路から守られるか？ • AS2518のINVALID経路の分析 • IPv4：2733経路、IPv6：923経路 • ピアからも流入があり、ROV実施済のトランジットからも観測 ※ 2023年6月の調査時のデータ、BIGLOBEの東京バックボーンのルータ1台のベスト経路を分析 3 3 1247 360 127 993 IPv4 トランジットA トランジットB トランジットC トランジットD トランジットE ピア 4 3 720 20 65 111 IPv6 トランジットA トランジットB トランジットC トランジットD トランジットE ピア
15. 15 Copyright © BIGLOBE Inc. 2023, All rights reserved. 確証B：ROVを行うと不正な経路から守られるか？ • IPv4/2733経路、IPv6/923経路の簡易分析 • 大半は代替経路があって到達性が保たれる • 例えばINVALID経路より短い経路があれば到達可能 • 2733経路はIPv4のフルルートの0.3%弱 • 代替経路があるものを除くとフルルートの0.1%程が到達性を失う • INVALIDになっている理由 • 設定ミスと思われるような経路もある • Max Length不一致(45%)、Origin AS不一致(40%)、Max LengthとOriginAS両方の不一致(15%) ※ NIST RPKIモニターで世界の状況について詳細の確認が可能 https://rpki-monitor.antd.nist.gov/
16. 16 Copyright © BIGLOBE Inc. 2023, All rights reserved. 確証B：ROVを行うと不正な経路から守られるか？ • ROVを行うと不正経路からネットワークを守れる • INVALID経路を破棄しても多くのケースで問題なさそう • 安全を期すためドロップするかどうかは詳細調査が必要 （対象の経路とのトラフィック量を記録するなど） • RPKI(ROV)で守れないケースもある • 例えば… • Origin ASごと経路を広報された場合 • 想定していないAS-Pathでの経路広報（経路リーク）
17. 17 Copyright © BIGLOBE Inc. 2023, All rights reserved. 確証C：不具合が起きても対処できるか？ • 以下の障害を想定した検証を実施 • 各ケースにおいての動作を確認 • 問題なく対応できることを確認 • タイマー関連の設定は十分に検討しておくことが必要 ・2台のキャッシュサーバの内、1台がダウンした際の状態確認 ・ダウンしたキャッシュサーバが復旧した際の状態 ・キャッシュサーバが2台共ダウンした際の状態 ・意図しないINVALIDが発生した際の経路選択 - ルータ側でINVALID経路情報をVALID扱いに変更 - SLURMによるキャッシュサーバ側での状態の変更 ・2台のキャッシュサーバから異なる情報を取得した際の動作 ・ルータが予期せぬリブートをした際の動作 キャッシュサーバやルータに問題が起きても対応可能
18. 18 Copyright © BIGLOBE Inc. 2023, All rights reserved. 2023年度（今年度の実証実験）で検証予定 • ROAキャッシュサーバの構築と運用 • 複数の種類のキャッシュサーバを比較検証 • INVALID経路やROAの情報の監視と記録 • ROVの正常性監視すると共に異常時に調査ができる仕組み • RRDP/RSYNCの状態 • ドロップした経路の記録（BMPなどを使う？） • INVALIDのROA情報の記録 • VRPの内容や数などの監視（ルータ側では未対応が多い）
19. 19 Copyright © BIGLOBE Inc. 2023, All rights reserved. ROV実施に向けての課題
20. 20 Copyright © BIGLOBE Inc. 2023, All rights reserved. キャッシュサーバの課題 • キャッシュサーバソフトウエアの選択 • 現時点ではオープンソースのみが存在する • 冗長性確保のため2種類のソフトウエアを採用する • Routinator と RPKI Client + stayrtr が有力候補 検討中 • ROA取集とRPKI-RTRの一体型 • Webでのステータス表示機能搭載 • APIやPrometheusメトリクスなども提供 • ログの可読性などに難がある • NLnetLabsのよる有償サポート有 • RPKI-Client機能のみ （RPKI-RTR機能はstayrtr/Gortrなどを利用) • Webなどの追加機能は無し • シンプルでデバッグしやすい • Job Snijders氏が開発に関わる • その他の選択肢として、Octorpki、FORT があるが開発が積極的ではない状況
21. 21 Copyright © BIGLOBE Inc. 2023, All rights reserved. キャッシュサーバの課題 • キャッシュサーバにはクラウドを活用 • マルチクラウドでマルチリージョンの利用 • クラウドへはインターネットを経由しない閉域接続 • コンテナ技術の活用（ステートレスな部分が多く親和性が高い） Router Router 大阪バックボーンNW AWS大阪 ROA Cache#a GCP大阪 ROA Cache#b AWS東京 ROA Cache#a GCP東京 ROA Cache#b Router Router 東京バックボーンNW（LA含む） Router Router 福岡バックボーンNW 検討中
22. 22 Copyright © BIGLOBE Inc. 2023, All rights reserved. キャッシュサーバの課題 • IXPで出来る事が無いか検討が始まっています ROAからROVへ 〜IXPがお手伝いできることは?〜 7月6日(木) 17:00-18:30 でBoFを開催します ROVを行う上で課題となっていることの一つにROAキャッシュサーバの 構築と運用があります。事業者が集まるコミュニティとしてインターネッ トエクスチェンジ(IXP)に注目し、例えばIXPにROAキャッシュサーバを置 くことができないかなど、IXPがそういった課題にお手伝いできることは あるかを、事業者のみなさまと広く議論を交わしたいと思います。
23. 23 Copyright © BIGLOBE Inc. 2023, All rights reserved. INVALID経路をドロップするか？ • INVALID経路はドロップすべき • 優先度を下げる対応では完全にはネットワークを守れない • 経路が存在すると網内どこかで優先になってしまう可能性がある • 経路をドロップすることで通信影響が発生する • SLURM(RFC8416)で一時的に対応することは可能 • Tier1やOTTがROVを進める中でSLURMは効果が低いとも言える • 国内のASの間である程度の共通認識や指標が必要かもしれない • 最初はINVALID経路の優先度を下げる対応を検討中 • システムとしての安全性確認や経路ドロップの影響を検討 • 問題が無いことを確認した段階で経路のドロップに移行 検討中
24. 24 Copyright © BIGLOBE Inc. 2023, All rights reserved. ※ 発表後の補足 • P14「AS2518のINVALID経路の分析」に関して ROV実施済と発表しているがINVALID経路が観測されたASのINVALID経路の内、トラン ジットA社を経由する経路について、調査を行いました。以下の2種類の経路がありました ので本資料にて補足いたします。 • AS15562をOriginとする経路 Job Snijders 氏のASで検証のために意図的にINVALIDな経路を広報しているようです。 • AS_SETがOrigin ASとなっている経路 ルーティングテーブル上では中括弧 {} で囲まれて表示されます。RFC6907で同経路は INVALIDにすべきであるといった記載がありますが、ルータによって実装は異なるようで す。検証で利用したルータではINVALIDとして扱われていました。
25. Copyright © BIGLOBE Inc. 2023, All rights reserved.