個人やサークルでのAS運用を議論するBoF(JANOG56)

Transcript

1. Menhera.org AS63806 Updates (31 July 2025) Menhera.org AS63806 Updates 「個⼈やサークルでのAS運⽤を議論するBoF」、 JANOG56 @松江 森 祐佳，⼀般社団法⼈⽣活情報基盤研究機構 1
2. Menhera.org AS63806 Updates (31 July 2025) ⾃⼰紹介(初めての⽅もいるので) 森 祐佳、⼀般社団法⼈⽣活情報基盤研究機構 (Menhera®.org) 私は情報系の専⾨教育を受けていません…… 代表理事‧ＩＴ運⽤センター ⾮営利徹底型の⼀般社団法⼈、IT‧情報通信で社会に貢献することを⽬指す 役員を含めボランティアメンバーのみ JANOG54 @NARA で 単独で野良 BoF 発表 (w/ 百瀬⽒) AS63806 MENHERA の運⽤を担当、メンバーの⾃宅などを中⼼にネットワークを 構築 2
3. Menhera.org AS63806 Updates (31 July 2025) 今回の発表の内容 1. AS63806‧管理系ネットワークで利⽤している技術 (2025 年版) 2. ⼩規模⾮営利組織でメンバー‧ボランティアを集める苦労 3
4. Menhera.org AS63806 Updates (31 July 2025) 1. AS63806‧管理系ネットワークで利⽤して いる技術 (2025年版) 4
5. Menhera.org AS63806 Updates (31 July 2025) AS63806 ネットワークの構造 • 実ネットワークと管理系の分離 • GNU/Linux ソフトウェアルータの採⽤ • トンネリングは、最外層でフラグメント • BGP unnumbered や RFC5549 を利⽤してアドレスを節約 5
6. Menhera.org AS63806 Updates (31 July 2025) 実ネットワークと管理系の分離 • 管理⽤スイッチに機器のL3インタフェースをつないでい る • Out-of-band 管理アクセスの提供 (LTE、NGN=⾮⾃ASア ドレス)、トンネリングも分ける 6
7. Menhera.org AS63806 Updates (31 July 2025) GNU/Linux ソフトウェアルータの採⽤ • 外部との接続は主に EtherIP (内製したソフトと物理ルー タを併⽤) 7
8. Menhera.org AS63806 Updates (31 July 2025) トンネリングは、最外層でフラグメント • GRE (閉域網⽤)、WireGuard (インターネット⽤) でトンネ ルインタフェースを MTU=2400 に設定し、フラグメント → この値は、ちょうど2つのパケットにほぼ必ず⼊る⼤き さ • 各サイト内部は実スイッチも MTU=2400 を通すようにする • この上で (e)BGP を⾛らせて、 EVPN/VxLAN を運⽤ (各 VxLAN は追加のフラグメントなしで MTU=1500 を透過) • 効率化のために必要箇所でのMSSクランピングを検討中 8
9. Menhera.org AS63806 Updates (31 July 2025) アドレスの話 • BGP unnumbered や RFC5549 を利⽤してアドレスを節約 → 外部との接続を除き、ループバックのみにアドレス 9
10. Menhera.org AS63806 Updates (31 July 2025) 今後の予定 • IPアドレス管理指定事業者の取得 (JPNIC様の審査次第) • 届出電気通信事業者の取得(届出) • データセンタ拠点の運⽤開始 10
11. Menhera.org AS63806 Updates (31 July 2025) 2. ⼩規模⾮営利組織でメンバー‧ボランティ アを集める苦労 11
12. Menhera.org AS63806 Updates (31 July 2025) メンバー集めの課題 • いわゆる技術系の⼈が集まってつくった組織ではないた め、技術系に明るい⼈脈が少ない ◦ ⼈⽂系の⼈‧社会科学系の⼈が中⼼になって作ったIT組織 ◦ 無職数名のほか、⽂系ソフトウェアエンジニア1名、CADオペレータ、海外サイトのボラン ティアスタッフを務める⽂系の⽅など ◦ 学⽣もいるが、社会⼈層が多い • 「よくわからない」などの理由でメンバーが集まりにくい • すべてが無償ボランティアであるため、活動に参加してく れる⼈を探す困難 • メンバーに⼊れた⼈が連絡がとれなくなってしまう → ⾮常に多い 12
13. Menhera.org AS63806 Updates (31 July 2025) みなさん、 メンバー集め どうしていますか？ 13
14. 闇ASの実態に迫る ～2025 SDCC上期～ 島根データセンター友の会 AS38074 SDCC資料番号 会本部 100-50-20250726-01 1

15. Agenda • 最近の島根データセンター友の会 Update • 上期トラブル事案について • IPv4アドレス利用効率向上の試み Shimane Datacenter Club Confidential 2

16. 自己紹介 熊田 樹央 (クマダ ジュオ) 本職 : サイバートラスト株式会社 - 普段は情報システム部として社内インフラの面倒を見ています - 技術系カンファレンスイベントで来場者向けWi-Fiを吹いたり...... 3
 Shimane Datacenter Club Confidential
17. 2025上期 島根データセンター友の会Update • 振り返り • 2024年に下記を実施 • 千葉県へ新たな設備を構築 • JCIX、ENTERNET-IXへの接続 • 2025年 新規接続 5 AS • ENTERNET ： ３ Path • JCIX ： ６ Path • 引き続き接続（トランジット or ピア）お待ちしております Shimane Datacenter Club Confidential 4

18. 2025上期 島根データセンター友の会Update • 振り返り • 2024年に下記を実施 • 千葉県へ新たな設備を構築 • JCIX、ENTERNET-IXへの接続 • 2025年 新規接続 5 AS • ENTERNET ： ３ Path • JCIX ： ６ Path • 引き続き接続（トランジット or ピア）お待ちしております Shimane Datacenter Club Confidential 5
 実は、申し込みは７件・・・ 残りの２件は・・・
19. 2025上期 島根データセンター友の会Update • 2024年末ころからロシア地域からの申し込みや問い合わせが複数あり • インターネット接続を迂回し、改善したいなどの申し込みでした • 身分を証明する書類等の提出を拒まれるなどのため、国外からの申し込みにつ いては審査をより厳格にしております • 当団体では 1. 教育、学習などが目的 2. 日本国内に設備設置、もしくは、実態がある方 に広くサービスを提供いたします Shimane Datacenter Club Confidential 6

20. 2025上期 島根データセンター友の会Update • 2024年末ころからロシア地域からの申し込みや問い合わせが複数あり • インターネット接続を迂回し、改善したいなどの申し込みでした • 身分を証明する書類等の提出を拒まれるなどのため、国外からの申し込みにつ いては審査をより厳格にしております • 当団体では 1. 教育、学習などが目的 2. 日本国内に設備設置、もしくは、実態がある方 に広くサービスを提供いたします Shimane Datacenter Club Confidential 7
 闇AS話、終わり 明るい話にもどります
21. 2025上期 島根データセンター友の会Update • 《自動化施策》 • 障害発生時のWeb掲載の自動化 これまで障害発生時は手動でお知らせを実施してしていたが、監視基盤と連動し、自動で Discordへ通知がなされるように機能追加実施しました。 • 引き続き利用者の皆様が快適にご利用いただけるよう機能追加を実施してまいります。 • AS290（Shownet）にも接続を果たす！ • 今までコアに近い機器のオペレーションは代表の高田が行っていたが、 AS290への接続は高田に代わり、熊田が実施しました。 • コンフィグのレビューをコアメンバで実施し、その後の正常性確認や疎通確認なども 協力して実施することができました。 • 大学サークルAS・PI 取得支援 • 当団体メンバが取得時のサポートを行い、 東京工科大 LinuxClubがAS及びPIを取得しました。(AS152865) • JCIXとENTERNETに接続しているので、皆さんpeeringしてあげてください！！ Shimane Datacenter Club Confidential 8

22. 2025上期 主要トラブル事例 • 事案１：広報停止したにもかかわらず経路広報が続く・・・ • 概要 トランジットサービス利用者より、プレフィックスの運用を終了したため、広報を停止した が、引き続き当団体からインターネットへ当該プレフィックスの広報が継続しているとの問 い合わせ • 結果 利用者ルーター（VyOS）再起動で改善、show bgp nei x.x.x.x adv では消えていたの に・・・ということらしい・・・ • 事案２：NextCloudのアプリインストールができない • 概要 OSSのファイル共有などが主な機能な可能なグループウェアの機能追加を実施するため のアプリインストール機能が動作しないと申告 • 解析結果 当該アプリの配信サーバーが欧州地域にあり、ピア経路が低速回線を経由していたためア プリインストールがタイムアウトしていることを確認。 経路制御により、当該ピアの経路受け入れを廃止することで復旧を確認 Shimane Datacenter Club Confidential 9

23. IPv4アドレス利用効率向上の試み • SDCCは利用者へ基本的に/29(8IP)単位でIPv4アドレスを払い出している • 8IPをそのままサブネットとして使用する場合、ユーザが実際に 利用できるIPは5IPとなってしまい、利用効率は62.5%となってしまう。 • NATを利用する場合、SIPなどNATと相性が悪いアプリケーションの存在や、 NATするためのアドレス空間の管理コストの発生がある。 • 効率を向上するための工夫として、Extended Nexthop Capability を用いたIPv4アドレス利用について紹介する Shimane Datacenter Club Confidential 10

24. 至 SDCC網 IPv4アドレス利用効率向上の試み 11
 SDCCカスタマールータ(FRR) ホスト
 eth0 2001:db8::192:0:2:56/64 IPv6 RA 2001:db8::/64 各種アプリケーション dummy IF 192.0.2.56/32 Listen 2001:db8::1/64 table ip nat { chain postrouting { type nat hook postrouting priority srcnat; policy accept; oif "eth0" ip saddr != 192.0.2.56 snat to 192.0.2.56 } } iBGP peer FRR neighbor 2001:db8::1 remote-as internal neighbor 2001:db8::1 capability extended-nexthop neighbor iBGP-peer remote-as internal neighbor iBGP-peer capability extended-nexthop bgp listen range 2001:db8::/64 peer-group iBGP-peer • カスタマルータから各ホストに向けて RAを出す • カスタマルータはRAで広告したアド レス帯全体をlisten対象に設定 • 各ホストはRAで割り当てられたアド レスを使い、上流ルータへBGPピア を張る ◦ capability extended-nexthopが勘所 • 各ホストの外行きのIPが定まらない ため、nftablesの力を借りる • アプリケーションはdummy IFに設 定されたIPアドレスでlistenする Shimane Datacenter Club Confidential
25. IPv4アドレス利用効率向上の試み • メリット • アプリケーションが直接グローバルIPをlistenできる • 特にSIPみたいにIPアドレスが深く関わるアプリケーションには有利 • NATのIPを管理する必要がない • 上流ルータは1度設定すればホスト増設・撤去時に設定変更の必要がない • ホスト側を設定するだけで良い • デメリット • Extended Nexthop Capabilityに対応した機器でないと接続できない • Linuxホストなどであればよいが、物理NW機器で対応しているものはかなり少ない • 手軽にセコハンで手に入る物理機材だとまず対応していない • ホスト側の設定が複雑になる • Ansibleとかで自動化すれば気にならないかも......？ 12
 Shimane Datacenter Club Confidential
26. EoF • SDCCへ興味のある方は、ぜひ下記QRから当団体のDiscordサーバへご参 加ください！ • free-chatは自由に会話いただけるので、議論をぜひ行いましょう！ Shimane Datacenter Club Confidential 13

27. 1 Copyright(C) BBIX, Inc. All rights reserved GoldenGate構想 〜「学生の最高の遊び場」〜 　　　　　　　　　始めます 2025年7月31日
28. 2 Copyright(C) BBIX, Inc. All rights reserved 　課題　 • 深刻化する「IT分野の人材不足」 • 日本経済の「失われた30年」 • 日本の教育システムの課題　 など • 　アプローチ　 学生がBGPなどの「生きた技術」に触れる機会が 圧倒的に不足している。 学びたくても、学べないをなくしたい。 インターネットの楽しさ、素晴らしさを 一人でも多くの学生へ！！ 業界の一員として、日本の社会課題へ取り組みたい 2 我々の思い Internet

29. 3 Copyright(C) BBIX, Inc. All rights reserved 「Golden Gate」 構想をオープンなムーブメントとして活動開始したい　　　 この名前は、参加する学生たちの未来に、強い願いを込めています。 豊かな未来への「黄金の門」。 この門を抜けた先には、インターネットのプロとして活躍し、 経済的にも豊かな成功（Golden）を掴める未来が待っている。 この活動を通じて、業界、そして、社会も、豊かにしていきたい。 オープンなムーブメントとして 3 我々の思い
30. 4 Copyright(C) BBIX, Inc. All rights reserved 「Golden Gate」構想の中で 「学生の最高の遊び場」始めます 　理念　「最高の遊び場が、最高のエンジニアを育てる」 学生が自由に、安全に、そして本気で挑戦できる場所を提供します。 4 我々の思い
31. 5 Copyright(C) BBIX, Inc. All rights reserved BBIXが創る「学生の最高の遊び場」 GoldenGate 「インフラ教育プログラム」 　内容　 　BGP運用を核とした「超実践的BGP部活動」 　提供するもの　 　本プログラム専用のIX、トランジット を無償提供 　部活動として、仲間と学び合うコミュニティの構築支援 　その他　 　あえてルートサーバーやポータルを提供しません。 　リアルな運用体験を追求します。 　設備などの心配は不要です。BBIXが可能な範囲で、協力します。 　参加のハードルは「やる気」だけ。 5
32. 6 Copyright(C) BBIX, Inc. All rights reserved 専用のIXセグメントに接続し ているASとPeerできる インターネット 本プロジェクト提供範囲 ネットワーク構成イメージ（案） ・学生・生徒さんの自宅や学校の回線で接続 ・難しい場合は BBIX からの提供も検討 ・回線の条件：IPv6インターネット接続性が必要 　（フレッツ光ネクスト/クロス・SoftBank 光・au 光など） ・推奨要件：IPoE が開通済みのフレッツ光系回線 一般家庭 VPN ルータ インターネット回線 VPN ルータ ・IPv6インターネット経由のL2VPN ・L2TPv3 or EtherIPを想定 GoldenGate IX トラン ジット用 PEルータ IX セグメントから共用のトラ ンジットを利用できる 学校 インターネット回線 VPN ルータ VPN ルータ
33. 7 Copyright(C) BBIX, Inc. All rights reserved 最後に このムーブメントを、共に。 2026年春、始動予定です！！ 学生の皆さんへ 「やる気」と「好奇心」だけを持って、 この遊び場に飛び込んできてください！ エンジニアの皆さんへ ぜひ一緒に、GoldenGate構想を盛り上げていきましょう！ 何かあれば、芦田・福島まで 　芦田　ashida@bbix.net 　福島　mio.fukushima@bbix.net 7
34. 8 Copyright(C) BBIX, Inc. All rights reserved
 Confidential Copyright(C) BBIX, Inc. All rights reserved あらゆるものが「つながる」世界へ 8
35. フィリピンPOP設立 国際バックボーンを持つ意義 (と苦労話) 吉川 知輝 AS59105 Home NOC Operators Group marokiki@homenoc.ad.jp JANOG56 「個人やサークルでのAS運用を議論するBoF」
36. 自己紹介 • 吉川 知輝 (Tomoki Yoshikawa) • 所属 • 京都大学大学院情報学研究科通信情報システムコース1年 • インターネット・セキュリティの研究 • Home NOC Operators’ Group 運営メンバー (AS59105) • ピアリング/バックボーンネットワークの設計と構築 • 京大マイコンクラブ(AS59128) • バックボーンや仮想化基盤の構築・自動化・運用 • 趣味 • 釣り、アニメ、野球
37. 今日の話題 • HomeNOCは昨年7月にマニラ拠点を設立しました • 初の海外拠点 • 設立までの経緯 • 1年ちょっとの運用を通して得た海外拠点ならではの知見 • (とトラブル) • わざわざ海外に拠点を置く意義
38. 目次 • HomeNOCの拠点 • フィリピンPOPの設計 • フィリピンでの構築 • トラブルとアップデート • 国際バックボーンの意義
39. 国内拠点 • POP • データセンター内の拠点 • 東京2拠点 • 大阪2拠点 • 福岡 • NOC • 運営メンバー自宅の拠点 • 関東4拠点 • 関西2拠点
40. 国際拠点 • 2024年7月にフィリピンマニラに新POP設立 • Digital Edge MNL1 • BBIX Manilaへ接続 • 日本との接続性 • DIA(Direct Internet Access) • フィリピン国内通信事業者の一般回線 • 東京のコア2拠点と接続 • NEC IXを用いたEtherIP接続
41. 目次 • HomeNOCの拠点 • フィリピンPOPの設計 • フィリピンでの構築 • トラブルとアップデート • 国際バックボーンの意義
42. フィリピンPOPの設計 • OSPFコスト • 拠点間の距離を元に算出 • 東京-マニラ(約3000km)は3000 • 機器 • EX2200-C • DIA接続SW • MX150 • フルルート/IX接続 • ミニPC • コンソールサーバ • IX2207 • EtherIP終端
43. 設計 • マネジメント • 全てマネジメントルータ経由でアクセス • コンソールサーバ • 各機器はコンソール接続可能
44. 目次 • HomeNOCの拠点 • フィリピンPOPの設計 • フィリピンでの構築 • トラブルとアップデート • 国際バックボーンの意義
45. 構築 • 機器の輸入 • フィリピンへのハンドキャリー • 国際郵便は届かない/チップを払わないと受け取れないことがあるら しい • 事前に電子機器のすべてのシリアル番号を提出 • 数日間別室に保管して検疫 • 今は置いてるだけで何もしていないはず • フロア内での警備員による同行・監視 • おみやげ • “円滑な”コミュニケーションのために毎回お土産を持参
46. 目次 • HomeNOCの拠点 • フィリピンPOPの設計 • フィリピンでの構築 • トラブルとアップデート • 国際バックボーンの意義
47. トラブル① 誤った経路設定を追加した ことによる現地ダッシュ
48. ①現地ダッシュ • そもそも3経路冗長 • ルータへのアクセス • マネジメントルータ経由 • コンソールサーバへのアクセス • マネジメントルータ経由→アドレスが足りない… • DC内で吹かれていたWiFi • トラブル発生時 • WiFiがいつの間にか止まっていた • マネジメントルータに誤ったデフォルトルートを投入 • 管理系へのアクセス全断
49. ①現地ダッシュ • そして現地ダッシュ • 半月後にマニラ訪問 • 台風マニラ直撃 • 新たな冗長性 • ルータへのアクセス • マネジメントルータ経由 • DIAアドレス経由 • コンソールサーバへのアクセス • マネジメントルータ経由→アドレスが足りない… • DC内で吹かれていたWiFi • LTE経由
50. トラブル② DIAの品質問題
51. ②DIAの品質問題 • ひどい時には40％のパケロス • OSPFのneighborを維持できず頻繁にアラートが飛ぶ 毎日40％程度まで Loss率が上昇(輻輳?) たまに全断 (メンテナンス?)
52. ②DIAの品質問題 • 情報を提供するも特に進展なし • フィリピンの品質管理意識 • メンテナンスに来た時に自ラック内のパッチケーブルが変わっていた (無断交換?) • 定期的に全断(無断メンテナンス?) • 地道に技術・情報提供を行う必要 • PhNOGやAPRICOTへの参加
53. アップデート NEC IXを FreeBSDベースミニPC へ
54. NEC IXをFreeBSDベースミニPCへ • EtherIP用にNEC IXを使用していた • NEC IXの問題点 • 中古市場に頼り安定供給が困難 • 設定の自動化が行いづらい • ショートパケット性能があまり高くない • FreeBSDへ • EtherIPがカーネル実装 • すでにいくつかの拠点に設置 • Intenl N150マシン • 8G • 1G Eth x 4 • 2万円弱
55. 目次 • HomeNOCの拠点 • フィリピンPOPの設計 • フィリピンでの構築 • トラブルとアップデート • 国際バックボーンの意義
56. 国際バックボーンの意義 • 国外のインターネットの知識 • 国内だけでは経験できないこと • “利益を求めずやってみる”ことの成果 • 国際インターネットコミュニティへの貢献 • ナレッジの共有 • 番号資源ポリシーへの提言 • インターネットコミュニティと近くなる • 海外NOGへ参加することでその国の状況がわかる • 海外の方とその土地について深く話せる
57. Thank you. https://x.com/AS59105 https://www.facebook.com/AS59105 HP www.homenoc.ad.jp
58. ～「みんなのIX」@jcixnet～ JANOG56 Update Japan Community IX
59. Japan Community IX  非営利の“コミュニティベース”のIXとして誕生  運営方針  みんなの / Community  ひらかれた / Openness  挑戦できる/ Challenging  つづけられる/Sustainable コミュニティIXを提供する 2 https://www.peeringdb.com/ix/4448 Japan Community IX
60. JCIXへの接続方法 1. NTT東/西-NGN網内トンネリング(GRE-TAP over IPv6、EtherIP over IPv6) を使った接続 2. PoP SWへの収容(1000Base-LX/10GBase-LR) 3. Japan Open Network (JON)/OPEN OSR網 経由の接続 3 Japan Community IX ブロードバンドタワー 第1サイト ブロードバンドタワー 新大手町サイト アット東京 CC1 セコムトラストシステムズ SDC三鷹本館 NTT西日本 堂島第二ビル
61. JCIX Update！  PeeringDB掲載AS数 13AS(J55時点)→26AS(7/30時点)  GLBBが接続開始/トランジット提供も。。  Interop Tokyo 2025 でShowNet(AS290)への接続性を提供  東/西日本からのNGN経由接続を提供  OPEN-DCI終了に伴い、バックボーンの切り替えを実施中  メンテナンス断についてはJCIXSlackにてお知らせします 4
62. JCIX上のトランジット提供者ご紹介 5 企業/団体名 提供概要 問い合わせ先 Home NOC 非営利の活動限定。学生向け 無料、社会人や法人は HomeNOC年会費必要 support@homenoc.ad.jp / HomeNOC Slackで運営メンバーに連絡 Telhi 学生向け無料(転送量規定なし, 多量は応相談)、学生以外有償 (家庭向けISP程度の転送量であ れば商用制限なし） support@telhi.co.jp / 03-6662-9900 GLBB 有償。SLA無し、BGP down/up 通知なし。計画メンテ通知あ り。詳細は要問合せ。 担当：鈴木<toshiyuki.tsuzuki@corp.glbb.ne.jp> 田中<kohei.tanaka@corp.glbb.ne.jp> Soft Ether (JCIX上での提供準備中) ホビーAS向け無償提供。詳細 は要問合せ。 担当：松本<matsumoto@softether.co.jp>
63. Show NetへのJCIX接続提供について①  情報処理推進機構(IPA) ICSCoE様の伝送NWを使い、 Interop 2025 Show Net AS(ASN290)へ接続性を提供。  IXへのアクセスについても、西日本NGNでのエンドポイントを追加し 全国のアマチュアASオペレータに接続性を提供  JCIXの運営方針に則り、 多くのアマチュアASオペレータ(みんなの)へ、 国内最大級のイベントNWへのピア(挑戦)の機会を、開かれた形で提供。 →アマチュア無線における、イベント記念局/特別局のイメージ 6 Japan Community IX
64. 7 Show NetへのJCIX接続提供について② 計19NWがJCIX経由でピアを実施！ご参加、ありがとうございました！
65. JCIX今後の計画 ・法人化 →準備会において、25年度上期の一般社団法人化を予定しています →法人化後、法人の会員でIXおよびそのインフラを運用・共有する形となるため 現在のJCIX接続者の皆様において継続利用をいただく場合、 会員(法人/個人)としての加入が必要となります。 →会員においては、運営への参画(会費の支払い、総会への参加含む)が必要となります。 ・IX用IPアドレスの割り当てとリナンバリング →JCIXの法人化に合わせて、JPNICへ特殊用途IPアドレス(IX用途)割り当て依頼を行い、 割り当てられたアドレスを元にIX用セグメントのリナンバリングをおこないます。 →リナンバリングの際に、JCIX/INIXPのアドレス空間のマージを予定しています。 ・ルートサーバー/ダッシュボードの立ち上げ →IXP Managerを使った上記機能の提供を予定しています。 →ルートサーバー構築の有志を募集しています →某DCでのハッカソン等を予定 8 Japan Community IX JCIXの法人化に合わせて、利用者(会員予定者)の皆様には、 “反社会的勢力の排除に関する誓約書”の提出をお願いしております ご協力をお願いいたします。