作って(壊して？)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in CyberAgent Internet Seminer

サイバーエージェントの社内エンジニアカンファレンス CA BASE CAMP 2021で発表した資料です

元スライド: https://www.slideshare.net/whywaita/as-introduce-experimental-as-in-cyberagent-internet-seminer

このスライドは著者による再アップロード版です。

Transcript

1. 川原 大輝 中西 建登 黒崎 優太 作って(壊して？)学ぶ インターネットのしくみ サイバーエージェントの実験用ASの紹介
2. サイバーエージェントは “インターネット x 〇〇” の会社
3. でも、インターネットって よくわからなくないですか？
4. 1.インターネットゼミ概要 2.インターネット（物理） 3.AS取得について 4.ラズパイクラスタの構築 川原 川原 中西 黒崎
5. Kubernetes as a Service（AKE）の開発 機械学習基盤（ML Platform）の開発 インターネットゼミの下っ端 川原 大輝 画像 2021年度 新卒入社 CIU（CyberAgent group Infrastructure Unit） Devチーム @h-otter
6. インターネットゼミ • 事業として〇〇の部分を伸ばしていくだけではなく、 ”インターネット” の知識を深めるべきなのでは • プロダクション環境では出来ない、作ったり、壊したりを繰り返して インターネットを学ぶ • 試験環境として AS63790 を運用 • Slack #ca-tech-internet で情報発信中！！！
7. メンバ構成 ゼミ長 中西 建登 ほか9名
8. ところで、インターネットってなに？
9. Internet • IP（Internet Protocol）で構築される、ネットワークの集合体 ◦ IPアドレスを宛先に設定したパケットを送信すると、宛先までパケットを届けてくれる仕組 み ◦ 利用者は宛先までの物理的な構成を考慮する必要なく、データ送信が可能 • 今や社会インフラのひとつ • 日本では月間 約 20 Tbpsの通信 https://www.soumu.go.jp/main_content/000733741.pdf
10. せっかくなので インターネット物理の旅
11. ISP網 全体像はこんなかんじ 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n
12. ここから ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n
13. 家からでるまで パソコン MDF盤 ONU 光コンセント 電信柱
14. Wi-Fi AP / ルーター / ONU ってどれ？ ONU ルーター Wi-Fi AP https://www.aterm.jp/product/atermstation/product/warpstar/wg1900hp2/ https://jpn.nec.com/univerge/ix/Info/ix2105.html https://web116.jp/shop/hikari_r/rt_500mi/rt_500mi_00.html 無線LANルーター HGW
15. 家から電信柱まで ※ 光配線方式の場合の解説です https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html
16. 光コンセント ⇒ MDF盤 ⇒ 電信柱 https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html https://www.ntt-east.co.jp/info/detail/130308_01.html
17. 光スプリッタ : 電源がいらなくて便利 https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html
18. 電信柱への接続 マ ン シ ョ ン 内 の 地 下 配 線 公共の 共用柱 マンションの電 信柱 使うファイバだけ分岐
19. 家からでるまで [再掲] パソコン MDF盤 ONU 光コンセント 電信柱
20. 次はここの話 ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n
21. 電信柱 • NTTなどの通信線がかかっている電信柱 • 東京電力などの配電線がかかっている電柱（電力柱） • 電信柱と電力柱を掛け持つ共用柱 • 電信柱には主にファイバーが束になった ケーブルが架かっている 東京電力などの配電線 NTTなどの通信線 https://www.furukawa.co.jp/telecom/product/opt_fibercable/fibercable_list.html
22. とう道 • ケーブルなどを管理するための地下トンネルのうち、人が通れるもの • 都内のみで 290 km 張り巡らされている • 日本の重大インフラを担っており、どこに何があるかは機密 ◦ ただ、小学生に対する見学ツアーは結構やっているらしい https://internet.watch.impress.co.jp/docs/special/1225244.html https://businessnetwork.jp/Detail/tabid/65/artid/6421/Default.aspx
23. 通信局舎（NTT通信ビル） • 顧客の通信回線を集約し、インターネットなどにつなげる • 昔は電話局として地図に記載されていたが、現在は非公開 • 浸水・津波等の対策で1階はコンクリートで埋められている https://internet.watch.impress.co.jp/docs/special/1225244.html https://businessnetwork.jp/Detail/tabid/65/artid/6421/Default.aspx
24. 次はここの話 ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n
25. 拠点間の接続 • ダークファイバ • 海底ケーブル • 無線通信
26. ダークファイバ • 電気通信事業者などが敷設した光ファイバのうち、利用されていない心線 ◦ NTTやKDDIなどの電気通信事業者が敷設した電信柱 / 洞道のファイバ ◦ JRや京王電鉄など鉄道会社の基盤用に敷設したファイバ • ダークファイバを他業者に貸すサービスが提供されている • もちろんトップシェアはNTT系列 数本を貸し出す
27. しかし、ダークファイバは物理の世界 様々な制約があります
28. 立地上の問題で遠回りする必要があったり • 秋葉原UDXから国会議事堂間で敷設 ⇒ 間には皇居があるため、直線で接続不可 • 他にも... ◦ 山 ◦ 川 ◦ 人口が少なく敷設が少ない地域 ↑ Google Mapのルート経路 　実際の光ファイバールートは非公開
29. ファイバが敷設されてなかったり、空きがなかったり 1. ダークファイバ事業者に新しく敷設してもらう ⇒ 高い 2. 別ダークファイバ事業者と併用する たとえば、ABTから八王子への接続を考えるときに、渋谷駅と京王八王子駅間で NTTの ダークファイバ在庫がなかった場合、下図のように接続可能 https://www.keio.co.jp/train/other/hikari/index.html ABT 目的地
30. 海底ケーブル • 海底に敷設されたケーブル • 日本は島国であるため、海外や離島に向 けて敷設されている • 海底ケーブルの揺れで地震を測定する Googleの研究も...... https://www.submarinecablemap.com/ https://cloud.google.com/blog/ja/products/infrastructure/using-subsea-cables-to-detect-earthquakes https://time-space.kddi.com/au-kddi/20191226/2802
31. 海底ケーブルの敷設 海岸からケーブルをひき、船からゆっくりとケーブルを送り出していく https://time-space.kddi.com/au-kddi/20191226/2802 https://twitter.com/AS59105_Infra/status/1429078900412272651 https://twitter.com/AS59105_Infra/status/1431861743202930699
32. 工事、天気、災害による障害 • ファイバーはデリケート ◦ 曲げ半径に限界がある ◦ 踏むとパケットロスしたり ファイバ内の光は全反射で進む 臨界角を超えると外に出てしまう
33. 工事、天気、災害による障害 • ファイバーはデリケート ◦ 曲げ半径に限界がある ◦ 踏むとパケットロスしたり • 工事で一部のファイバールートが一時的に使用不可 • 台風、地震で電信柱が倒れる • ネズミ・サメがケーブルを噛む、虫が卵を産む • 酔っ払ったハンターが射撃 https://www.geekpage.jp/blog/?id=2011/9/6/1 https://xtech.nikkei.com/atcl/nxt/column/18/00142/00562/ 2019年の台風で倒れた電信柱
34. 物理的なつながりはなんとなく わかってきましたよね？
35. 次はここの話 ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n
36. 組織間の接続 • 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる IPアドレス 8.8.8.8 宛のパケットは 誰に送ればいいんだろう？ Google AS15169 ユーザー AS? Amazon AS16509
37. 組織間の接続 • 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる IPアドレス 8.8.8.8 はGoogleの ところにあるよ Google AS15169 ユーザー AS? Amazon AS16509
38. 組織間の接続 • 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル 送信！！ Google AS15169 ユーザー AS? Amazon AS16509
39. 組織間の接続 • 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル • 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる • ASには最小で512個（/23）のIPが割り当てられる 8.0.0.0/8 もってるよ Google AS15169 ユーザー AS? Amazon AS16509
40. 組織間の接続 • 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル • 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる • ASには最小で512個（/23）のIPが割り当てられる ◦ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる Google AS15169 ユーザー ISP AS? Amazon AS16509
41. ipinfo.ioでISPを確認 我が家はOCN（AS4713）
42. 組織間の接続 • 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル • 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる • ASには最小で512個（/23）のIPが割り当てられる ◦ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる • AS間の接続も当然物理的に接続する必要がある
43. AS間の接続方法 • プライベートピアリング（直接接続） ◦ 構内接続: DC内で適当に配線 ◦ ダークファイバなどを利用して接続 • パブリックピアリング ◦ IX（Internet eXchange point） • トランジット経由
44. ピアリングの経路 ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n
45. IX（Internet eXchange point） • すべてのASとプライベートピアリングすると、ダークファイバや コミュニケーションなどのコストがかさむ • IXは様々なASが接続し、自由にピアリングできるサービス https://www.peeringdb.com/net/3973
46. トランジット • すべてのASがすべてのASに接続出来るわけではない ◦ 60000 ASがお互いに接続したら36万リンクが必要 ⇒ 無理 • 他のASのIPアドレスを広報してくれるピアをトランジットと呼ぶ ◦ 多くの場合、フルルート（全世界の IPアドレス）を広報してくれる ◦ フルルートは現在86万経路 NTT OCN IIJ CyberAgent Google あるトランジット事業者がピアリングしてない 宛先に送る場合、さらに上位のトランジットに 送信する 最上位のトランジットを Tier-1 ASと呼ぶ
47. IPの物理的な制約 • ユーザとサーバの経路が短い方が低レイテンシ • 長いダークファイバはコストが高い • 東京（大手町）にIXが多い ◦ 海底ケーブルの陸揚げポイントが首都圏にあり、アメ リカなどとの通信も有利 • ユーザとIXが多い東京・大阪に事業者が集中 ◦ 東京の事業者同士が北海道の IXで接続したら ・・・？？？ https://www.equinix.co.jp/data-centers/asia-pacific-colocation/japan-colocation/tokyo-data-centers 大手町
48. • インターネットは複雑な物理的制約の上で成立している • IPによって物理的制約が隠蔽されているが、レイテンシやパケットロスなどの形で 表面化することがある • データの信頼性はTCPやQUICなどの上のレイヤのプロトコルで保証される • 散歩や旅行の際に施設を眺め、インターネットを感じましょう！！！ このあとはゼミ長さま（中西さん）と黒崎さんによる 具体的なゼミの活動内容です まとめ
49. 2021年組織統合に伴いCIUに移籍 プライベートクラウド開発運用に従事 アニソンが好き インターネットゼミ ゼミ長 (さまではない) 中西 建登 画像 2019年度 新卒入社 CIU（CyberAgent group Infrastructure Unit） Private Cloud team @whywaita
50. インターネットゼミでは AS63790 を取得 ✨
51. インターネットゼミでは AS63790 を取得 ✨
52. インターネットゼミでは AS63790 を取得 ✨ ※メールのコピー
53. AS番号を取っても額縁は貰えません 󰢄 ABT横の東急ハンズで買った
54. AS番号の取得方法
55. 組織間の接続 • 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル • 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる • ASには最小で512個（/23）のIPが割り当てられる ◦ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる • AS間の接続も当然物理的に接続する必要がある
56. AS番号はとても貴重 • 世界中において 16-bit (2byte) で十分だと思われてた [RFC1930, 1996] > It is clear that this growth needs to be continually monitored. However, if the criteria applied above are adhered to, then there is no immediate danger of AS space exhaustion. [RFC1930 より引用] 足りなくなり 32-bit (4byte) まで拡張 [RFC4893, 2007] • 大本としては IANA (Internet Assigned Numbers Authority) が管理 非営利法人 ICANN の1機能 実務はRIR (Regional Internet Registery) に委譲 (2021年現在5組織) • 日本では JPNIC (Japan Network Information Center) が担当 RIR APNIC (Asia Pacific) が上位組織 https://www.nic.ad.jp/ja/basics/terms/iana.html https://www.iana.org/numbers https://www.janog.gr.jp/meeting/janog20/pdf/4byte_toyama.pdf
57. 審査がめっっっっっっっちゃ大変
58. Webフォーム
59. マニュアル
60. AS取得の流れ • Webフォームに入力 • Webフォームの入力内容受領のメールが届く • 人間がアサインされた旨のメールが届く • 担当者の方から追加で聞きたい内容を聞かれる • 回答 • （n回ぐらい繰り返す）
61. メールでのやり取り • ASは永続的に使うものか？ ◦ 一時的にAS番号を借りてすぐに返す というのが出来るらしい ◦ Webフォームにて利用目的に「実証実験」と書いたため ◦ 永続利用で申請 • 2-byte AS numberが必要か？ 4-byte AS numberが良いか？ ◦ 基本的に現在のJPNICは2-byte, 4-byte区別なく割当 ◦ 2-byte (0 - 65535) 4-byte (65536 - 4,294,967,295) 中のJPNIC割当分から ◦ 利用している機材が古く2-byte ASで申請 • etc etc...
62. 無事割当 🎉
63. そして
64. IPv4 / IPv6 アドレス取得編につづく…… 😇
65. Raspberry Pi 30台でクラスタを作る
66. 基盤技術責任者 黒崎 優太 2015年度 新卒入社 AI事業本部 DX本部 アプリ運用センター @kuro_m88 @kuro_m88
67. 早速ですが写真で振り返っていきます
68. 材料調達
69. Raspberry PiのPXE boot有効化
70. 全台PXE boot有効化 (繰り返し作業…)
71. とりあえず並べてイメージする
72. Raspberry Piを固定するための板の図面を描く
73. • 本社の隣に東急ハンズがあってめちゃ便利！ 図面を持って東急ハンズの店員さんに相談する
74. • 負荷試験すると6台突然死する🔥 半分の構成でひとまず負荷試験
76. 電圧降下を考慮して電源電圧を0.2Vくらい盛る
77. 3Dプリンター ※ 社員の私物を貸して頂きました
78. 冷却用のファンの固定部品を印刷
79. 板に固定していく
80. 半分の台数で動作確認
81. 残りも動作組み付けていく
82. 完成✨
83. 完成✨
84. コーポレートカラー✨
85. データセンターに搬入💪
86. デプロイ完了！
87. 安物の電流電圧計は使い物にならなかった
88. • ゼミの知見がさっそく役に立ちました！ 業務でもRaspberry Piを扱いはじめました
89. ご視聴ありがとうございました。