Upgrade to Pro — share decks privately, control downloads, hide ads and more …

作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in CyberAgent Internet Seminer

whywaita
September 16, 2021

作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in CyberAgent Internet Seminer

サイバーエージェントの社内エンジニアカンファレンス CA BASE CAMP 2021で発表した資料です

元スライド: https://www.slideshare.net/whywaita/as-introduce-experimental-as-in-cyberagent-internet-seminer

このスライドは著者による再アップロード版です。

whywaita

September 16, 2021
Tweet

More Decks by whywaita

Other Decks in Technology

Transcript

  1. 川原 大輝
    中西 建登
    黒崎 優太
    作って(壊して?)学ぶ
    インターネットのしくみ
    サイバーエージェントの実験用ASの紹介

    View full-size slide

  2. サイバーエージェントは
    “インターネット x 〇〇” の会社

    View full-size slide

  3. でも、インターネットって
    よくわからなくないですか?

    View full-size slide

  4. 1.インターネットゼミ概要
    2.インターネット(物理)
    3.AS取得について
    4.ラズパイクラスタの構築
    川原
    川原
    中西
    黒崎

    View full-size slide

  5. Kubernetes as a Service(AKE)の開発
    機械学習基盤(ML Platform)の開発
    インターネットゼミの下っ端
    川原 大輝
    画像
    2021年度 新卒入社
    CIU(CyberAgent group Infrastructure Unit)
    Devチーム
    @h-otter

    View full-size slide

  6. インターネットゼミ
    • 事業として〇〇の部分を伸ばしていくだけではなく、
    ”インターネット” の知識を深めるべきなのでは
    • プロダクション環境では出来ない、作ったり、壊したりを繰り返して
    インターネットを学ぶ
    • 試験環境として AS63790 を運用
    • Slack #ca-tech-internet で情報発信中!!!

    View full-size slide

  7. メンバ構成
    ゼミ長 中西 建登
    ほか9名

    View full-size slide

  8. ところで、インターネットってなに?

    View full-size slide

  9. Internet
    ● IP(Internet Protocol)で構築される、ネットワークの集合体

    IPアドレスを宛先に設定したパケットを送信すると、宛先までパケットを届けてくれる仕組


    利用者は宛先までの物理的な構成を考慮する必要なく、データ送信が可能
    ● 今や社会インフラのひとつ
    ● 日本では月間 約 20 Tbpsの通信
    https://www.soumu.go.jp/main_content/000733741.pdf

    View full-size slide

  10. せっかくなので
    インターネット物理の旅

    View full-size slide

  11. ISP網
    全体像はこんなかんじ

    通信局舎
    拠点1
    サービスプロバイダ
    (CyberAgentなど)
    トランジット
    IX
    拠点n

    View full-size slide

  12. ここから
    ISP網

    通信局舎
    拠点1
    サービスプロバイダ
    (CyberAgentなど)
    トランジット
    IX
    拠点n

    View full-size slide

  13. 家からでるまで
    パソコン MDF盤
    ONU 光コンセント 電信柱

    View full-size slide

  14. Wi-Fi AP / ルーター / ONU ってどれ?
    ONU
    ルーター
    Wi-Fi AP
    https://www.aterm.jp/product/atermstation/product/warpstar/wg1900hp2/
    https://jpn.nec.com/univerge/ix/Info/ix2105.html
    https://web116.jp/shop/hikari_r/rt_500mi/rt_500mi_00.html
    無線LANルーター
    HGW

    View full-size slide

  15. 家から電信柱まで ※ 光配線方式の場合の解説です
    https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html

    View full-size slide

  16. 光コンセント ⇒ MDF盤 ⇒ 電信柱
    https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html
    https://www.ntt-east.co.jp/info/detail/130308_01.html

    View full-size slide

  17. 光スプリッタ : 電源がいらなくて便利
    https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html

    View full-size slide

  18. 電信柱への接続











    公共の
    共用柱
    マンションの電
    信柱
    使うファイバだけ分岐

    View full-size slide

  19. 家からでるまで [再掲]
    パソコン MDF盤
    ONU 光コンセント 電信柱

    View full-size slide

  20. 次はここの話
    ISP網

    通信局舎
    拠点1
    サービスプロバイダ
    (CyberAgentなど)
    トランジット
    IX
    拠点n

    View full-size slide

  21. 電信柱
    • NTTなどの通信線がかかっている電信柱
    • 東京電力などの配電線がかかっている電柱(電力柱)
    • 電信柱と電力柱を掛け持つ共用柱
    • 電信柱には主にファイバーが束になった
    ケーブルが架かっている
    東京電力などの配電線
    NTTなどの通信線
    https://www.furukawa.co.jp/telecom/product/opt_fibercable/fibercable_list.html

    View full-size slide

  22. とう道
    ● ケーブルなどを管理するための地下トンネルのうち、人が通れるもの
    ● 都内のみで 290 km 張り巡らされている
    ● 日本の重大インフラを担っており、どこに何があるかは機密

    ただ、小学生に対する見学ツアーは結構やっているらしい
    https://internet.watch.impress.co.jp/docs/special/1225244.html
    https://businessnetwork.jp/Detail/tabid/65/artid/6421/Default.aspx

    View full-size slide

  23. 通信局舎(NTT通信ビル)
    • 顧客の通信回線を集約し、インターネットなどにつなげる
    • 昔は電話局として地図に記載されていたが、現在は非公開
    • 浸水・津波等の対策で1階はコンクリートで埋められている
    https://internet.watch.impress.co.jp/docs/special/1225244.html
    https://businessnetwork.jp/Detail/tabid/65/artid/6421/Default.aspx

    View full-size slide

  24. 次はここの話
    ISP網

    通信局舎
    拠点1
    サービスプロバイダ
    (CyberAgentなど)
    トランジット
    IX
    拠点n

    View full-size slide

  25. 拠点間の接続
    ● ダークファイバ
    ● 海底ケーブル
    ● 無線通信

    View full-size slide

  26. ダークファイバ
    ● 電気通信事業者などが敷設した光ファイバのうち、利用されていない心線

    NTTやKDDIなどの電気通信事業者が敷設した電信柱 / 洞道のファイバ

    JRや京王電鉄など鉄道会社の基盤用に敷設したファイバ
    ● ダークファイバを他業者に貸すサービスが提供されている
    ● もちろんトップシェアはNTT系列
    数本を貸し出す

    View full-size slide

  27. しかし、ダークファイバは物理の世界
    様々な制約があります

    View full-size slide

  28. 立地上の問題で遠回りする必要があったり
    ● 秋葉原UDXから国会議事堂間で敷設
    ⇒ 間には皇居があるため、直線で接続不可
    ● 他にも...





    人口が少なく敷設が少ない地域
    ↑ Google Mapのルート経路
     実際の光ファイバールートは非公開

    View full-size slide

  29. ファイバが敷設されてなかったり、空きがなかったり
    1. ダークファイバ事業者に新しく敷設してもらう ⇒ 高い
    2. 別ダークファイバ事業者と併用する
    たとえば、ABTから八王子への接続を考えるときに、渋谷駅と京王八王子駅間で
    NTTの
    ダークファイバ在庫がなかった場合、下図のように接続可能
    https://www.keio.co.jp/train/other/hikari/index.html
    ABT
    目的地

    View full-size slide

  30. 海底ケーブル
    ● 海底に敷設されたケーブル
    ● 日本は島国であるため、海外や離島に向
    けて敷設されている
    ● 海底ケーブルの揺れで地震を測定する
    Googleの研究も......
    https://www.submarinecablemap.com/
    https://cloud.google.com/blog/ja/products/infrastructure/using-subsea-cables-to-detect-earthquakes
    https://time-space.kddi.com/au-kddi/20191226/2802

    View full-size slide

  31. 海底ケーブルの敷設
    海岸からケーブルをひき、船からゆっくりとケーブルを送り出していく
    https://time-space.kddi.com/au-kddi/20191226/2802
    https://twitter.com/AS59105_Infra/status/1429078900412272651
    https://twitter.com/AS59105_Infra/status/1431861743202930699

    View full-size slide

  32. 工事、天気、災害による障害
    ● ファイバーはデリケート

    曲げ半径に限界がある

    踏むとパケットロスしたり
    ファイバ内の光は全反射で進む
    臨界角を超えると外に出てしまう

    View full-size slide

  33. 工事、天気、災害による障害
    ● ファイバーはデリケート

    曲げ半径に限界がある

    踏むとパケットロスしたり
    ● 工事で一部のファイバールートが一時的に使用不可
    ● 台風、地震で電信柱が倒れる
    ● ネズミ・サメがケーブルを噛む、虫が卵を産む
    ● 酔っ払ったハンターが射撃
    https://www.geekpage.jp/blog/?id=2011/9/6/1
    https://xtech.nikkei.com/atcl/nxt/column/18/00142/00562/
    2019年の台風で倒れた電信柱

    View full-size slide

  34. 物理的なつながりはなんとなく
    わかってきましたよね?

    View full-size slide

  35. 次はここの話
    ISP網

    通信局舎
    拠点1
    サービスプロバイダ
    (CyberAgentなど)
    トランジット
    IX
    拠点n

    View full-size slide

  36. 組織間の接続
    ● 組織間の接続には主にBGP(Border Gateway Protocol)がもちいられる
    IPアドレス 8.8.8.8 宛のパケットは
    誰に送ればいいんだろう?
    Google
    AS15169
    ユーザー
    AS?
    Amazon
    AS16509

    View full-size slide

  37. 組織間の接続
    ● 組織間の接続には主にBGP(Border Gateway Protocol)がもちいられる
    IPアドレス 8.8.8.8 はGoogleの
    ところにあるよ
    Google
    AS15169
    ユーザー
    AS?
    Amazon
    AS16509

    View full-size slide

  38. 組織間の接続
    ● 組織間の接続には主にBGP(Border Gateway Protocol)がもちいられる
    ⇒ IPアドレスの所属を知らせる(広報する)プロトコル
    送信!!
    Google
    AS15169
    ユーザー
    AS?
    Amazon
    AS16509

    View full-size slide

  39. 組織間の接続
    ● 組織間の接続には主にBGP(Border Gateway Protocol)がもちいられる
    ⇒ IPアドレスの所属を知らせる(広報する)プロトコル
    ● 組織には全世界でユニークなNIC(Network Information Centre)から
    AS番号が割り当てられる
    ● ASには最小で512個(/23)のIPが割り当てられる
    8.0.0.0/8 もってるよ
    Google
    AS15169
    ユーザー
    AS?
    Amazon
    AS16509

    View full-size slide

  40. 組織間の接続
    ● 組織間の接続には主にBGP(Border Gateway Protocol)がもちいられる
    ⇒ IPアドレスの所属を知らせる(広報する)プロトコル
    ● 組織には全世界でユニークなNIC(Network Information Centre)から
    AS番号が割り当てられる
    ● ASには最小で512個(/23)のIPが割り当てられる

    一般家庭には一つあれば十分なため
    ISP(Internet Service Provider)がその辺の管理
    を肩代わりしてくれる Google
    AS15169
    ユーザー ISP
    AS?
    Amazon
    AS16509

    View full-size slide

  41. ipinfo.ioでISPを確認
    我が家はOCN(AS4713)

    View full-size slide

  42. 組織間の接続
    ● 組織間の接続には主にBGP(Border Gateway Protocol)がもちいられる
    ⇒ IPアドレスの所属を知らせる(広報する)プロトコル
    ● 組織には全世界でユニークなNIC(Network Information Centre)から
    AS番号が割り当てられる
    ● ASには最小で512個(/23)のIPが割り当てられる

    一般家庭には一つあれば十分なため
    ISP(Internet Service Provider)がその辺の管理
    を肩代わりしてくれる
    ● AS間の接続も当然物理的に接続する必要がある

    View full-size slide

  43. AS間の接続方法
    ● プライベートピアリング(直接接続)
    ○ 構内接続: DC内で適当に配線
    ○ ダークファイバなどを利用して接続
    ● パブリックピアリング
    ○ IX(Internet eXchange point)
    ● トランジット経由

    View full-size slide

  44. ピアリングの経路
    ISP網

    通信局舎
    拠点1
    サービスプロバイダ
    (CyberAgentなど)
    トランジット
    IX
    拠点n

    View full-size slide

  45. IX(Internet eXchange point)
    • すべてのASとプライベートピアリングすると、ダークファイバや
    コミュニケーションなどのコストがかさむ
    • IXは様々なASが接続し、自由にピアリングできるサービス
    https://www.peeringdb.com/net/3973

    View full-size slide

  46. トランジット
    ● すべてのASがすべてのASに接続出来るわけではない

    60000 ASがお互いに接続したら36万リンクが必要 ⇒ 無理
    ● 他のASのIPアドレスを広報してくれるピアをトランジットと呼ぶ

    多くの場合、フルルート(全世界の
    IPアドレス)を広報してくれる

    フルルートは現在86万経路
    NTT OCN
    IIJ
    CyberAgent Google
    あるトランジット事業者がピアリングしてない
    宛先に送る場合、さらに上位のトランジットに
    送信する
    最上位のトランジットを Tier-1 ASと呼ぶ

    View full-size slide

  47. IPの物理的な制約
    ● ユーザとサーバの経路が短い方が低レイテンシ
    ● 長いダークファイバはコストが高い
    ● 東京(大手町)にIXが多い

    海底ケーブルの陸揚げポイントが首都圏にあり、アメ
    リカなどとの通信も有利
    ● ユーザとIXが多い東京・大阪に事業者が集中

    東京の事業者同士が北海道の
    IXで接続したら
    ・・・???
    https://www.equinix.co.jp/data-centers/asia-pacific-colocation/japan-colocation/tokyo-data-centers
    大手町

    View full-size slide

  48. ● インターネットは複雑な物理的制約の上で成立している
    ● IPによって物理的制約が隠蔽されているが、レイテンシやパケットロスなどの形で
    表面化することがある
    ● データの信頼性はTCPやQUICなどの上のレイヤのプロトコルで保証される
    ● 散歩や旅行の際に施設を眺め、インターネットを感じましょう!!!
    このあとはゼミ長さま(中西さん)と黒崎さんによる
    具体的なゼミの活動内容です
    まとめ

    View full-size slide

  49. 2021年組織統合に伴いCIUに移籍
    プライベートクラウド開発運用に従事
    アニソンが好き
    インターネットゼミ ゼミ長 (さまではない)
    中西 建登
    画像
    2019年度 新卒入社
    CIU(CyberAgent group Infrastructure Unit)
    Private Cloud team
    @whywaita

    View full-size slide

  50. インターネットゼミでは AS63790 を取得 ✨

    View full-size slide

  51. インターネットゼミでは AS63790 を取得 ✨

    View full-size slide

  52. インターネットゼミでは AS63790 を取得 ✨
    ※メールのコピー

    View full-size slide

  53. AS番号を取っても額縁は貰えません 󰢄
    ABT横の東急ハンズで買った

    View full-size slide

  54. AS番号の取得方法

    View full-size slide

  55. 組織間の接続
    ● 組織間の接続には主にBGP(Border Gateway Protocol)がもちいられる
    ⇒ IPアドレスの所属を知らせる(広報する)プロトコル
    ● 組織には全世界でユニークなNIC(Network Information Centre)から
    AS番号が割り当てられる
    ● ASには最小で512個(/23)のIPが割り当てられる

    一般家庭には一つあれば十分なため
    ISP(Internet Service Provider)がその辺の管理
    を肩代わりしてくれる
    ● AS間の接続も当然物理的に接続する必要がある

    View full-size slide

  56. AS番号はとても貴重
    • 世界中において 16-bit (2byte) で十分だと思われてた [RFC1930, 1996]
    > It is clear that this growth needs to be continually monitored. However, if the
    criteria applied above are adhered to, then there is no immediate danger of AS
    space exhaustion. [RFC1930 より引用]
    足りなくなり 32-bit (4byte) まで拡張 [RFC4893, 2007]
    • 大本としては IANA (Internet Assigned Numbers Authority) が管理
    非営利法人 ICANN の1機能
    実務はRIR (Regional Internet Registery) に委譲 (2021年現在5組織)
    • 日本では JPNIC (Japan Network Information Center) が担当
    RIR APNIC (Asia Pacific) が上位組織
    https://www.nic.ad.jp/ja/basics/terms/iana.html
    https://www.iana.org/numbers
    https://www.janog.gr.jp/meeting/janog20/pdf/4byte_toyama.pdf

    View full-size slide

  57. 審査がめっっっっっっっちゃ大変

    View full-size slide

  58. Webフォーム

    View full-size slide

  59. マニュアル

    View full-size slide

  60. AS取得の流れ
    ● Webフォームに入力
    ● Webフォームの入力内容受領のメールが届く
    ● 人間がアサインされた旨のメールが届く
    ● 担当者の方から追加で聞きたい内容を聞かれる
    ● 回答
    ● (n回ぐらい繰り返す)

    View full-size slide

  61. メールでのやり取り
    ● ASは永続的に使うものか?

    一時的にAS番号を借りてすぐに返す というのが出来るらしい

    Webフォームにて利用目的に「実証実験」と書いたため

    永続利用で申請
    ● 2-byte AS numberが必要か? 4-byte AS numberが良いか?

    基本的に現在のJPNICは2-byte, 4-byte区別なく割当

    2-byte (0 - 65535) 4-byte (65536 - 4,294,967,295) 中のJPNIC割当分から

    利用している機材が古く2-byte ASで申請
    ● etc etc...

    View full-size slide

  62. 無事割当 🎉

    View full-size slide

  63. IPv4 / IPv6 アドレス取得編につづく…… 😇

    View full-size slide

  64. Raspberry Pi 30台でクラスタを作る

    View full-size slide

  65. 基盤技術責任者
    黒崎 優太
    2015年度 新卒入社
    AI事業本部 DX本部 アプリ運用センター
    @kuro_m88
    @kuro_m88

    View full-size slide

  66. 早速ですが写真で振り返っていきます

    View full-size slide

  67. 材料調達

    View full-size slide

  68. Raspberry PiのPXE boot有効化

    View full-size slide

  69. 全台PXE boot有効化 (繰り返し作業…)

    View full-size slide

  70. とりあえず並べてイメージする

    View full-size slide

  71. Raspberry Piを固定するための板の図面を描く

    View full-size slide

  72. ● 本社の隣に東急ハンズがあってめちゃ便利!
    図面を持って東急ハンズの店員さんに相談する

    View full-size slide

  73. ● 負荷試験すると6台突然死する🔥
    半分の構成でひとまず負荷試験

    View full-size slide

  74. 電圧降下を考慮して電源電圧を0.2Vくらい盛る

    View full-size slide

  75. 3Dプリンター ※ 社員の私物を貸して頂きました

    View full-size slide

  76. 冷却用のファンの固定部品を印刷

    View full-size slide

  77. 板に固定していく

    View full-size slide

  78. 半分の台数で動作確認

    View full-size slide

  79. 残りも動作組み付けていく

    View full-size slide

  80. コーポレートカラー✨

    View full-size slide

  81. データセンターに搬入💪

    View full-size slide

  82. デプロイ完了!

    View full-size slide

  83. 安物の電流電圧計は使い物にならなかった

    View full-size slide

  84. ● ゼミの知見がさっそく役に立ちました!
    業務でもRaspberry Piを扱いはじめました

    View full-size slide

  85. ご視聴ありがとうございました。

    View full-size slide