Tweet
Tweet

Slide 1

Slide 1 text

川原 大輝 中西 建登 黒崎 優太 作って(壊して？)学ぶ インターネットのしくみ サイバーエージェントの実験用ASの紹介

Slide 2

Slide 2 text

サイバーエージェントは “インターネット x 〇〇” の会社

Slide 3

Slide 3 text

でも、インターネットって よくわからなくないですか？

Slide 4

Slide 4 text

1.インターネットゼミ概要 2.インターネット（物理） 3.AS取得について 4.ラズパイクラスタの構築 川原 川原 中西 黒崎

Slide 5

Slide 5 text

Kubernetes as a Service（AKE）の開発 機械学習基盤（ML Platform）の開発 インターネットゼミの下っ端 川原 大輝 画像 2021年度 新卒入社 CIU（CyberAgent group Infrastructure Unit） Devチーム @h-otter

Slide 6

Slide 6 text

インターネットゼミ • 事業として〇〇の部分を伸ばしていくだけではなく、 ”インターネット” の知識を深めるべきなのでは • プロダクション環境では出来ない、作ったり、壊したりを繰り返して インターネットを学ぶ • 試験環境として AS63790 を運用 • Slack #ca-tech-internet で情報発信中！！！

Slide 7

Slide 7 text

メンバ構成 ゼミ長 中西 建登 ほか9名

Slide 8

Slide 8 text

ところで、インターネットってなに？

Slide 9

Slide 9 text

Internet ● IP（Internet Protocol）で構築される、ネットワークの集合体 ○ IPアドレスを宛先に設定したパケットを送信すると、宛先までパケットを届けてくれる仕組 み ○ 利用者は宛先までの物理的な構成を考慮する必要なく、データ送信が可能 ● 今や社会インフラのひとつ ● 日本では月間 約 20 Tbpsの通信 https://www.soumu.go.jp/main_content/000733741.pdf

Slide 10

Slide 10 text

せっかくなので インターネット物理の旅

Slide 11

Slide 11 text

ISP網 全体像はこんなかんじ 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n

Slide 12

Slide 12 text

ここから ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n

Slide 13

Slide 13 text

家からでるまで パソコン MDF盤 ONU 光コンセント 電信柱

Slide 14

Slide 14 text

Wi-Fi AP / ルーター / ONU ってどれ？ ONU ルーター Wi-Fi AP https://www.aterm.jp/product/atermstation/product/warpstar/wg1900hp2/ https://jpn.nec.com/univerge/ix/Info/ix2105.html https://web116.jp/shop/hikari_r/rt_500mi/rt_500mi_00.html 無線LANルーター HGW

Slide 15

Slide 15 text

家から電信柱まで ※ 光配線方式の場合の解説です https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html

Slide 16

Slide 16 text

光コンセント ⇒ MDF盤 ⇒ 電信柱 https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html https://www.ntt-east.co.jp/info/detail/130308_01.html

Slide 17

Slide 17 text

光スプリッタ : 電源がいらなくて便利 https://internet.watch.impress.co.jp/img/iw/docs/389/324/html/flets25.jpg.html

Slide 18

Slide 18 text

電信柱への接続 マ ン シ ョ ン 内 の 地 下 配 線 公共の 共用柱 マンションの電 信柱 使うファイバだけ分岐

Slide 19

Slide 19 text

家からでるまで [再掲] パソコン MDF盤 ONU 光コンセント 電信柱

Slide 20

Slide 20 text

次はここの話 ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n

Slide 21

Slide 21 text

電信柱 • NTTなどの通信線がかかっている電信柱 • 東京電力などの配電線がかかっている電柱（電力柱） • 電信柱と電力柱を掛け持つ共用柱 • 電信柱には主にファイバーが束になった ケーブルが架かっている 東京電力などの配電線 NTTなどの通信線 https://www.furukawa.co.jp/telecom/product/opt_fibercable/fibercable_list.html

Slide 22

Slide 22 text

とう道 ● ケーブルなどを管理するための地下トンネルのうち、人が通れるもの ● 都内のみで 290 km 張り巡らされている ● 日本の重大インフラを担っており、どこに何があるかは機密 ○ ただ、小学生に対する見学ツアーは結構やっているらしい https://internet.watch.impress.co.jp/docs/special/1225244.html https://businessnetwork.jp/Detail/tabid/65/artid/6421/Default.aspx

Slide 23

Slide 23 text

通信局舎（NTT通信ビル） • 顧客の通信回線を集約し、インターネットなどにつなげる • 昔は電話局として地図に記載されていたが、現在は非公開 • 浸水・津波等の対策で1階はコンクリートで埋められている https://internet.watch.impress.co.jp/docs/special/1225244.html https://businessnetwork.jp/Detail/tabid/65/artid/6421/Default.aspx

Slide 24

Slide 24 text

次はここの話 ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n

Slide 25

Slide 25 text

拠点間の接続 ● ダークファイバ ● 海底ケーブル ● 無線通信

Slide 26

Slide 26 text

ダークファイバ ● 電気通信事業者などが敷設した光ファイバのうち、利用されていない心線 ○ NTTやKDDIなどの電気通信事業者が敷設した電信柱 / 洞道のファイバ ○ JRや京王電鉄など鉄道会社の基盤用に敷設したファイバ ● ダークファイバを他業者に貸すサービスが提供されている ● もちろんトップシェアはNTT系列 数本を貸し出す

Slide 27

Slide 27 text

しかし、ダークファイバは物理の世界 様々な制約があります

Slide 28

Slide 28 text

立地上の問題で遠回りする必要があったり ● 秋葉原UDXから国会議事堂間で敷設 ⇒ 間には皇居があるため、直線で接続不可 ● 他にも... ○ 山 ○ 川 ○ 人口が少なく敷設が少ない地域 ↑ Google Mapのルート経路 　実際の光ファイバールートは非公開

Slide 29

Slide 29 text

ファイバが敷設されてなかったり、空きがなかったり 1. ダークファイバ事業者に新しく敷設してもらう ⇒ 高い 2. 別ダークファイバ事業者と併用する たとえば、ABTから八王子への接続を考えるときに、渋谷駅と京王八王子駅間で NTTの ダークファイバ在庫がなかった場合、下図のように接続可能 https://www.keio.co.jp/train/other/hikari/index.html ABT 目的地

Slide 30

Slide 30 text

海底ケーブル ● 海底に敷設されたケーブル ● 日本は島国であるため、海外や離島に向 けて敷設されている ● 海底ケーブルの揺れで地震を測定する Googleの研究も...... https://www.submarinecablemap.com/ https://cloud.google.com/blog/ja/products/infrastructure/using-subsea-cables-to-detect-earthquakes https://time-space.kddi.com/au-kddi/20191226/2802

Slide 31

Slide 31 text

海底ケーブルの敷設 海岸からケーブルをひき、船からゆっくりとケーブルを送り出していく https://time-space.kddi.com/au-kddi/20191226/2802 https://twitter.com/AS59105_Infra/status/1429078900412272651 https://twitter.com/AS59105_Infra/status/1431861743202930699

Slide 32

Slide 32 text

工事、天気、災害による障害 ● ファイバーはデリケート ○ 曲げ半径に限界がある ○ 踏むとパケットロスしたり ファイバ内の光は全反射で進む 臨界角を超えると外に出てしまう

Slide 33

Slide 33 text

工事、天気、災害による障害 ● ファイバーはデリケート ○ 曲げ半径に限界がある ○ 踏むとパケットロスしたり ● 工事で一部のファイバールートが一時的に使用不可 ● 台風、地震で電信柱が倒れる ● ネズミ・サメがケーブルを噛む、虫が卵を産む ● 酔っ払ったハンターが射撃 https://www.geekpage.jp/blog/?id=2011/9/6/1 https://xtech.nikkei.com/atcl/nxt/column/18/00142/00562/ 2019年の台風で倒れた電信柱

Slide 34

Slide 34 text

物理的なつながりはなんとなく わかってきましたよね？

Slide 35

Slide 35 text

次はここの話 ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n

Slide 36

Slide 36 text

組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる IPアドレス 8.8.8.8 宛のパケットは 誰に送ればいいんだろう？ Google AS15169 ユーザー AS? Amazon AS16509

Slide 37

Slide 37 text

組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる IPアドレス 8.8.8.8 はGoogleの ところにあるよ Google AS15169 ユーザー AS? Amazon AS16509

Slide 38

Slide 38 text

組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル 送信！！ Google AS15169 ユーザー AS? Amazon AS16509

Slide 39

Slide 39 text

組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル ● 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる ● ASには最小で512個（/23）のIPが割り当てられる 8.0.0.0/8 もってるよ Google AS15169 ユーザー AS? Amazon AS16509

Slide 40

Slide 40 text

組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル ● 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる ● ASには最小で512個（/23）のIPが割り当てられる ○ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる Google AS15169 ユーザー ISP AS? Amazon AS16509

Slide 41

Slide 41 text

ipinfo.ioでISPを確認 我が家はOCN（AS4713）

Slide 42

Slide 42 text

組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル ● 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる ● ASには最小で512個（/23）のIPが割り当てられる ○ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる ● AS間の接続も当然物理的に接続する必要がある

Slide 43

Slide 43 text

AS間の接続方法 ● プライベートピアリング（直接接続） ○ 構内接続: DC内で適当に配線 ○ ダークファイバなどを利用して接続 ● パブリックピアリング ○ IX（Internet eXchange point） ● トランジット経由

Slide 44

Slide 44 text

ピアリングの経路 ISP網 家 通信局舎 拠点1 サービスプロバイダ （CyberAgentなど） トランジット IX 拠点n

Slide 45

Slide 45 text

IX（Internet eXchange point） • すべてのASとプライベートピアリングすると、ダークファイバや コミュニケーションなどのコストがかさむ • IXは様々なASが接続し、自由にピアリングできるサービス https://www.peeringdb.com/net/3973

Slide 46

Slide 46 text

トランジット ● すべてのASがすべてのASに接続出来るわけではない ○ 60000 ASがお互いに接続したら36万リンクが必要 ⇒ 無理 ● 他のASのIPアドレスを広報してくれるピアをトランジットと呼ぶ ○ 多くの場合、フルルート（全世界の IPアドレス）を広報してくれる ○ フルルートは現在86万経路 NTT OCN IIJ CyberAgent Google あるトランジット事業者がピアリングしてない 宛先に送る場合、さらに上位のトランジットに 送信する 最上位のトランジットを Tier-1 ASと呼ぶ

Slide 47

Slide 47 text

IPの物理的な制約 ● ユーザとサーバの経路が短い方が低レイテンシ ● 長いダークファイバはコストが高い ● 東京（大手町）にIXが多い ○ 海底ケーブルの陸揚げポイントが首都圏にあり、アメ リカなどとの通信も有利 ● ユーザとIXが多い東京・大阪に事業者が集中 ○ 東京の事業者同士が北海道の IXで接続したら ・・・？？？ https://www.equinix.co.jp/data-centers/asia-pacific-colocation/japan-colocation/tokyo-data-centers 大手町

Slide 48

Slide 48 text

● インターネットは複雑な物理的制約の上で成立している ● IPによって物理的制約が隠蔽されているが、レイテンシやパケットロスなどの形で 表面化することがある ● データの信頼性はTCPやQUICなどの上のレイヤのプロトコルで保証される ● 散歩や旅行の際に施設を眺め、インターネットを感じましょう！！！ このあとはゼミ長さま（中西さん）と黒崎さんによる 具体的なゼミの活動内容です まとめ

Slide 49

Slide 49 text

2021年組織統合に伴いCIUに移籍 プライベートクラウド開発運用に従事 アニソンが好き インターネットゼミ ゼミ長 (さまではない) 中西 建登 画像 2019年度 新卒入社 CIU（CyberAgent group Infrastructure Unit） Private Cloud team @whywaita

Slide 50

Slide 50 text

インターネットゼミでは AS63790 を取得 ✨

Slide 51

Slide 51 text

インターネットゼミでは AS63790 を取得 ✨

Slide 52

Slide 52 text

インターネットゼミでは AS63790 を取得 ✨ ※メールのコピー

Slide 53

Slide 53 text

AS番号を取っても額縁は貰えません 󰢄 ABT横の東急ハンズで買った

Slide 54

Slide 54 text

AS番号の取得方法

Slide 55

Slide 55 text

組織間の接続 ● 組織間の接続には主にBGP（Border Gateway Protocol）がもちいられる ⇒ IPアドレスの所属を知らせる（広報する）プロトコル ● 組織には全世界でユニークなNIC（Network Information Centre）から AS番号が割り当てられる ● ASには最小で512個（/23）のIPが割り当てられる ○ 一般家庭には一つあれば十分なため ISP（Internet Service Provider）がその辺の管理 を肩代わりしてくれる ● AS間の接続も当然物理的に接続する必要がある

Slide 56

Slide 56 text

AS番号はとても貴重 • 世界中において 16-bit (2byte) で十分だと思われてた [RFC1930, 1996] > It is clear that this growth needs to be continually monitored. However, if the criteria applied above are adhered to, then there is no immediate danger of AS space exhaustion. [RFC1930 より引用] 足りなくなり 32-bit (4byte) まで拡張 [RFC4893, 2007] • 大本としては IANA (Internet Assigned Numbers Authority) が管理 非営利法人 ICANN の1機能 実務はRIR (Regional Internet Registery) に委譲 (2021年現在5組織) • 日本では JPNIC (Japan Network Information Center) が担当 RIR APNIC (Asia Pacific) が上位組織 https://www.nic.ad.jp/ja/basics/terms/iana.html https://www.iana.org/numbers https://www.janog.gr.jp/meeting/janog20/pdf/4byte_toyama.pdf

Slide 57

Slide 57 text

審査がめっっっっっっっちゃ大変

Slide 58

Slide 58 text

Webフォーム

Slide 59

Slide 59 text

マニュアル

Slide 60

Slide 60 text

AS取得の流れ ● Webフォームに入力 ● Webフォームの入力内容受領のメールが届く ● 人間がアサインされた旨のメールが届く ● 担当者の方から追加で聞きたい内容を聞かれる ● 回答 ● （n回ぐらい繰り返す）

Slide 61

Slide 61 text

メールでのやり取り ● ASは永続的に使うものか？ ○ 一時的にAS番号を借りてすぐに返す というのが出来るらしい ○ Webフォームにて利用目的に「実証実験」と書いたため ○ 永続利用で申請 ● 2-byte AS numberが必要か？ 4-byte AS numberが良いか？ ○ 基本的に現在のJPNICは2-byte, 4-byte区別なく割当 ○ 2-byte (0 - 65535) 4-byte (65536 - 4,294,967,295) 中のJPNIC割当分から ○ 利用している機材が古く2-byte ASで申請 ● etc etc...

Slide 62

Slide 62 text

無事割当 🎉

Slide 63

Slide 63 text

そして

Slide 64

Slide 64 text

IPv4 / IPv6 アドレス取得編につづく…… 😇

Slide 65

Slide 65 text

Raspberry Pi 30台でクラスタを作る

Slide 66

Slide 66 text

基盤技術責任者 黒崎 優太 2015年度 新卒入社 AI事業本部 DX本部 アプリ運用センター @kuro_m88 @kuro_m88

Slide 67

Slide 67 text

早速ですが写真で振り返っていきます

Slide 68

Slide 68 text

材料調達

Slide 69

Slide 69 text

Raspberry PiのPXE boot有効化

Slide 70

Slide 70 text

全台PXE boot有効化 (繰り返し作業…)

Slide 71

Slide 71 text

とりあえず並べてイメージする

Slide 72

Slide 72 text

Raspberry Piを固定するための板の図面を描く

Slide 73

Slide 73 text

● 本社の隣に東急ハンズがあってめちゃ便利！ 図面を持って東急ハンズの店員さんに相談する

Slide 74

Slide 74 text

● 負荷試験すると6台突然死する🔥 半分の構成でひとまず負荷試験

Slide 75

Slide 75 text

No content

Slide 76

Slide 76 text

電圧降下を考慮して電源電圧を0.2Vくらい盛る

Slide 77

Slide 77 text

3Dプリンター ※ 社員の私物を貸して頂きました

Slide 78

Slide 78 text

冷却用のファンの固定部品を印刷

Slide 79

Slide 79 text

板に固定していく

Slide 80

Slide 80 text

半分の台数で動作確認

Slide 81

Slide 81 text

残りも動作組み付けていく

Slide 82

Slide 82 text

完成✨

Slide 83

Slide 83 text

完成✨

Slide 84

Slide 84 text

コーポレートカラー✨

Slide 85

Slide 85 text

データセンターに搬入💪

Slide 86

Slide 86 text

デプロイ完了！

Slide 87

Slide 87 text

安物の電流電圧計は使い物にならなかった

Slide 88

Slide 88 text

● ゼミの知見がさっそく役に立ちました！ 業務でもRaspberry Piを扱いはじめました

Slide 89

Slide 89 text

ご視聴ありがとうございました。