本当は楽しいインターネット

Transcript

1. 本当は楽しいインターネット インターネットマルチフィード株式会社 技術部 川上 雄也 インターネットの仕組みと運⽤用 2014/09/14 　情報科学若若⼿手の会
2. 2 2014 (c) INTERNET MULTIFEED CO. 注意書き n  この資料料は2014年年9⽉月14⽇日に開催された「情報科学若若⼿手の会2014」における 若若⼿手特別講演での発表に使⽤用した資料料です n  誤記の修正や補⾜足の追加、内容の削除、順序の変更更など、発表時の資料料と異異な るところがあります n  この資料料は初学者向けにわかりやすく説明することを⽬目的としたものであり、 厳密には正しくない内容が含まれている可能性があります n  この資料料は全て公開されている情報に基づいて作成されています n  この資料料に含まれるデータは、2014年年9⽉月13⽇日時点において取得可能であった ものを利利⽤用しています n  この資料料の中で引⽤用している画像の著作権は元の著作者に帰属します n  この資料料を利利⽤用することによって発⽣生した、いかなる損害やトラブルについて も責任を負いません n  もしこの資料料に誤りがありましたら遠慮無くお知らせください
3. 3 2014 (c) INTERNET MULTIFEED CO. 川上 雄也 (@yuyarin, ゆやりん) インターネットマルチフィード株式会社 　技術部 ネットワークエンジニア インターネットエクスチェンジ「JPNAP」の運⽤用 学⽣生時代にインターネットの魅⼒力力に取りつかれる
4. 4 2014 (c) INTERNET MULTIFEED CO. インターネットとは 相互接続 インターネット・プロトコル技術を利利⽤用した 相互接続によるコンピュータ・ネットワーク IP通信 IP通信 ネットワークα ネットワークβ [Wikipedia] ネットワークのネットワーク（インターネットワーク）
5. 5 2014 (c) INTERNET MULTIFEED CO. インターネットとAS 相互接続 相互接続している個々の独⽴立立したネットワークを ⾃自律律システム(Autonomous System, AS)と呼ぶ ASα ASβ ネットワークα ネットワークβ
6. 6 2014 (c) INTERNET MULTIFEED CO. AS（⾃自律律システム） 相互接続 単⼀一のルーティングポリシーに基づいて運⽤用される 機器の集合(ドメイン)で固有の番号(AS番号)が割り当てられる AS65001 AS65002 ネットワークα ネットワークβ
7. 7 2014 (c) INTERNET MULTIFEED CO. 知っておくと便便利利なAS番号 n  国内キャリア・ISP n  コンテンツプロバイダ AS番号 会社 代表サービス 2497 IIJ 2516 KDDI au, au one net 2914 NTTコミュニケーションズ ntt.net 4713 NTTコミュニケーションズ OCN 4725 ソフトバンクテレコム ODN 9605 NTTドコモ mopera 17505 ソフトバンクモバイル 17676 ソフトバンクBB Yahoo!BB 同じ会社でもポリシーが 違うとASを分ける 714 Apple 13414 Twitter 15169 Google YouTube 23576 LINE 38634 dwango ニコニコ動画
8. 8 2014 (c) INTERNET MULTIFEED CO. インターネット・プロトコル(IP) インターネットワーキングにおいてパケットを 転送するためにに使われるプロトコル ベストエフォート でもちゃんとパケットが相⼿手に届くかなんて知らない！ ステートレス 今何の通信をやっててどうなってるかなんて知らない！ End-to-End ネットワークを超えて宛先までデータを運ぶだけよ！ プロトコルには役割分担がある コネクションレス 相⼿手にいきなりパケットを送りつけるよ！
9. 9 2014 (c) INTERNET MULTIFEED CO. Internet Protocol Suite 今⽇日インターネットで使われている通信プロトコルの⼀一式 アプリケーション層 アプリケーションのための制御をするよ！ トランスポート層 通信の状態を管理理してデータの信頼性を保証してやんよ！(TCP) ネットワーク層 とりあえず頑張ってデータを宛先まで運ぶだけよ！(IP) データリンク層 物理理メディアを使うことなら任せろ！ HTTP , SMTP , SSH, etc TCP , UDP IPv4, IPv6 Ethernet, 802.11(無線LAN), ATM, FDDI, 上位
10. 10 2014 (c) INTERNET MULTIFEED CO. レイヤー (Layer) 各機能は上下関係にあるのでレイヤーと表現する 下位レイヤーに⾏行行くほどヘッダが追加されていく データ TCP ヘッダ IP ヘッダ Etheret ヘッダ Etheret フッタ TCP データ IPデータ Ethernet データ アプリケーション層 トランスポート層 ネットワーク層 データリンク層
11. 11 2014 (c) INTERNET MULTIFEED CO. IPルーティング (Routing) ルータ 宛先に対してパケットを届けるために経路路情報に基づいて 次のルータ(next-hop)を決定する（ルーティング） 10.10.10.10 10.10.10.10にパケットを送るためには、 どっちのルータに転送すればいい？
12. 12 2014 (c) INTERNET MULTIFEED CO. 経路路広告 (Route Advertisement) 10.10.10.0/24は こっちだよ ルーティングプロトコルを使って 宛先ネットワークの到達情報(経路路)を伝搬させる 10.10.10.10 真ん中の経路路が⼀一番近そうだ！
13. 13 2014 (c) INTERNET MULTIFEED CO. パケットフォワーディング (Forwarding) 10.10.10.0/24は こっちだよ ルータはルーティングテーブルに基づいて パケットをnext-hopに転送する（フォワーディング） 10.10.10.10 真ん中の経路路が⼀一番近そうだ！
14. 14 2014 (c) INTERNET MULTIFEED CO. 経路路広告とトラフィックの関係 経路路を広告する トラフィックが 吸い込まれる トラフィック 経路路広告
15. 15 2014 (c) INTERNET MULTIFEED CO. IPについて知っておいて欲しいこと 1.  パケットは落落ちる（ベストエフォート） ▶  ルータの処理理能⼒力力を超えたものは捨てられる ▶  転送中にデータが壊れてたときも捨てられる 2.  ⾏行行きと帰りの経路路は同じとは限らない（⾮非対称経路路） ▶  世界⼀一周して帰ってきてるかもしれない！ 3.  宛先に対して評価値が同じ経路路が複数ある場合はどっちに いくのかわからない(ECMP) 4.  パケットの到着順序が正しいことは保証されない ▶  特にECMPの場合経路路で時間差があるので順序が⼊入れ替わる事がある
16. 16 2014 (c) INTERNET MULTIFEED CO. TCPとIPの役割分担 n TCP p コネクション志向 p ステートフル p 再送制御 n IP p コネクションレス p ステートレス p ベストエフォート 信頼性のある通信路路を構築する機能 信頼性はないけど宛先まで届ける機能 分離離した
17. 17 2014 (c) INTERNET MULTIFEED CO. ⽇日本の総トラフィック量量 我が国のインターネットにおけるトラヒック総量量の把握 http://www.soumu.go.jp/main_content/000244628.pdf
18. 18 2014 (c) INTERNET MULTIFEED CO. もしもIPで信頼性を担保していたら… 送信先 アドレス 送信元 アドレス 送信先 ポート 送信元 ポート プロトコ ル 状態 A B 80 23456 TCP Estab … … … … … … 再送制御、順序制御 輻輻輳制御、フロー制御 セッションごとの コネクションステート管理理 全てのルーターはそのルータを通る 通信の状態を管理理しなくてはいけない スケールしない！！
19. 19 2014 (c) INTERNET MULTIFEED CO. インターネットの萌えポイント１ TCP/IPの機能分離離によって インターネットは 全世界規模で スケールできている！
20. 20 2014 (c) INTERNET MULTIFEED CO. インターネットにおける相互接続(ピア) AS AS AS 相互接続してお互い⾃自⾝身の経路路情報を交換して お互いのASへの到達性を確保する関係をピア(peer)と呼ぶ peer peer peer
21. 21 2014 (c) INTERNET MULTIFEED CO. インターネットにおける相互接続(トランジット) AS AS 相互接続して他のAS（インターネット全体）への 到達性を提供することをトランジット(transit)という peer peer peer AS AS transit ⼦子AS 親AS 地理理的に離離れているから 全員とはピアできないな 僕がつなげて あげるよ
22. 22 2014 (c) INTERNET MULTIFEED CO. インターネットの階層構造 ピアだけを⾏行行っている最上位のASをTier1と呼び、 そこからトランジットを下るごとにTier2, Tier3と呼ぶ peer peer peer transit Tier1 Tier3 Tier2 ※実際にはこんなにきれいな階層構造にはならない
23. 23 2014 (c) INTERNET MULTIFEED CO. 各Tierのプロバイダの例例 n  Tier1 ISP (2014年年9⽉月現在13社) n  Tier2 ISP n  Tier3 ISP p  地域ISP 国内Tier1とも呼ばれる http://en.wikipedia.org/wiki/Tier_1_network AS番号 会社 国 2914 NTTコミュニケーションズ ⽇日本 7018 AT&T アメリカ 3356 LEVEL3 アメリカ 1239 Sprint アメリカ 6453 TATA インド 4713 NTTコミュニケーションズ(OCN) 2516 KDDI 4725 ソフトバンクテレコム 2497 IIJ
24. 24 2014 (c) INTERNET MULTIFEED CO. トランジットとお⾦金金(1) n  ⼦子ASがトラフィックを流流せば流流すだけ、親ASの設備を通って⾏行行くだけの トラフィックが増えるので設備投資費が必要になる n  ⼦子ASからお⾦金金をもらう（トランジット料料⾦金金） n  だいたいの場合で帯域での⽉月額従量量課⾦金金 p  Mbpsあたり何円（メガ単価） p  ケータイと違って累累積パケット量量じゃない peer transit ⼦子AS 親AS お⾦金金もらわないと やってらんないぜ トランジットにはお⾦金金がかかる！
25. 25 2014 (c) INTERNET MULTIFEED CO. トランジットとお⾦金金(2) n  下位AS同⼠士の通信量量が多くなってくると、双⽅方のASにとってトランジ ット費⽤用が負担になってくる n  直接ピアを張って経路路交換することができれば、品質(*1)も上がるし、 お⾦金金を節約できる！ transit peer transit ⼦子AS 親AS ※１：ここでいう品質は主に「遅延の⼩小ささ」 ピアを張ってお⾦金金を節約する！
26. 26 2014 (c) INTERNET MULTIFEED CO. クイズ n  各ASが以下の関係にあるとき、ノートPCからサーバへの 通信は⼀一般的にどこを経由するでしょうか？ peer peer peer transit d e f b c a transit
27. 27 2014 (c) INTERNET MULTIFEED CO. 間違った回答１ n  ⼀一⾒見見最適なパス n  ｄはｅに流流したいけど、ｅにとっては素通りになるので 　 流流してほしくない peer peer peer transit d e f b c a transit タダで素通りされたら損！ ｅに流流したら お⾦金金がかからない
28. 28 2014 (c) INTERNET MULTIFEED CO. 間違った回答２ n  ｄはｂに流流すしかなくなる n  ｂはｅに流流したいが、ｅにとっては素通りになるので 　流流 してほしくない peer peer peer transit d e f b c a transit ｅに流流したら お⾦金金が儲かるぜ 素通りされた上にお⾦金金を 払わないといけない！
29. 29 2014 (c) INTERNET MULTIFEED CO. クイズ（正解） peer peer peer transit d e f b c a transit トランジットに流流すより タダのピアに流流した⽅方が いい 素通りさせない！ n  みんな⾃自分が損しないようにトラフィックを流流したがる
30. 30 2014 (c) INTERNET MULTIFEED CO. 経路路制御とトラフィックコントロール peer peer peer transit d e f b c a transit トランジットやピアから 来た経路路は⼦子ASに広告する ⼦子ASの経路路はピアとトラ ンジット両⽅方に広告する ピアから来た経路路は他のピアや トランジットに対して広告しない 経路路の広告をコントロールすることで トラフィックの流流れをコントロールできる
31. 31 2014 (c) INTERNET MULTIFEED CO. AS間で経路路制御するためのプロトコル AS間でのルーティングにはBGPが⽤用いられている BGP (Border Gateway Protocol) d f b c a AS Path: b_d_f AS Path: c_f パスが短い ⽅方を選ぶ BGPはパスベクタ型ルーティングプロトコル 通ってくるパスとその属性の情報に基づいて経路路を決定する AS Path: f AS Path: d_f AS Path: f 経路路広告
32. 32 2014 (c) INTERNET MULTIFEED CO. BGPで広告されるインターネットの経路路数 約520,000経路路 http://bgp.potaroo.net/
33. 33 2014 (c) INTERNET MULTIFEED CO. 相互接続のまとめ n  インターネットはネットワークの相互接続でできている n  トラフィックを流流すのにはお⾦金金がかかる p 誰とどうやって接続するかの戦略略が超重要（ピアリング戦略略） n  ピア p お⾦金金がかからない接続 p ピア相⼿手への到達性だけを確保する n  トランジット p お⾦金金がかかる接続 p ピア相⼿手にインターネットに対する接続性を保証してもらう n  BGPで経路路制御することでトラフィックを制御する 当初はピア同⼠士でもその後の企業の成⻑⾧長次第ではトラフィックのバランスが崩れてしまい、 ピアが解消されてしまうことがある。2005年年にはLevel3がCogentとのピアを解消し、 2008年年のSprintもCogentとのピアを解消し、⼤大きな話題となった。
34. 34 2014 (c) INTERNET MULTIFEED CO. インターネットの萌えポイント２ インターネットの 相互接続関係と トラフィックの流流れは 経済的・地理理的要因に ⼤大きく依存している
35. 35 2014 (c) INTERNET MULTIFEED CO. インターネットの萌えポイント３ 様々な制約の中 経路路を制御することで ⾃自分のビジネスの利利益を 最⼤大化する戦略略ゲーム でも⾃自⼰己中はNG
36. 36 2014 (c) INTERNET MULTIFEED CO. もしも２つのルータが同じ経路路を広告したら 10.10.10.0/24は こっちだよ 10.10.10.0/24は こっちだよ ルーティングプロトコルのアルゴリズムに従って ⼀一番近いところにトラフィックは吸い込まれる
37. 37 2014 (c) INTERNET MULTIFEED CO. もしも２つのルータが同じ経路路を広告したら n  同じ組織/ASがやっていた場合 p IP Anycast p DNS root サーバなどで利利⽤用される (http://www.root-servers.org/) u AからMまでの13種類のルートサーバ u ⼀一番多いL-rootは同じIPアドレスのサーバが世界に152台存在する！ n  別の組織/ASがやっていた場合 p 経路路ハイジャック u スパムメール送信のために⾏行行われる事例例がある p 実際は設定ミスによる物が多いので mis-origin と呼ぶようになった u パキスタンのISPやChina TelecomがYouTubeに対してmis-origin u ベネズエラのASによるGoogle Public DNS (8.8.8.8)に対してmis-origin
38. 38 2014 (c) INTERNET MULTIFEED CO. インターネットについて知っておいてほしいこと 1. インターネットはASが相互接続した⾃自律律分散システムである 2. インターネットのトラフィックは相互接続関係に左右される 3. インターネットの相互接続関係は経済関係に左右される 4. IPアドレスは乗っ取られる p 経路路広告は⾃自主的に⾏行行われる「存在の宣⾔言」である p もしかしたら別の悪意あるサーバにトラフィックが吸い込まれている かもしれない p 経路路広告の正当性証明を⾏行行うRPKIの展開が現在進められている
39. 39 2014 (c) INTERNET MULTIFEED CO. 多くのASとピアを張ると… トランジット費⽤用を下げることができる ネットワークが近くなり品質が上がる ピアの数だけ回線が必要になる 回線ごとの帯域利利⽤用効率率率が悪くなる
40. 40 2014 (c) INTERNET MULTIFEED CO. インターネットエクスチェンジ(IX) どこか⼀一箇所にみんなで集まって、トラフィック交換すれば 回線は１本で済むし、帯域利利⽤用効率率率も上がる！！ それがインターネットエクスチェンジ(IX) IX 経路路交換＆ トラフィック交換 NAP(Network Access Point)とも呼ぶ
41. 41 2014 (c) INTERNET MULTIFEED CO. 主要インターネットエクスチェンジ n  国内 n  海外 IX Group POP Traffic [Gbps] JPNAP NTT 東京、⼤大阪 418 JPIX KDDI 東京、⼤大阪、名古屋 248 BBIX Softbank 東京、？ ？ IX Country 代表POP Traffic [Gbps] AMS-IX オランダ アムステルダム 2972 DE-CIX ドイツ フランクフルト 2876 LINX イギリス ロンドン 2075 MSK-IX ロシア モスクワ 1105 PTT.br ブラジル サンパウロ 562 トラフィック量量は2014年年09⽉月13⽇日時点
42. 42 2014 (c) INTERNET MULTIFEED CO. 教科書的なインターネットの構造 http://en.wikipedia.org/wiki/Internet n  巨⼤大なコンテンツプロバイダ(Hyper Giant)の登場で構造は変わってきている
43. 43 2014 (c) INTERNET MULTIFEED CO. インターネットの運⽤用 n  mis-originしてしまったら… p 悪いASだと思われて相互接続してもらえなくなるかも n  通信トラブルが起きた時に… p 何が問題なのかを切切り分けるために、組織を超えた連携が必要になる 相互接続する他の組織との信頼関係が重要 運⽤用者同⼠士が情報交換して仲良良くなっておき、 何かが起きたら即座に連携することができる体制
44. 44 2014 (c) INTERNET MULTIFEED CO. NOG (Network Operators Group) JANOG (⽇日本) NANOG (アメリカ) NOGでの情報交換と⼈人脈形成が活発 メーリングリストとカンファレンスで活動 http://jprs.jp/related-info/event/2010/0202JANOG.html http://drpeering.net/white-papers/NANOG-History.html
45. 45 2014 (c) INTERNET MULTIFEED CO. その他のミーティング n  Global Peering Forum p  ピアリング交渉をするためのイベント n  APRICOT p  アジア・パシフィック地域でのインターネット関係者のカンファレンス p  チュートリアルが豊富 n  APNIC p  アジア・パシフィック地域でのインターネットのポリシーについて議論論 n  RIPE p  ヨーロッパ地域でのインターネット関係者のカンファレンス とにかくFace to Face、会って話すことが超重要
46. 46 2014 (c) INTERNET MULTIFEED CO. インターネットの萌えポイント４ インターネットの安定は 運⽤用している⼈人たちが 同じ⽬目的に⼀一丸となって 円滑滑につながることで 実現されている
47. 47 2014 (c) INTERNET MULTIFEED CO. まとめ 1. 地球規模でスケールするTCP/IPの設計すごい 2. インターネットのトラフィック制御は超⾯面⽩白い 3. インターネットの運⽤用には⼈人のネットワークが重要 I ♥ The Internet