WebRTC配信システムをAWSからオンプレミスに切り替えている話

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© DMM.com DMMはクラウドにすべて寄せる方針では? そんなことはありませんオンプレのほうがよければ、積極的に使っていきます https://www.sbbit.jp/article/cont1/55186 「Tech Visionを受けて、すべてがパブリッククラウドに移行すると誤解して『自分たちの仕事がなくなる』と考えるメンバーがいました。『最適なものを選択する』というだけだったのですが、こうした誤解を解き、しっかりとコミュニケーションをとって正しく理解してもらうことが必要でした」（大久保氏）

Slide 18

Slide 18 text

© DMM.com オンプレサーバの概要 VMware Integrated OpenStack + NSX-Tによるプライベートクラウド基盤ベアメタルで払い出してもらう方法もあったしかし手っ取り早いので、プライベートクラウドを採用スペックもEC2とさほど変わらない EC2(c5.12xlarge) オンプレハイパーバイザー nitro VMware CPU Cascade Lake Cascade Lake 1ソケットあたりのコア数（スレッド数） 24(48) 20(40) メモリ 96GB 96GB

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© DMM.com 切り替えのハードル配信サーバとAPIが同一VPC内にあることを前提とする実装 • 配信サーバがコールするAPIがInternal ALB配下にある • APIサーバがコールする配信サーバの管理APIが、プライベートIPアドレス経由でリクエストされている以下2種類の”API”が登場します。紛らわしいのですがご容赦ください API: 配信サーバが認証時などで使うウェブフックAPI 管理API: 配信ソフトに実装されているコントロール用API

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© DMM.com 配信サーバの管理API 配信サーバはすでにTCP443でWebSocketやTURN-TCP, TURN-TLS通信を行っている管理APIには認証機能がないので、nginxでIPアドレス制限が必要 WebSocketなど一般公開される通信はIPアドレス制限できない TURNと管理APIが同じパスだったため、管理APIのみのIPアドレス制限ができなかった →管理APIのHTTPSポートを違うものにした

Slide 30

Slide 30 text

© DMM.com 切替期間中特有の課題切り替え中は、API, 管理APIへのアクセスがローカルとグローバル経由のものが混在し、それぞれ挙動も異なる配信サーバ管理DBに登録されているIPアドレスがプライベートIPアドレスかどうかで管理APIのURLを変える • プライベートIPアドレス: http://(private_ip):3000 • グローバルIPアドレス: https://(fqdn):8443

Slide 31

Slide 31 text

© DMM.com 具体例 ID IPアドレス FQDN 1 10.20.30.40 foo001.example.com 2 192.0.2.1 foo002.example.com データベースには以下のように IPアドレスとFQDNが登録されています。 ID1のサーバはプライベートIPアドレスが、 ID2のサーバはグローバルIPアドレスが登録されています。プライベートIPアドレスが登録されているので、管理APIのURLは http://10.20.30.40:3000 グローバルIPアドレスが登録されているので、管理APIのURLは https://foo002.example.com:8443

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© DMM.com 余談（ロングIPアドレス表記） IPv4アドレスは通常203.0.113.99のように表記しますが、各オクテットを256進数とみなすと、十進数表記に変換可能です。これがロングIPアドレスです。先述の例だと203*2563 + 0*2562 + 113*256 + 99 = 3405803875 10.0.0.0/8は167772160(10.0.0.0)〜184549375(10.255.255.255) →CIDR判定が整数の比較演算でできるさらに余談ですがMySQLのserver-idも32bit符号なし整数なので、ロングIPアドレスをそのまま使うと設定が便利

Slide 34

Slide 34 text

© DMM.com 判定のコード例(PHP) /** * プライベートIPか判定してURLを作成する */ private function getServerUrl($ipv4, $fqdn): string { $iplong = ip2long($ipv4); //PHPの場合ip2longという専用の関数が存在する if (($iplong >= 167772160 && $iplong <= 184549375) || ($iplong >= 2886729728 && $iplong <= 2887778303) || ($iplong >= 3232235520 && $iplong <= 3232301055)) { return $ipv4; } else { return 'https://' . $fqdn; } }

Slide 35

Slide 35 text

Slide 36

Slide 36 text