大規模ライブ配信の苦労ポイント

「Kubernetes Meetuo Tokyo #13」で発表された資料です。
https://k8sjp.connpass.com/event/100842/

Transcript

1. ⼤規模ライブ配信 の苦労ポイント
2. • 堀⼝真司 • Kubernetes半年ぐらい • インフラ7年ぐらい • ゲーム業界15年ぐらい • GAMECUBE 〜 PS3 あたり • MMORPG やソシャゲ • AWS や CEDEC 系に出没 • ちかごろ → → → • GCP 全般 • ライブ動画配信担当
3. 今⽇のはなし • エンコーダーの負荷分散をどうやって検討〜実装したか • サーバ側で動画を再エンコードしてます（してないケースもあります） • 誰でも配信できます（来⽉リリース予定） • 遅延は２〜１５秒ぐらい、⽤途や雰囲気でちょいちょい調整してる
4. 構成 Kubernetes cluster GAE Microservices LB RTMP Logging Cloud Storage GAE Media API GAE User API GKE Encoder GKE Chat LB RTMP GKE Encoder • Public User • Social & Streaming • Developer • Operator • Official Studio • Live streaming Cloud SQL Monitoring • Viewer Encoding Live Event Recording Internal Access Ingress / HTTPS websocket tool on IAP GKE Support Cloud SQL • PagerDuty • Slack GKE Chat GKE Redis GKE Dashboard GKE Certificate Manager GKE api GAE batch Cloud DNS *.wrightflyer.net Cloud Datastore 今⽇のはなし︕
5. 負荷分散⽅法 • 新しいリクエストが来ないようにヘルスチェックを落とす • エンコードが始まったら readinessProbe を false にさせる • 念のため終わったら liveness も落として再起動させる • readiness → 新しいリクエストを受け付けたくない • liveness → 機能しなくなったので再起動したい • 実装が簡単で、概ね期待通りに動作した • Sidecar のいずれかの readiness が落ちていればオッケー • 全 Pod の readiness が落ちたままだと TCP 的にも繋がらなくなる • 503 とかそういうエラーも返せない • チャットサーバにも導⼊予定 • ⼊室すると⻑居するので random では先に起動した Pod に偏りすぎてしまう Pod Pod Pod Pod free free busy busy
6. ボツ案１ • Proxy-mode: ipvs 使う。 • round-robin や least-connection がある • LC 設定する • 常に Pod の数を Encoder より多く • しかし GKE では ipvs 使えず︕ • iptables なので random のみ • 有⼒案だっただけにがっかり • オンプレ環境では ipvs 多い… https://kubernetes.io/docs/concepts/services-networking/service/#proxy-mode-ipvs
7. ボツ案２ • ⼤量の Service を作る。増減させる。 • 社内では node k8s.js | kubectl create -f - として、 yaml を使わずに json を作り出 すパターンがちょいちょいある • helm よりお⼿軽だったのと、⾃由度が⾼くて AWS 構成管理でもよく使ってた • なので増やしたり減らしたりは結構かんたん • 1Service (LoadBalancer) 1Pod の構成が狙い • けど流⾏って数千⼈とか来てしまったらおそらく耐えられない • IP アドレス⾜りなくなるよねたぶん • お⾦もかかりそう（かからない︖）
8. 没案３ • ロードバランサーのパスルールで振り分けられるようにする • Amazon ECS + Application Load Balancer で特定のコンテナに WebSocket を振り 分けるのに使ったことがある • ただし、映像が送られてくるのは RTMP というプロトコルで HTTP ではない • RTMP にも URI のようなものはパケットの中に⼊っているので HTTP トンネルのよ うなもので振り分けられそうだけど、スマホからのアップロードに懸念があった Cloud Load Balancing Container Engine Container Engine Container Engine
9. 課題 • HPA と相性があんまりよくないかも • 関⼼対象は CPU とか Mem じゃないので、そのままの仕組みが使えなかった • Available な Pod の数を維持するような仕組みを開発・利⽤ • GKE で⼀般的な HTTP じゃない案件なので情報不⾜ • MMO とか MO も好きなんだけど Kubernetes では運⽤できる気がしない… • VTuber 関連技術エンジニア不⾜ • Unity, UE4, mocap, Streaming, GCP • C#, C++, swift, kotlin, gae-go, nodejs