Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
大規模ライブ配信の苦労ポイント
Search
gree_tech
PRO
April 19, 2019
Technology
0
110
大規模ライブ配信の苦労ポイント
「Kubernetes Meetuo Tokyo #13」で発表された資料です。
https://k8sjp.connpass.com/event/100842/
gree_tech
PRO
April 19, 2019
Tweet
Share
More Decks by gree_tech
See All by gree_tech
kustomizeをいい感じに使う方法
gree_tech
PRO
4
2.3k
スケーラビリティとコスト管理 Google Cloud Spanner 費用最適化の取り組み
gree_tech
PRO
0
760
「アナザーエデン 時空を超える猫」の5年前のログを引っ越してデータドリブンで事業運用プロセスを改善した話
gree_tech
PRO
0
490
Unity,PHP+Jenkins+GAS 多言語対応を意識させない開発を目指したシステム構築
gree_tech
PRO
0
1k
全社総会における「REALITY Spaces」の活用と、Addressableを用いたコンテンツ配信技術について
gree_tech
PRO
0
630
AWSのEKS環境でログ機能を構築/リリースしたお話
gree_tech
PRO
0
490
「ヘブンバーンズレッド」の大規模アップデートにおける国内及び翻訳QAの取り組み
gree_tech
PRO
0
580
アプリ「REALITY」の12言語対応プロセスの仕組みと品質向上の取り組み
gree_tech
PRO
0
870
REALITYアプリのメンテナンスなしでの機能リリースを実現する、Istio導入とB/Gデプロイ実現の取り組み
gree_tech
PRO
0
700
Other Decks in Technology
See All in Technology
たくさん本を読んだけど 1年後には綺麗サッパリ!を乗り越えて 学習の鬼になるぞ👹
yum3
0
160
AWS IAMのアンチパターン/AWSが考える最低権限実現へのアプローチ概略(JAWS-UG朝会#59資料改修20分版)
htan
0
330
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
170
DDDにおける認可の扱いとKotlinにおける実装パターン / authorization-for-ddd-and-kotlin-implement-pattern
urmot
4
390
フルリモートワークはエンジニアの夢を叶えたか? #cm_odyssey
mamohacy
2
600
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
130
プレイドにおけるDatadog APMの活用方法
plaidtech
PRO
2
120
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
頼られるのが大好きな 皆さんへ - 支援相手との期待の合わせ方、突き放し方 -/For_people_who_like_to_be_relied_on
naitosatoshi
1
290
スタートアップにおける組織設計とスクラムの長期戦略 / Scrum Fest Kanazawa 2024
yoshikiiida
13
3.6k
Featured
See All Featured
The Illustrated Children's Guide to Kubernetes
chrisshort
39
47k
Design by the Numbers
sachag
277
18k
Side Projects
sachag
451
42k
What's in a price? How to price your products and services
michaelherold
239
11k
Fireside Chat
paigeccino
25
2.8k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Optimizing for Happiness
mojombo
373
69k
GraphQLの誤解/rethinking-graphql
sonatard
59
9.6k
Building an army of robots
kneath
301
42k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.8k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.5k
Transcript
⼤規模ライブ配信 の苦労ポイント
• 堀⼝真司 • Kubernetes半年ぐらい • インフラ7年ぐらい • ゲーム業界15年ぐらい • GAMECUBE
〜 PS3 あたり • MMORPG やソシャゲ • AWS や CEDEC 系に出没 • ちかごろ → → → • GCP 全般 • ライブ動画配信担当
今⽇のはなし • エンコーダーの負荷分散をどうやって検討〜実装したか • サーバ側で動画を再エンコードしてます(してないケースもあります) • 誰でも配信できます(来⽉リリース予定) • 遅延は2〜15秒ぐらい、⽤途や雰囲気でちょいちょい調整してる
構成 Kubernetes cluster GAE Microservices LB RTMP Logging Cloud Storage
GAE Media API GAE User API GKE Encoder GKE Chat LB RTMP GKE Encoder • Public User • Social & Streaming • Developer • Operator • Official Studio • Live streaming Cloud SQL Monitoring • Viewer Encoding Live Event Recording Internal Access Ingress / HTTPS websocket tool on IAP GKE Support Cloud SQL • PagerDuty • Slack GKE Chat GKE Redis GKE Dashboard GKE Certificate Manager GKE api GAE batch Cloud DNS *.wrightflyer.net Cloud Datastore 今⽇のはなし︕
負荷分散⽅法 • 新しいリクエストが来ないようにヘルスチェックを落とす • エンコードが始まったら readinessProbe を false にさせる •
念のため終わったら liveness も落として再起動させる • readiness → 新しいリクエストを受け付けたくない • liveness → 機能しなくなったので再起動したい • 実装が簡単で、概ね期待通りに動作した • Sidecar のいずれかの readiness が落ちていればオッケー • 全 Pod の readiness が落ちたままだと TCP 的にも繋がらなくなる • 503 とかそういうエラーも返せない • チャットサーバにも導⼊予定 • ⼊室すると⻑居するので random では先に起動した Pod に偏りすぎてしまう Pod Pod Pod Pod free free busy busy
ボツ案1 • Proxy-mode: ipvs 使う。 • round-robin や least-connection がある
• LC 設定する • 常に Pod の数を Encoder より多く • しかし GKE では ipvs 使えず︕ • iptables なので random のみ • 有⼒案だっただけにがっかり • オンプレ環境では ipvs 多い… https://kubernetes.io/docs/concepts/services-networking/service/#proxy-mode-ipvs
ボツ案2 • ⼤量の Service を作る。増減させる。 • 社内では node k8s.js |
kubectl create -f - として、 yaml を使わずに json を作り出 すパターンがちょいちょいある • helm よりお⼿軽だったのと、⾃由度が⾼くて AWS 構成管理でもよく使ってた • なので増やしたり減らしたりは結構かんたん • 1Service (LoadBalancer) 1Pod の構成が狙い • けど流⾏って数千⼈とか来てしまったらおそらく耐えられない • IP アドレス⾜りなくなるよねたぶん • お⾦もかかりそう(かからない︖)
没案3 • ロードバランサーのパスルールで振り分けられるようにする • Amazon ECS + Application Load Balancer
で特定のコンテナに WebSocket を振り 分けるのに使ったことがある • ただし、映像が送られてくるのは RTMP というプロトコルで HTTP ではない • RTMP にも URI のようなものはパケットの中に⼊っているので HTTP トンネルのよ うなもので振り分けられそうだけど、スマホからのアップロードに懸念があった Cloud Load Balancing Container Engine Container Engine Container Engine
課題 • HPA と相性があんまりよくないかも • 関⼼対象は CPU とか Mem じゃないので、そのままの仕組みが使えなかった
• Available な Pod の数を維持するような仕組みを開発・利⽤ • GKE で⼀般的な HTTP じゃない案件なので情報不⾜ • MMO とか MO も好きなんだけど Kubernetes では運⽤できる気がしない… • VTuber 関連技術エンジニア不⾜ • Unity, UE4, mocap, Streaming, GCP • C#, C++, swift, kotlin, gae-go, nodejs