Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DMM動画の可用性を支えるConsul
Search
tinoji
December 17, 2018
Programming
1
2.1k
DMM動画の可用性を支えるConsul
第4回 HashiCorp User Group Meetupの登壇資料
https://hashicorp.connpass.com/event/110653/
tinoji
December 17, 2018
Tweet
Share
More Decks by tinoji
See All by tinoji
VODのディザスタリカバリをAWSで考えてみる
tinoji
0
350
ちょっと冷や汗かいたけどAWS MediaLiveは最高!って話
tinoji
1
280
Other Decks in Programming
See All in Programming
Zero Waste, Radical Magic, and Italian Graft – Quarkus Efficiency Secrets
hollycummins
0
230
GitHub Actionsで泣かないためにやっておきたい設定 / Recommended GHA settings to avoid crying
pinkumohikan
3
520
デフォルトにして至高、RubyMineの大好きな所
ruzia
0
250
Amazon SQSコンシューマー疎結合への旅 - 出張! #DevelopersIO IT技術ブログの中の人が語る勉強会 #3
quiver
0
230
TYPO3 v13 – The road to LTS: What's new and new APIs
luisasofie_xoxo
0
190
二郎系ラーメンのコールで学ぶ AST 解析
memory1994
PRO
7
1.7k
AWS Application Composerで始める、 サーバーレスなデータ基盤構築 / 20240406-jawsug-hokuriku-shinkansen
kasacchiful
1
260
スキーマ駆動開発による品質とスピードの両立 - 私達は何故、スキーマを書くのか
kentaroutakeda
0
160
入門 AWS Amplify Gen2 / Introduction to AWS Amplify Gen2
genkiogasawara
1
330
Micro Frontends for Java Microservices - Devnexus 2024
mraible
PRO
0
480
Snowflakeで眠ったデータを起こそう!
estie
0
110
Hanami and htmx
bkuhlmann
0
200
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
60
3.9k
Automating Front-end Workflow
addyosmani
1356
200k
Imperfection Machines: The Place of Print at Facebook
scottboms
260
12k
Unsuck your backbone
ammeep
663
57k
Agile that works and the tools we love
rasmusluckow
325
20k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Rails Girls Zürich Keynote
gr2m
91
13k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Designing for Performance
lara
601
67k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
6
1.5k
Thoughts on Productivity
jonyablonski
58
3.8k
How to train your dragon (web standard)
notwaldorf
73
5.2k
Transcript
DMM動画の可用性を支えるConsul DMM.com 動画配信事業部 菊地 弘晃 @第4回 HashiCorp User Group Meetup
(2018/12/17)
いきなりで恐縮ですが みなさんに質問が・・・
Consul
こんさる vs. こんする問題
※当日、会場の皆さんに挙手して頂いたら、 ほぼ満場一致で「こんさる」でした
動画配信事業部 配信基盤スクラムチーム 菊地 弘晃 ͖ͪ͘ͻΖ͖͋ C V 菊地 弘晃 T
E A M @_tinoji ピチピチの新卒2年目(アラサー)。X線の研究をして ましたが、飽きたのでエンジニアになりました。 仕事ではGoとLuaを書くことが多いです。二郎系と 温泉とラジオとHashiCorpが好き。 ࣗ ݾ հ Who am I
動画配信事業部 ←わかる 配信基盤スクラムチーム ←わからん 「スクラム」って部分が 妙にダサい
% . . ಈ ը ͷ α ʔ Ϗ ε
Our Services http://www.dmm.com/digital/
規模的には・・・ トラフィック: 200Gbps超 再生数(VOD): 年間 4億超
% . . ಈ ը ͷ α ʔ Ϗ ε
Our Services
再生ボタンポチーをしてから動画を見終わるまで のシステムを担っているチームです
࠶ ੜ 6 3 - Streaming URL まぁよくある話ですね(白目) 再生ボタンポチーの後、まず最初に行われるのが「再生URLの生成」。 ユーザーの購入情報などをもとに、どのコンテンツをどのデバイスでどんな画質で再生するのか等
を決定し、適切なURLを生成します。 この処理、いわゆるモノリシックでビッグなシステムの中の1ライブラリが行っていました。
• 各サービスの機能にURL生成機能が密結合。 • ライブラリは動画サービス以外でも使用されている。 • バージョン管理も各サービスで行っており、 修正時にはそれぞれの担当部署がデプロイする必要あり。 ࠶ ੜ 6
3 - Streaming URL
シンプルにつらい・・・ので、
今年リプレイスされました オウンドメディアで 記事を書きました〜 https://inside.dmm.com/entry/2018/10/17/create-playurl
Ϧ ϓ Ϩ Π ε Replacing
Ϧ ϓ Ϩ Π ε Replacing st-apiというのが新システムの 名前です
新システム(st-api)に 最も求められるものは?
高可用性
VODの再生数は年間 4億2千万
最も多いときで分間 4000再生
再生URLが生成できない = 当然、再生できない
st-apiが1分間死ぬ = 最大4000再生に影響が出る
やばい(やばい) どうやって高可用性を 実現しよう?
Consulの用途 その1
ߴ Մ ༻ ੑ High Availability 高可用性をどうやって実現しよう? (以下DNS-RRで負荷分散する前提で話しています) 少しでも異常があるノードは速やかにサービスアウトしてほしい (当然リカバリ時には自動でサービスインしてほしい)
=> APIでDNS in/outが可能で、かつ信頼性の高いRoute53をパブリックDNSに使うことに!
ࢮ ׆ ࢹ Health Check Route53にもヘルスチェック機能はあるが、HTTP, HTTPS, TCPに限られる =>
可用性を高めるために、もっと細かい監視・制御がしたい・・・ 特定のミドルウェアの死活監視、DBとの疎通チェック etc… 死活監視は別のなにかで行い、フェイル/リカバーをフックしてRoute53のAPIを叩けたらいいなぁ
・・・ɾɾɾɾ
・・・Consul!!
$ P O T V M Ͱ % / 4
Γ ସ ͑ Update DNS by Consul ɾservice.json ɾwatch.json ɾ(PͰॻ͍ͨ$-*πʔϧ TUBQJʹ%#ͱͷૄ௨ΛؚΊͨεςʔλενΣοΫ༻"1*Λ࡞ɻ ͜ΕΛୟ͍ͯϔϧενΣοΫɻ ˢͷαʔϏεΛࢹ͠ɺมԽ͕͋ͬͨ߹ˣͷπʔϧΛ࣮ߦɻ 3PVUFͷ"1*Λୟ͍ͯ%/4Λߋ৽͢Δɻ ҟৗͷ͋ΔϊʔυαʔϏεΞτ͞ΕΔɻ ϊʔυՃ࣌ʹ$POTVM,74Ͱ%/4ొର֎ϦετΛ࡞ɻ ಈ࡞ݕূྃ·ͰύϒϦοΫ%/4ొΛߦΘͳ͍Α͏ʹ͍ͯ͠Δɻ "services": [ { "name": “st-api", "checks": [ { "id": "hoge", "name": “foo", “http": “εςʔλενΣοΫAPI”
ɾservice.json ɾwatch.json ɾ(PͰॻ͍ͨ$-*πʔϧ TUBQJʹ%#ͱͷૄ௨ΛؚΊͨεςʔλενΣοΫ༻"1*Λ࡞ɻ ͜ΕΛୟ͍ͯϔϧενΣοΫɻ ˢͷαʔϏεΛࢹ͠ɺมԽ͕͋ͬͨ߹ˣͷπʔϧΛ࣮ߦɻ 3PVUFͷ"1*Λୟ͍ͯ%/4Λߋ৽͢Δɻ ҟৗͷ͋ΔϊʔυαʔϏεΞτ͞ΕΔɻ ϊʔυՃ࣌ʹ$POTVM,74Ͱ%/4ొର֎ϦετΛ࡞ɻ ಈ࡞ݕূྃ·ͰύϒϦοΫ%/4ొΛߦΘͳ͍Α͏ʹ͍ͯ͠Δɻ
“watches”: [ { “type”: “service”, “service”: “st-api”, “handler_type”: “script”, “args”: [(GoͷπʔϧΛ࣮ߦ)] }, …(ͦͷଞͷwatch) ] $ P O T V M Ͱ % / 4 Γ ସ ͑ Update DNS by Consul
st-api自体の高可用性は実現できた! (Consulによる細かい監視+Route53でサービスイン・アウト)
DBも高可用じゃないと ダメっすね、、、
Consulの用途 その2
3 F E J T ͷ ϑ Σ Π ϧ
Φ ʔ ό ʔ Failover of Redis st-api master.service.consul slave.service.consul slave.service.consul 接続 Consul DNSを使用 Redis Sentinel
3 F E J T ͷ ϑ Σ Π ϧ
Φ ʔ ό ʔ Failover of Redis st-api master.service.consul slave.service.consul slave.service.consul 接続 Consul DNSを使用 Sentinelによって新しいmasterが選出 Redis Sentinel
st-api slave.service.consul slave.service.consul 3 F E J T ͷ ϑ
Σ Π ϧ Φ ʔ ό ʔ Failover of Redis 死んだRedisに繋いだまま Redis Sentinel master.service.consul
3 F E J T ͷ ϑ Σ Π ϧ
Φ ʔ ό ʔ Failover of Redis 一般的な解決法 (http://tech.gmo-media.jp/post/48748908427/introduce-redis-sentinel) ・LBでどうにかする ・VIPでどうにかする ・DNSでどうにかする ・hostsでどうにかする ・iptablesでどうにかする ・(クライアント側でどうにかする) チームの要求 ConsulのServiceに、masterかslaveかを含めてRegisterしておいた方がUIから見たときに 分かりやすそう。なのでフェイルオーバー時にはServiceの更新も行っておきたい。
3 F E J T ͷ ϑ Σ Π ϧ
Φ ʔ ό ʔ Failover of Redis 一般的な解決法 (http://tech.gmo-media.jp/post/48748908427/introduce-redis-sentinel) ・LBでどうにかする ・VIPでどうにかする ・DNSでどうにかする ・hostsでどうにかする ・iptablesでどうにかする ・(クライアント側でどうにかする) チームの要求 ConsulのServiceに、masterかslaveかを含めてRegisterしておいた方がUIから見たときに 分かりやすそう。なのでフェイルオーバー時にはServiceの更新も行っておきたい。 ← Consul DNSでいけそう
st-api slave.service.consul notification script(※)を利用して Consul DNSを変更 3 F E J
T ͷ ϑ Σ Π ϧ Φ ʔ ό ʔ Failover of Redis ※reconfiguration scriptの方がいいかも Redis Sentinel master.service.consul
st-api slave.service.consul slave.service.consul slave master notification scriptを利用して Consul DNSを変更 3
F E J T ͷ ϑ Σ Π ϧ Φ ʔ ό ʔ Failover of Redis Redis Sentinel master.service.consul
st-api slave.service.consul slave.service.consul master notification scriptを利用して Consul DNSを変更 3 F
E J T ͷ ϑ Σ Π ϧ Φ ʔ ό ʔ Failover of Redis => 30行弱のPythonスクリプトで実現できてしまった 他の方法と比較してもかなりシンプルかも? Redis Sentinel slave master.service.consul
· ͱ Ί Summary 再生URL生成APIを例に、Consulのユースケースを紹介しました〜 ① Conuslで死活監視→Route53のAPIでサービスイン・アウトを制御 細かい監視と柔軟なサービスイン・アウトを実現! ② Redisの自動フェイルオーバー時のmaster再接続
超シンプルなスクリプトで再接続を実装!
DMMの動画サービスの可用性は Consulによって支えられています!!!
Amazon Web Services、"Powered by AWS"ロゴ、およびかかる資料で使用されるその他のAWS商標は、 米国その他の諸国における、Amazon.com, Inc.またはその関連会社の商標です。 本資料で使用されるHashiCorp、Consul及びそのロゴはHashiCorp, Inc.の商標です。