Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20180530LINEDeveloperMeetupRedis-redis-for-mack...
Search
i2tsuki
May 30, 2018
Technology
0
460
20180530LINEDeveloperMeetupRedis-redis-for-mackerelio
【東京】LINE Developer Meetup #36 - Redis - での発表スライド (Mackerel を支える Redis の技術) です。
i2tsuki
May 30, 2018
Tweet
Share
More Decks by i2tsuki
See All by i2tsuki
ソーシャルゲームの長期運用 を目指すための SRE の取り組み - 10 周年を⽬指すコトダマンの場合 -
i2tsuki
5
2.3k
AWS Startup.fm 企業の上場時に必要な監査要件とマネジメントサービスによる解決
i2tsuki
0
84
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker Meetup Kansai #2
i2tsuki
1
560
Mackerel's monitoring and checks
i2tsuki
1
6.6k
Mackerel インフラ基盤 AWS 移行の舞台裏
i2tsuki
6
10k
Python Web Application Monitoring in Mackerel
i2tsuki
1
5.7k
Other Decks in Technology
See All in Technology
10分でわかるfreeeのQA
freee
1
3.4k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
49k
独自ツール開発でスタジオ撮影をDX!「VLS(Virtual LED Studio)」 / dx-studio-vls
cyberagentdevelopers
PRO
1
180
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
180
コンテンツを支える 若手ゲームクリエイターの アートディレクションの事例紹介 / cagamefi-game
cyberagentdevelopers
PRO
1
130
使えそうで使われないCloudHSM
maikamibayashi
0
170
Figma Dev Modeで進化するデザインとエンジニアリングの協働 / figma-with-engineering
cyberagentdevelopers
PRO
1
430
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
700
[AWS JAPAN 生成AIハッカソン] Dialog の紹介
yoshimi0227
0
150
Automated Promptingを目指すその前に / Before we can aim for Automated Prompting
rkaga
0
110
Datachain会社紹介資料(2024年11月) / Company Deck
datachain
3
16k
ユーザーの購買行動モデリングとその分析 / dsc-purchase-analysis
cyberagentdevelopers
PRO
2
100
Featured
See All Featured
Building Applications with DynamoDB
mza
90
6.1k
Thoughts on Productivity
jonyablonski
67
4.3k
Designing Experiences People Love
moore
138
23k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
43
6.6k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
3
370
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
How to Ace a Technical Interview
jacobian
275
23k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.9k
Become a Pro
speakerdeck
PRO
24
5k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.2k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
9
680
Transcript
Mackerel を支える - Redis の技術 - 株式会社はてな Webオペレーションエンジニア 大野一樹 (id:kizkoh)
LINE Developer Meetup #36 - Redis - 1
About Me • 大野 一樹 (@kizkoh / id:kizkoh) • 株式会社はてな
Web オペレーションエンジニア • mackerel.io のサービス設計、運用をメインで担当 • 最近の活動: K8S オペレーション、 コンテナ 2
Agenda • Microservices コンポーネントを支える Redis 事例 • 時系列データベースを支える Redis Cluster
事例 • Redis, Redis Cluster の監視、モニタリング • Redis 活用の次の一歩 3
https://mackerel.io 4
5
About Mackerel • サーバモニタリング、監視のための SaaS • サーバにあるエージェントからメトリックを投稿 • mackerel.io でのグラフ閲覧、1
分粒度 • zabbix, ganglia, prometheus のようなサービス 6
Mackerel を支える 3 つの Redis 7
Three Redis in Mackerel 8 Redis Session Store Database Cache
2 Nodes Redis Message Queue 3 Nodes Redis Cluster Time Series Database 3 Nodes x 13 Shards
Three Redis in Mackerel 9 Redis Session Store Database Cache
2 Nodes Redis Message Queue 3 Nodes Redis Cluster Time Series Database 3 Nodes x 13 Shards
メッセージキューとしての Redis 事例 10
Message Queue in Mackerel • Message Queue Pub/Sub Model (Not
Rescue) ◦ HTTP 経由でメッセージング (Microservices) ◦ 外形監視、 {AWS, Azure}インテグレーション 11 HTTP Requests Publish Job Subscribe Job
Message Queue in Mackerel • 独自の Pub/Sub モデル (リスト型オブジェクト) ◦
数分間ごとに実行されるメッセージキュー 12 HTTP Requests Publish Job Subscribe Job
Redis HA (High Availability) in Mackerel • Redis Sentinel を使わないレプリケーション
◦ keepalived + Route Table + swiro hatena/swiro: swiro - A switching route tool for AWS 13 keepalived (master) keepalived (backup) Replication AWS VPC Route table
時系列データベースを支える Redis Cluster 事例 14
Key Factor of Time Series Database(TSDB) • メトリックを時系列に保存するための DB, KVS
◦ Key: metric name + time, Value: metric value 15
Time Series Database (TSDB) in Mackerel 16 Writer Endpoint Reader
Endpoint Redis Cluster DynamoDB S3 Lambda Lambda (Trigger by TTL expire) Kinesis Streams
Service Dashboard in mackerel.io 17
Redis Cluster is Cache for TSDB • Redis Cluster は時系列データベースのキャッシュ
• データアクセス頻度 vs コストモデル 18 High Cost 50 GB Medium Cost 500 GB Low Cost 2 TB
Redis Cluster Workload • 時系列データベースのワークロード ◦ Cluster: single cluster, 13
Shard, 39 Node ◦ 60min, 6hour, 1week, 1month, 1 year のデータ ▪ 1 粒度だけど粒度は丸められている ▪ 同じホストメトリックは同じシャードに配置 ◦ 1 分点、書き込み中心のワークロード ▪ Write Heavy Workload 19
Redis Cluster の運用 20
Why We don’t use Elasticache Cluster? • Redis Cluster on
EC2 ◦ Elasticache で作成できる上限は 15 シャード ◦ インスタンスタイプの微調整ができない ◦ トラブルが起こったときにわかりづらい ▪ パケットキャプチャ、トラフィック解析 ▪ Lambda, Redis Cluster 間のトラブルシュート 21
• chef を使って EC2 上に Redis Cluster を構築 ◦ 社内は
chef がプロビジョニングのスタンダード ◦ エージェントをインストール、メトリック取得 ◦ 1 ホスト複数 redis-server プロセス同居 • クラスターへのジョインは自作ツールを利用 ◦ ノード ID を意識しないオペレーション Redis Cluster の運用とモニタリング/監視のコツ – Itsuki – Medium Redis Cluster on EC2 22
Bottleneck of Redis Cluster • 書き込み Heavy ◦ メトリックが増えるとメモリがあふれる ◦
CPU がボトルネック ▪ Redis のシングルスレッド性能頭打ち ▪ 書き込みエラーになると Lambda が詰まる 過剰なメトリック投稿 >> 過剰読み取りアクセス 23
Bottleneck of Redis Cluster • 書き込み Heavy ◦ Redis への書き込みが詰まる時
▪ Redis の CPU が限界値、 Full Resync 問題 ▪ Lambda でエラーが発生する ◦ Kinesis での Lambda Function のエラー処理 ▪ 自動的にリトライ処理がされる ▪ Redis への書き込みがされるまでリトライ => 書き込み失敗によるデータロストは発生しない 24
Retransmit of Metrics • メトリックの再送 ◦ サービスがダウン(メンテナンス)していた場合 ▪ エージェントがメトリックをバッファ(保留) ▪
エージェントがメトリックを再送 25 mackerel.io
Retransmit of Metrics • メトリックの再送 ◦ メトリックの再送が完了するまでの間 ▪ メトリック投稿が 1.5
倍になる ▪ Redis Cluster への書き込みが増加する 26 mackerel.io
Retransmit of Metrics • メトリックの再送時の Redis Cluster CPU 27
Efforts to Reduce CPU Load • CPU 負荷を抑えるための Redis Lua
◦ メトリック書き込み負荷,、読み込み負荷が高い ◦ Redis Lua で同じホストのメトリックを操作 ▪ 同じホストの複数メトリックを Redis Lua で処理 28 HMSET KEY [FIELD VALUE ...] EVAL(MultiHmSet)
Mackerel を使った Redis の監視 29
Monitor Redis Metrics on mackerel.io • mackerel-plugin-redis を使うと取得できる ◦ INFO
コマンドで取得できるメトリックを可視化 30
Replication Monitor on mackerel.io • mackerel-plugin-redis でのレプリケーション監視 ◦ slave{x}_offset_delay を可視化
31
Redis 活用の次の一歩 32
Next Steps for Redis in Mackerel • CloudNative & Managed
Service ◦ Message Queue ▪ nats.io, SQS, Redis on K8S ◦ Redis Cluster ▪ Elasticache Cluster, DynamoDB DAX ◦ Redis 5.0 ?? 33
まとめ 34
Conclusion • Mackerel の Redis 事例 ◦ Message Queue &
Redis Cluster • Redis Monitoring on mackerel.io • Redis for CloudNative era. 35
AWS Summit Tokyo にも出展中です!! 36