Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
使用ES的一些经验-秦强强 #ESCC#4
Search
medcl
October 17, 2015
Technology
0
120
使用ES的一些经验-秦强强 #ESCC#4
折800使用ES经验分享
medcl
October 17, 2015
Tweet
Share
More Decks by medcl
See All by medcl
Elasticsearch 在智能运维领域的运用
medcl
0
340
Elastic Stack- Past, Present, & Future
medcl
0
52
A Spider Written in Golang
medcl
1
74
又一个爬虫
medcl
0
91
Introduction to Beats and extending Beats
medcl
0
96
Elasticsearch & Bigdata
medcl
2
220
Elastic Stack V5
medcl
0
100
Elastic Stack V5
medcl
0
71
基于Elastic Stack的数据探索与分析@QConBeijing2016
medcl
1
440
Other Decks in Technology
See All in Technology
RSCの時代にReactとフレームワークの境界を探る
uhyo
10
3.2k
おやつは300円まで!の最適化を模索してみた
techtekt
PRO
0
290
Kubernetes における cgroup driver のしくみ: runwasi の bugfix より
z63d
2
250
サンドボックス技術でAI利活用を促進する
koh_naga
0
190
シークレット管理だけじゃない!HashiCorp Vault でデータ暗号化をしよう / Beyond Secret Management! Let's Encrypt Data with HashiCorp Vault
nnstt1
3
230
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
0
150
La gouvernance territoriale des données grâce à la plateforme Terreze
bluehats
0
140
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
sh_fk2
3
170
LLMを搭載したプロダクトの品質保証の模索と学び
qa
0
970
Kubernetes における cgroup v2 でのOut-Of-Memory 問題の解決
pfn
PRO
0
470
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
20
9.5k
Grafana MCPサーバーによるAIエージェント経由でのGrafanaダッシュボード動的生成
hamadakoji
1
1.5k
Featured
See All Featured
Making Projects Easy
brettharned
117
6.4k
For a Future-Friendly Web
brad_frost
180
9.9k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.8k
Mobile First: as difficult as doing things right
swwweet
224
9.9k
BBQ
matthewcrist
89
9.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
A Modern Web Designer's Workflow
chriscoyier
696
190k
Building an army of robots
kneath
306
46k
Transcript
使用es的一些经验 秦强强 折800 @thanq童鞋扭曲的爱 !
• 请务必以批判地看待
ES cluster! log4j! client! other! client! kafka! collect or! collect
or!
• 一些有用的配置 • 优化mapping, 禁用_all, 不对不是查询条件的field建索引! • 打开慢查询慢索引日志和GC日志! • 限制
fielddata cache 的堆内存占比, 设置合适的 indices.breaker(断路器)! • 单机多实例时, 配置主从分片在不同的机器
• 遇到的坑 • 避免深度分页的检索! • 避免没有指定索引的检索 和 会查询很多个索引的检索
• 一些经验 • 写入压力变小时,集群的反应会变快! • 单个实例hold更少的分片和数据时,内存压力会变小,反应 会变快! • 日志检索场景下, 越新的数据检索的频率会越高;老数据的
检索需求有,但不多
• 下一步要做的事情 • 抽出独立的查询节点和master节点! • 冷热分离! • GC优化! • 更好的安全性
tribe! ES cluster! tribe! client! ! ! ! ! !
! ! ! !
tribe! cold ES cluster! tribe! client! ! ! ! !
! ! ! ! ! hot ES cluster!
Thanks !