Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
使用ES的一些经验-秦强强 #ESCC#4
Search
medcl
October 17, 2015
Technology
0
120
使用ES的一些经验-秦强强 #ESCC#4
折800使用ES经验分享
medcl
October 17, 2015
Tweet
Share
More Decks by medcl
See All by medcl
Elasticsearch 在智能运维领域的运用
medcl
0
340
Elastic Stack- Past, Present, & Future
medcl
0
52
A Spider Written in Golang
medcl
1
73
又一个爬虫
medcl
0
91
Introduction to Beats and extending Beats
medcl
0
96
Elasticsearch & Bigdata
medcl
2
220
Elastic Stack V5
medcl
0
100
Elastic Stack V5
medcl
0
70
基于Elastic Stack的数据探索与分析@QConBeijing2016
medcl
1
430
Other Decks in Technology
See All in Technology
From Live Coding to Vibe Coding with Firebase Studio
firebasethailand
1
320
Datasets for Critical Operations by Dataform
kimujun
0
120
解消したはずが…技術と人間のエラーが交錯する恐怖体験
lamaglama39
0
140
ビジネス文書に特化した基盤モデル開発 / SaaSxML_Session_2
sansan_randd
0
150
With Devin -AIの自律とメンバーの自立
kotanin0
2
840
Railsの限界を超えろ!「家族アルバム みてね」の画像・動画の大規模アップロードを支えるアーキテクチャの変遷
ojima_h
4
520
経験がないことを言い訳にしない、 AI時代の他領域への染み出し方
parayama0625
0
260
少人数でも回る! DevinとPlaybookで支える運用改善
ishikawa_pro
4
1.8k
マルチモーダル基盤モデルに基づく動画と音の解析技術
lycorptech_jp
PRO
2
270
M365アカウント侵害時の初動対応
lhazy
7
5.1k
LLMでAI-OCR、実際どうなの? / llm_ai_ocr_layerx_bet_ai_day_lt
sbrf248
0
240
[MIRU2025]Preference Optimization for Multimodal Large Language Models for Image Captioning Tasks
keio_smilab
PRO
0
120
Featured
See All Featured
Six Lessons from altMBA
skipperchong
28
3.9k
Making Projects Easy
brettharned
117
6.3k
Building Adaptive Systems
keathley
43
2.7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
760
A Modern Web Designer's Workflow
chriscoyier
695
190k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
860
The Invisible Side of Design
smashingmag
301
51k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Producing Creativity
orderedlist
PRO
346
40k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
21
1.4k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Transcript
使用es的一些经验 秦强强 折800 @thanq童鞋扭曲的爱 !
• 请务必以批判地看待
ES cluster! log4j! client! other! client! kafka! collect or! collect
or!
• 一些有用的配置 • 优化mapping, 禁用_all, 不对不是查询条件的field建索引! • 打开慢查询慢索引日志和GC日志! • 限制
fielddata cache 的堆内存占比, 设置合适的 indices.breaker(断路器)! • 单机多实例时, 配置主从分片在不同的机器
• 遇到的坑 • 避免深度分页的检索! • 避免没有指定索引的检索 和 会查询很多个索引的检索
• 一些经验 • 写入压力变小时,集群的反应会变快! • 单个实例hold更少的分片和数据时,内存压力会变小,反应 会变快! • 日志检索场景下, 越新的数据检索的频率会越高;老数据的
检索需求有,但不多
• 下一步要做的事情 • 抽出独立的查询节点和master节点! • 冷热分离! • GC优化! • 更好的安全性
tribe! ES cluster! tribe! client! ! ! ! ! !
! ! ! !
tribe! cold ES cluster! tribe! client! ! ! ! !
! ! ! ! ! hot ES cluster!
Thanks !