Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
使用ES的一些经验-秦强强 #ESCC#4
Search
medcl
October 17, 2015
Technology
0
110
使用ES的一些经验-秦强强 #ESCC#4
折800使用ES经验分享
medcl
October 17, 2015
Tweet
Share
More Decks by medcl
See All by medcl
Elasticsearch 在智能运维领域的运用
medcl
0
330
Elastic Stack- Past, Present, & Future
medcl
0
48
A Spider Written in Golang
medcl
1
69
又一个爬虫
medcl
0
86
Introduction to Beats and extending Beats
medcl
0
85
Elasticsearch & Bigdata
medcl
2
210
Elastic Stack V5
medcl
0
99
Elastic Stack V5
medcl
0
68
基于Elastic Stack的数据探索与分析@QConBeijing2016
medcl
1
430
Other Decks in Technology
See All in Technology
第1回 国土交通省 データコンペ参加者向け勉強会③- Snowflake x estie編 -
estie
0
130
開発生産性を上げながらビジネスも30倍成長させてきたチームの姿
kamina_zzz
2
1.7k
Lambdaと地方とコミュニティ
miu_crescent
2
370
複雑なState管理からの脱却
sansantech
PRO
1
140
[FOSS4G 2024 Japan LT] LLMを使ってGISデータ解析を自動化したい!
nssv
1
210
サイバーセキュリティと認知バイアス:対策の隙を埋める心理学的アプローチ
shumei_ito
0
380
iOS/Androidで同じUI体験をネ イティブで作成する際に気をつ けたい落とし穴
fumiyasac0921
1
110
オープンソースAIとは何か? --「オープンソースAIの定義 v1.0」詳細解説
shujisado
7
800
隣接領域をBeyondするFinatextのエンジニア組織設計 / beyond-engineering-areas
stajima
1
270
OCI Vault 概要
oracle4engineer
PRO
0
9.7k
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.8k
100 名超が参加した日経グループ横断の競技型 AWS 学習イベント「Nikkei Group AWS GameDay」の紹介/mediajaws202411
nikkei_engineer_recruiting
1
170
Featured
See All Featured
Designing the Hi-DPI Web
ddemaree
280
34k
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.5k
What's in a price? How to price your products and services
michaelherold
243
12k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
28
2k
How GitHub (no longer) Works
holman
310
140k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
Building an army of robots
kneath
302
43k
Rails Girls Zürich Keynote
gr2m
94
13k
How to train your dragon (web standard)
notwaldorf
88
5.7k
The Invisible Side of Design
smashingmag
298
50k
Transcript
使用es的一些经验 秦强强 折800 @thanq童鞋扭曲的爱 !
• 请务必以批判地看待
ES cluster! log4j! client! other! client! kafka! collect or! collect
or!
• 一些有用的配置 • 优化mapping, 禁用_all, 不对不是查询条件的field建索引! • 打开慢查询慢索引日志和GC日志! • 限制
fielddata cache 的堆内存占比, 设置合适的 indices.breaker(断路器)! • 单机多实例时, 配置主从分片在不同的机器
• 遇到的坑 • 避免深度分页的检索! • 避免没有指定索引的检索 和 会查询很多个索引的检索
• 一些经验 • 写入压力变小时,集群的反应会变快! • 单个实例hold更少的分片和数据时,内存压力会变小,反应 会变快! • 日志检索场景下, 越新的数据检索的频率会越高;老数据的
检索需求有,但不多
• 下一步要做的事情 • 抽出独立的查询节点和master节点! • 冷热分离! • GC优化! • 更好的安全性
tribe! ES cluster! tribe! client! ! ! ! ! !
! ! ! !
tribe! cold ES cluster! tribe! client! ! ! ! !
! ! ! ! ! hot ES cluster!
Thanks !