ElasticsearchのHA構成について

Transcript

1. ElasticsearchのHA構成につい て 2025年12月 濱田
2. はじめに • 内容 ◦ Elasticsearchがどのようにして冗長構成をとるか • きっかけ ◦ 業務でElasticsearchを触る機会があってクラスター 構成や仕組みについて調べたら面白かったため
3. Elasticsearchとは 高速でスケーラブルな分散型検索・分析エンジン JSONドキュメントを保存・検索・分析 ほぼリアルタイムで動作
4. クラスター構成
5. クラスター構成 Master Node Data Node shard-1 shard-4 Data Node shard-2 shard-5 Data Node shard-3 shard-6 Master Node • クラスタ設定の管理 • シャード配置の決定 • ノードの監視 • インデックス等のメタデータ 操作 Data Node • データの書き込み • 検索処理
6. クラスター構成 Master Node Data Node shard-1 shard-4 Data Node shard-2 shard-5 Data Node shard-3 shard-6 Master Node • クラスタ設定の管理 • シャード配置の決定 • ノードの監視 • インデックス等のメタデータ 操作 Data Node • データの書き込み • 検索処理 マスターノードが落ちると クラスターが停止するため冗長化必須
7. 冗長化の仕組み (~6系)
8. 冗長化の仕組み (~6系) Master Node Master Node マスター Master Node マスター候補 マスター候補 ルール① マスターノードは奇数にする ルール② minimum_master_nodes (最小マスターノード数) を正しい値に設定す る elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ※3台の場合「2」
9. マスターが落ちたらどうなるか
10. 冗長化の仕組み (~6系) Master Node Master Node Master Node マスター候補 マスター候補 elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 マスター ping ping ※3台の場合「2」 ①マスター停止を検知
11. 冗長化の仕組み (~6系) Master Node Master Node Master Node マスター候補 マスター候補 elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 マスター ※3台の場合「2」 ②最小ノード数を満たしているとき 次のマスターを選定
12. 冗長化の仕組み (~6系) Master Node Master Node Master Node マスター候補 elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 マスター候補 ※3台の場合「2」 ③ノードIDが小さい方が マスターに昇格 マスター
13. 冗長化の仕組み (~6系) Master Node Master Node Master Node マスター候補 elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 マスター候補 ※3台の場合「2」 ④復旧後はマスター候補にな る マスター
14. 冗長化の仕組み (~6系) Master Node Master Node Master Node マスター候補 マスター候補 elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 マスター ※3台の場合「2」 最小ノード数を満たさないので クラスターは停止する 2つノードが落ちた場合
15. ルール① マスターノードは奇数にする ルール② minimum_master_nodes を正しい値に設定する このルールはなぜ存在するか？
16. 冗長化の仕組み (~6系) elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ※4台の場合「3」 ルール① マスターノードは奇数にする Master Node Master Node Master Node Master Node
17. 冗長化の仕組み (~6系) Master Node elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ※4台の場合「3」 ルール① マスターノードは奇数にする Master Node Master Node Master Node 2:2に分断する可能性
18. 冗長化の仕組み (~6系) Master Node elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ※4台の場合「3」 ルール① マスターノードは奇数にする Master Node Master Node Master Node 最小ノード数を満たさないので クラスターは停止する
19. 冗長化の仕組み (~6系) Master Node Master Node マスター候補 elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 マスター ※デフォルト「1」 ルール① マスターノードは奇数にする
20. 冗長化の仕組み (~6系) Master Node elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ※デフォルト「1」 ルール① マスターノードは奇数にする ping Master Node マスター 何らかでpingが失敗 マスター候補 Master Node ping
21. Master Node マスター 冗長化の仕組み (~6系) Master Node elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ※デフォルト「1」 ルール① マスターノードは奇数にする ping マスター マスター昇格 -> スプリットブレイン -> データの不整合・破損するリスク
22. 冗長化の仕組み (~6系) elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ルール② minimum_master_nodes を正しい値に設定する ※デフォルト「1」 Master Node Master Node マスター Master Node マスター候補 マスター候補
23. 冗長化の仕組み (~6系) ルール② minimum_master_nodes を正しい値に設定する Master Node Master Node マスター Master Node マスター候補 マスター候補 elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ※デフォルト「1」
24. 冗長化の仕組み (~6系) ルール② minimum_master_nodes を正しい値に設定する Master Node Master Node Master Node マスター候補 マスター elasticsearch.yml discovery.zen.minimum_master _node: (マスターノード数 / 2) +1 ※デフォルト「1」 スプリットブレイン -> データの不整合・破損するリスク マスター
25. Elasticsearch v7 release Voting Configurations 導入
26. とにかく自動化された
27. 冗長化の仕組み (7系~) Master Node Master Node Master Node Master Node • マスター選挙が行われる • 投票権が自動的に与えられる(奇数) • 選挙で過半数を獲得するとマスターになれる マスター
28. 冗長化の仕組み (7系~) Master Node Master Node Master Node Master Node マスター 過半数が見えない -> マスター辞退 マスターが見えない -> マスター選挙立候補
29. 冗長化の仕組み (7系~) Master Node Master Node Master Node Master Node 過半数が見えない -> マスター辞退 マスターが見えない -> マスター選挙立候補 スプリットブレインが起きない マスター
30. 冗長化の仕組み (7系~) Master Node マスター Voting-only Node Master Node 2ノードの場合は 過半数=2 が必要なため投票だけ行うノードを用意する
31. 7系では過半数投票でマスターを自動選出する ため、6系のようにsplit-brainを意識して設定 するっ必要はほとんどない