Search Engineer diving into Kubernetes

検索エンジニアK8S に入門するさしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58

自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィックがある検索システムの開発・運用やデータ分析基盤の運用をしてます。最近は、大規模システムを楽に運用する方法に興味があります

全文検索エンジンは便利で強力！ 3 沖縄の観光名所を知りたい

でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要オーケストレーションを機能させるにはノードにロールを定義する必要あり＋Solrの場合はZookeeperも必要などなど、初期構築だけでも一苦労😭

Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールはコンテナイメージに集約できた ⭕Pod単位でのローリングアップデートや自動復旧はできるシングルノードの構築はかなり楽になった

Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールはコンテナイメージに集約できた ⭕Pod単位でのローリングアップデートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要

そこでSolr/Elastic Operatorよ！ 7

簡単に構築するレシピが用意されてる！ 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている！

たった4行で検索クラスターが！？ 9 たったこれだけでSolrサーバー3台＋Zookeeperサーバー3台のクラスターが組めちゃう！

たった4行で検索クラスターが！？ 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成！

もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC
• etc... 悩ましい運用上の課題が自動化できちゃうかも！？

その他にもメリットがいっぱい！ 12 K8S親和性の高い他アプリケーションとの連携も容易に！保守運用に欠かせないメトリクスやログの収集もK8S上で動かせる！

今こそ、検索エンジニアも Kubernetesを学ぶべきときが来た！！ 13

でも、Kubernetesはなんとなく敷居が高くて... 14

そんなあなたのために、本書きました！ 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう •
第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でSolrを動かそう(ローカル編) • 第6章：k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します！

そんなあなたのために、本書きました！ 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します！ • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう
• 第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でESを動かそう(ローカル編) • 第6章：k8s上でESを動かそう(Azure編) 鋭意執筆中

まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門！ Kubernetes×Solr/Elasticsearchはいいぞー！

参考文献 18 • 検索システムだって高可用性にしたい！SolrCloudを用いた高可用性構成の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud
• Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/

Search Engineer diving into Kubernetes

Search Engineer diving into Kubernetes

Sashimimochi

More Decks by Sashimimochi

Other Decks in Technology

Featured

Transcript

検索エンジニアK8S に入門するさしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58

自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィックがある検索システムの開発・運用やデータ分析基盤の運用をしてます。最近は、大規模システムを楽に運用する方法に興味があります

全文検索エンジンは便利で強力！ 3 沖縄の観光名所を知りたい

Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールはコンテナイメージに集約できた ⭕Pod単位でのローリングアップデートや自動復旧はできるシングルノードの構築はかなり楽になった

そこでSolr/Elastic Operatorよ！ 7

簡単に構築するレシピが用意されてる！ 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている！

たった4行で検索クラスターが！？ 9 たったこれだけでSolrサーバー3台＋Zookeeperサーバー3台のクラスターが組めちゃう！

たった4行で検索クラスターが！？ 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成！

もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC

その他にもメリットがいっぱい！ 12 K8S親和性の高い他アプリケーションとの連携も容易に！保守運用に欠かせないメトリクスやログの収集もK8S上で動かせる！

今こそ、検索エンジニアも Kubernetesを学ぶべきときが来た！！ 13

でも、Kubernetesはなんとなく敷居が高くて... 14

そんなあなたのために、本書きました！ 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう •

そんなあなたのために、本書きました！ 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します！ • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう

まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門！ Kubernetes×Solr/Elasticsearchはいいぞー！

参考文献 18 • 検索システムだって高可用性にしたい！SolrCloudを用いた高可用性構成の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud