Slide 1

Slide 1 text

検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58

Slide 2

Slide 2 text

自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります

Slide 3

Slide 3 text

全文検索エンジンは便利で強力! 3 沖縄の観光名所を知りたい

Slide 4

Slide 4 text

でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり +Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭

Slide 5

Slide 5 text

Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった

Slide 6

Slide 6 text

Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要

Slide 7

Slide 7 text

そこでSolr/Elastic Operatorよ! 7

Slide 8

Slide 8 text

簡単に構築するレシピが用意されてる! 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている!

Slide 9

Slide 9 text

たった4行で検索クラスターが!? 9 たったこれだけでSolrサーバー3台+Zookeeperサーバー3台のクラスターが組 めちゃう!

Slide 10

Slide 10 text

たった4行で検索クラスターが!? 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成!

Slide 11

Slide 11 text

もちろんKubernetesの恩恵も受けられる 11 ● オートスケーリング ● Podの自動復旧 ● ローリングアップデート ● IaC ● etc... 悩ましい運用上の課題が自動化できちゃうかも!?

Slide 12

Slide 12 text

その他にもメリットがいっぱい! 12 K8S親和性の高い他アプリケーションとの連携も容易に! 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる!

Slide 13

Slide 13 text

今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た!! 13

Slide 14

Slide 14 text

でも、Kubernetesはなん となく敷居が高くて... 14

Slide 15

Slide 15 text

そんなあなたのために、本書きました! 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h ● 第1章:Kubernetesはこわくない ● 第2章:環境構築 ● 第3章:Kubernetesを触ってみよう ● 第4章:k8s上にアプリケーションを作ろう ● 第5章:ks8上でSolrを動かそう(ローカル編) ● 第6章:k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します!

Slide 16

Slide 16 text

そんなあなたのために、本書きました! 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します! ● 第1章:Kubernetesはこわくない ● 第2章:環境構築 ● 第3章:Kubernetesを触ってみよう ● 第4章:k8s上にアプリケーションを作ろう ● 第5章:ks8上でESを動かそう(ローカル編) ● 第6章:k8s上でESを動かそう(Azure編) 鋭意 執筆中

Slide 17

Slide 17 text

まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門! Kubernetes×Solr/Elasticsearchはいいぞー!

Slide 18

Slide 18 text

参考文献 18 ● 検索システムだって高可用性にしたい!SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud ● Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/