Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Search Engineer diving into Kubernetes
Search
Sashimimochi
October 29, 2024
Technology
1
180
Search Engineer diving into Kubernetes
エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/
Sashimimochi
October 29, 2024
Tweet
Share
More Decks by Sashimimochi
See All by Sashimimochi
My AI Copilot for writing
sashimimochi
1
130
GraphRAG: What I Thought I Knew (But Didn’t)
sashimimochi
1
520
Using GPTs from Local by Dify
sashimimochi
1
770
Max out Local LLM in Challenging Environments
sashimimochi
3
520
Search Engine for Frontend Engineer
sashimimochi
0
220
Start Vector Search with Solr
sashimimochi
1
1.1k
Other Decks in Technology
See All in Technology
金融サービスにおける高速な価値提供とAIの役割 #BetAIDay
layerx
PRO
1
720
S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-to-query-s3-glacier-from-athena
emiki
0
180
Amazon Q Developerを活用したアーキテクチャのリファクタリング
k1nakayama
2
180
o11yツールを乗り換えた話
tak0x00
1
130
JAWS AI/ML #30 AI コーディング IDE "Kiro" を触ってみよう
inariku
3
270
Claude Codeから我々が学ぶべきこと
s4yuba
6
1.8k
LLMをツールからプラットフォームへ〜Ai Workforceの戦略〜 #BetAIDay
layerx
PRO
1
850
【新卒研修資料】数理最適化 / Mathematical Optimization
brainpadpr
25
11k
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
2
160
20250807_Kiroと私の反省会
riz3f7
0
140
Segment Anything Modelの最新動向:SAM2とその発展系
tenten0727
0
350
Jamf Connect ZTNAとMDMで実現! 金融ベンチャーにおける「デバイストラスト」実例と軌跡 / Kyash Device Trust
rela1470
0
120
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
328
39k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
750
It's Worth the Effort
3n
185
28k
Embracing the Ebb and Flow
colly
86
4.8k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
[RailsConf 2023] Rails as a piece of cake
palkan
56
5.7k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
GraphQLとの向き合い方2022年版
quramy
49
14k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
A better future with KSS
kneath
238
17k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Transcript
検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58
自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります
全文検索エンジンは便利で強力! 3 沖縄の観光名所を知りたい
でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり +Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭
Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった
Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要
そこでSolr/Elastic Operatorよ! 7
簡単に構築するレシピが用意されてる! 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている!
たった4行で検索クラスターが!? 9 たったこれだけでSolrサーバー3台+Zookeeperサーバー3台のクラスターが組 めちゃう!
たった4行で検索クラスターが!? 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成!
もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC
• etc... 悩ましい運用上の課題が自動化できちゃうかも!?
その他にもメリットがいっぱい! 12 K8S親和性の高い他アプリケーションとの連携も容易に! 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる!
今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た!! 13
でも、Kubernetesはなん となく敷居が高くて... 14
そんなあなたのために、本書きました! 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章:Kubernetesはこわくない • 第2章:環境構築 • 第3章:Kubernetesを触ってみよう •
第4章:k8s上にアプリケーションを作ろう • 第5章:ks8上でSolrを動かそう(ローカル編) • 第6章:k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します!
そんなあなたのために、本書きました! 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します! • 第1章:Kubernetesはこわくない • 第2章:環境構築 • 第3章:Kubernetesを触ってみよう
• 第4章:k8s上にアプリケーションを作ろう • 第5章:ks8上でESを動かそう(ローカル編) • 第6章:k8s上でESを動かそう(Azure編) 鋭意 執筆中
まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門! Kubernetes×Solr/Elasticsearchはいいぞー!
参考文献 18 • 検索システムだって高可用性にしたい!SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud
• Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/