Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Search Engineer diving into Kubernetes
Search
Sashimimochi
October 29, 2024
Technology
1
120
Search Engineer diving into Kubernetes
エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/
Sashimimochi
October 29, 2024
Tweet
Share
More Decks by Sashimimochi
See All by Sashimimochi
GraphRAG: What I Thought I Knew (But Didn’t)
sashimimochi
1
340
Using GPTs from Local by Dify
sashimimochi
1
580
Max out Local LLM in Challenging Environments
sashimimochi
3
470
Search Engine for Frontend Engineer
sashimimochi
0
190
Start Vector Search with Solr
sashimimochi
1
1k
Other Decks in Technology
See All in Technology
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
370
スクラムというコンフォートゾーンから抜け出そう!プロジェクト全体に目を向けるインセプションデッキ / Inception Deck for seeing the whole project
takaking22
3
150
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
1
540
アジャイルな開発チームでテスト戦略の話は誰がする? / Who Talks About Test Strategy?
ak1210
1
830
遷移の高速化 ヤフートップの試行錯誤
narirou
6
1.9k
Qiita Organizationを導入したら、アウトプッターが爆増して会社がちょっと有名になった件
minorun365
PRO
1
320
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
810
AIエージェント開発のノウハウと課題
pharma_x_tech
9
4.8k
JavaにおけるNull非許容性
skrb
2
2.7k
アジリティを高めるテストマネジメント #QiitaQualityForward
makky_tyuyan
1
350
What's new in Go 1.24?
ciarana
1
120
30→150人のエンジニア組織拡大に伴うアジャイル文化を醸成する役割と取り組みの変化
nagata03
0
350
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Rails Girls Zürich Keynote
gr2m
94
13k
Docker and Python
trallard
44
3.3k
Git: the NoSQL Database
bkeepers
PRO
428
65k
Embracing the Ebb and Flow
colly
84
4.6k
Optimising Largest Contentful Paint
csswizardry
34
3.1k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1.1k
Building Adaptive Systems
keathley
40
2.4k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Transcript
検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58
自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります
全文検索エンジンは便利で強力! 3 沖縄の観光名所を知りたい
でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり +Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭
Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった
Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要
そこでSolr/Elastic Operatorよ! 7
簡単に構築するレシピが用意されてる! 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている!
たった4行で検索クラスターが!? 9 たったこれだけでSolrサーバー3台+Zookeeperサーバー3台のクラスターが組 めちゃう!
たった4行で検索クラスターが!? 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成!
もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC
• etc... 悩ましい運用上の課題が自動化できちゃうかも!?
その他にもメリットがいっぱい! 12 K8S親和性の高い他アプリケーションとの連携も容易に! 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる!
今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た!! 13
でも、Kubernetesはなん となく敷居が高くて... 14
そんなあなたのために、本書きました! 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章:Kubernetesはこわくない • 第2章:環境構築 • 第3章:Kubernetesを触ってみよう •
第4章:k8s上にアプリケーションを作ろう • 第5章:ks8上でSolrを動かそう(ローカル編) • 第6章:k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します!
そんなあなたのために、本書きました! 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します! • 第1章:Kubernetesはこわくない • 第2章:環境構築 • 第3章:Kubernetesを触ってみよう
• 第4章:k8s上にアプリケーションを作ろう • 第5章:ks8上でESを動かそう(ローカル編) • 第6章:k8s上でESを動かそう(Azure編) 鋭意 執筆中
まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門! Kubernetes×Solr/Elasticsearchはいいぞー!
参考文献 18 • 検索システムだって高可用性にしたい!SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud
• Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/