Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Search Engineer diving into Kubernetes
Search
Sashimimochi
October 29, 2024
Technology
1
120
Search Engineer diving into Kubernetes
エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/
Sashimimochi
October 29, 2024
Tweet
Share
More Decks by Sashimimochi
See All by Sashimimochi
GraphRAG: What I Thought I Knew (But Didn’t)
sashimimochi
1
340
Using GPTs from Local by Dify
sashimimochi
1
580
Max out Local LLM in Challenging Environments
sashimimochi
3
470
Search Engine for Frontend Engineer
sashimimochi
0
190
Start Vector Search with Solr
sashimimochi
1
1k
Other Decks in Technology
See All in Technology
技術スタックだけじゃない、業務ドメイン知識のオンボーディングも同じくらいの量が必要な話
niftycorp
PRO
0
120
"TEAM"を導入したら最高のエンジニア"Team"を実現できた / Deploying "TEAM" and Building the Best Engineering "Team"
yuj1osm
1
220
DeepSeekとは?何がいいの? - Databricksと学ぶDeepSeek! 〜これからのLLMに備えよ!〜
taka_aki
1
160
エンジニア主導の企画立案を可能にする組織とは?
recruitengineers
PRO
1
270
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
9
690
20250304_赤煉瓦倉庫_DeepSeek_Deep_Dive
hiouchiy
2
110
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
3
320
E2Eテスト自動化入門
devops_vtj
1
100
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
7
1.7k
AWSを活用したIoTにおけるセキュリティ対策のご紹介
kwskyk
0
420
IAMのマニアックな話2025
nrinetcom
PRO
6
1.3k
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
180
Featured
See All Featured
BBQ
matthewcrist
87
9.5k
Navigating Team Friction
lara
183
15k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Optimising Largest Contentful Paint
csswizardry
34
3.1k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Designing for humans not robots
tammielis
250
25k
Transcript
検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58
自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります
全文検索エンジンは便利で強力! 3 沖縄の観光名所を知りたい
でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり +Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭
Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった
Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要
そこでSolr/Elastic Operatorよ! 7
簡単に構築するレシピが用意されてる! 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている!
たった4行で検索クラスターが!? 9 たったこれだけでSolrサーバー3台+Zookeeperサーバー3台のクラスターが組 めちゃう!
たった4行で検索クラスターが!? 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成!
もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC
• etc... 悩ましい運用上の課題が自動化できちゃうかも!?
その他にもメリットがいっぱい! 12 K8S親和性の高い他アプリケーションとの連携も容易に! 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる!
今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た!! 13
でも、Kubernetesはなん となく敷居が高くて... 14
そんなあなたのために、本書きました! 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章:Kubernetesはこわくない • 第2章:環境構築 • 第3章:Kubernetesを触ってみよう •
第4章:k8s上にアプリケーションを作ろう • 第5章:ks8上でSolrを動かそう(ローカル編) • 第6章:k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します!
そんなあなたのために、本書きました! 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します! • 第1章:Kubernetesはこわくない • 第2章:環境構築 • 第3章:Kubernetesを触ってみよう
• 第4章:k8s上にアプリケーションを作ろう • 第5章:ks8上でESを動かそう(ローカル編) • 第6章:k8s上でESを動かそう(Azure編) 鋭意 執筆中
まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門! Kubernetes×Solr/Elasticsearchはいいぞー!
参考文献 18 • 検索システムだって高可用性にしたい!SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud
• Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/