Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

Search Engineer diving into Kubernetes

Avatar for Sashimimochi Sashimimochi
October 29, 2024
Technology
340
1

Search Engineer diving into Kubernetes

エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/

Avatar for Sashimimochi

Sashimimochi

October 29, 2024

More Decks by Sashimimochi

See All by Sashimimochi
MCPでつなぐElasticsearchとLLM - 深夜の障害対応を楽にしたい / Bridging Elasticsearch and LLMs with MCP
Avatar for Sashimimochi sashimimochi
1
480
Alert on Call with LLM
Avatar for Sashimimochi sashimimochi
1
320
My AI Copilot for writing
Avatar for Sashimimochi sashimimochi
1
330
GraphRAG: What I Thought I Knew (But Didn’t)
Avatar for Sashimimochi sashimimochi
1
850
Using GPTs from Local by Dify
Avatar for Sashimimochi sashimimochi
1
970
Max out Local LLM in Challenging Environments
Avatar for Sashimimochi sashimimochi
3
670
Search Engine for Frontend Engineer
Avatar for Sashimimochi sashimimochi
0
310
Start Vector Search with Solr
Avatar for Sashimimochi sashimimochi
1
1.2k

Other Decks in Technology

See All in Technology
スクラムで身についていた動き方を、XPで捉え直してみた
Avatar for コドモン開発チーム codmoninc
PRO
1
350
The Agent Builder Loop from Daily Work to OSS
Avatar for みのるん minorun365
PRO
3
120
2026-09-11 【Snowflake World Tour Tokyo 2026】Snowflakeを起点に、AI Agentが自律稼働し続ける未来へ / Driving AI Agents with Snowflake
Avatar for civitaspo civitaspo
0
300
AI 駆動 Terraform 開発/SRE_BizReach_MIXI_2
Avatar for Visional Engineering ＆ Design visional_engineering_and_design
3
2k
ASTを使って影響範囲を特定する
Avatar for Nealle nealle
0
140
Screen Lens - 今見てる画面を翻訳する
Avatar for komagata komagata
0
240
Redmine 7.0で私が開発した新機能の狙いと背景
Avatar for MAEDA Go vividtone
1
160
アプリをもっと"iOSアプリっぽく"する小さな工夫 / Small Touches That Make Your App Feel More Like an iOS App
Avatar for matsuji matsuji
1
460
20260906 「AWS運用入門」著者が教える、運用業務への生成AI活用入門
Avatar for Masaru Ogura masaruogura
0
260
[2026-09-11]SREは誰のもの？運用エンジニアが始める 「SRE領域への越境」とチームの進化の軌跡 〜Road to NEXT CRE
Avatar for tosite tosite
0
120
あるけみー式LTスライド作成術
Avatar for Ryotaro Harada alchemy1115
1
170
OpenTelemetryのメトリクスをCloudWatchに送ってPromQLで見てみた
Avatar for Itaru Ota ota1022
0
120

Featured

See All Featured
How to Grow Your eCommerce with AI & Automation
Avatar for Katarina Dahlin katarinadahlin
PRO
1
270
Building AI with AI
Avatar for Ines Montani inesmontani
PRO
1
1.2k
Primal Persuasion: How to Engage the Brain for Learning That Lasts
Avatar for Mike Taylor tmiket
0
450
Mobile First: as difficult as doing things right
Avatar for Swwweet swwweet
225
10k
Jess Joyce - The Pitfalls of Following Frameworks
Avatar for Tech SEO Connect techseoconnect
PRO
1
410
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
Avatar for konakalab konakalab
0
590
Writing Fast Ruby
Avatar for Erik Berlin sferik
630
63k
The B2B funnel & how to create a winning content strategy
Avatar for Katarina Dahlin katarinadahlin
PRO
1
510
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
Avatar for Stéphanie Walter stephaniewalter
287
14k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
615
220k
How To Speak Unicorn (iThemes Webinar)
Avatar for Michelle Schulp Hunt marktimemedia
1
570
Money Talks: Using Revenue to Get Sh*t Done
Avatar for Nikki Halliwell nikkihalliwell
0
490

Transcript

  1. 検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58

  2. 自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります

  3. 全文検索エンジンは便利で強力！ 3 沖縄の観光名所を知りたい

  4. でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり ＋Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭

  5. Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった

  6. Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要

  7. そこでSolr/Elastic Operatorよ！ 7

  8. 簡単に構築するレシピが用意されてる！ 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている！

  9. たった4行で検索クラスターが！？ 9 たったこれだけでSolrサーバー3台＋Zookeeperサーバー3台のクラスターが組 めちゃう！

  10. たった4行で検索クラスターが！？ 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成！

  11. もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC

    • etc... 悩ましい運用上の課題が自動化できちゃうかも！？

  12. その他にもメリットがいっぱい！ 12 K8S親和性の高い他アプリケーションとの連携も容易に！ 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる！

  13. 今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た！！ 13

  14. でも、Kubernetesはなん となく敷居が高くて... 14

  15. そんなあなたのために、本書きました！ 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう •

    第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でSolrを動かそう(ローカル編) • 第6章：k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します！

  16. そんなあなたのために、本書きました！ 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します！ • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう

    • 第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でESを動かそう(ローカル編) • 第6章：k8s上でESを動かそう(Azure編) 鋭意 執筆中

  17. まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門！ Kubernetes×Solr/Elasticsearchはいいぞー！

  18. 参考文献 18 • 検索システムだって高可用性にしたい！SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud

    • Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/