Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Search Engineer diving into Kubernetes

Avatar for Sashimimochi Sashimimochi
October 29, 2024
Technology
1
170

Search Engineer diving into Kubernetes

エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/
Avatar for Sashimimochi

Sashimimochi

October 29, 2024
Tweet

More Decks by Sashimimochi

See All by Sashimimochi
My AI Copilot for writing
Avatar for Sashimimochi sashimimochi
1
84
GraphRAG: What I Thought I Knew (But Didn’t)
Avatar for Sashimimochi sashimimochi
1
480
Using GPTs from Local by Dify
Avatar for Sashimimochi sashimimochi
1
700
Max out Local LLM in Challenging Environments
Avatar for Sashimimochi sashimimochi
3
500
Search Engine for Frontend Engineer
Avatar for Sashimimochi sashimimochi
0
210
Start Vector Search with Solr
Avatar for Sashimimochi sashimimochi
1
1.1k

Other Decks in Technology

See All in Technology
doda開発 生成AI元年宣言！自家製AIエージェントから始める生産性改革 / doda Development Declaration of the First Year of Generated AI! Productivity Reforms Starting with Home-grown AI Agents
Avatar for techtekt techtekt
0
140
活きてなかったデータを活かしてみた話 / Shirokane Kougyou vol 19
Avatar for Sansan R&D sansan_randd
1
290
Whats_new_in_Podman_and_CRI-O_2025-06
Avatar for orimanabu orimanabu
3
180
讓測試不再 BB！ 從 BDD 到 CI/CD， 不靠人力也能 MVP
Avatar for LINE Developers Taiwan line_developers_tw
PRO
0
160
比起獨自升級 我更喜歡 DevOps 文化 <3
Avatar for LINE Developers Taiwan line_developers_tw
PRO
0
160
OpenTelemetry Collector internals
Avatar for ymotongpoo ymotongpoo
5
540
Digitization部 紹介資料
Avatar for Sansan, Inc. sansan33
PRO
1
4.2k
ObsidianをMCP連携させてみる
Avatar for ttnyt8701 ttnyt8701
2
110
QAはソフトウェアエンジニアリングを学んで実践するのが大事なの
Avatar for ymty ymty
1
390
フルカイテン株式会社 エンジニア向け採用資料
Avatar for FULL KAITEN fullkaiten
0
7.3k
Create a Rails8 responsive app with Gemini and RubyLLM
Avatar for Riccardo Carlesso palladius
0
120
脅威をモデリングしてMCPのセキュリティ対策を考えよう
Avatar for GMO Flatt Security flatt_security
4
1.6k

Featured

See All Featured
Bootstrapping a Software Product
Avatar for Garrett Dimon garrettdimon
PRO
307
110k
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
77
5.8k
KATA
Avatar for Megan Lloyd mclloyd
29
14k
Adopting Sorbet at Scale
Avatar for Ufuk Kayserilioglu ufuk
77
9.4k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
614
210k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
52
7.6k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
Avatar for Joe Casabona jcasabona
32
2.3k
Navigating Team Friction
Avatar for Lara Hogan lara
186
15k
Making Projects Easy
Avatar for Brett Harned brettharned
116
6.2k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k
Building Flexible Design Systems
Avatar for Yesenia Perez-Cruz yeseniaperezcruz
328
39k
Why Our Code Smells
Avatar for Brandon Keepers bkeepers
PRO
337
57k

Transcript

  1. 検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58

  2. 自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります

  3. 全文検索エンジンは便利で強力！ 3 沖縄の観光名所を知りたい

  4. でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり ＋Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭

  5. Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった

  6. Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要

  7. そこでSolr/Elastic Operatorよ！ 7

  8. 簡単に構築するレシピが用意されてる！ 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている！

  9. たった4行で検索クラスターが！？ 9 たったこれだけでSolrサーバー3台＋Zookeeperサーバー3台のクラスターが組 めちゃう！

  10. たった4行で検索クラスターが！？ 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成！

  11. もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC

    • etc... 悩ましい運用上の課題が自動化できちゃうかも！？

  12. その他にもメリットがいっぱい！ 12 K8S親和性の高い他アプリケーションとの連携も容易に！ 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる！

  13. 今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た！！ 13

  14. でも、Kubernetesはなん となく敷居が高くて... 14

  15. そんなあなたのために、本書きました！ 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう •

    第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でSolrを動かそう(ローカル編) • 第6章：k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します！

  16. そんなあなたのために、本書きました！ 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します！ • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう

    • 第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でESを動かそう(ローカル編) • 第6章：k8s上でESを動かそう(Azure編) 鋭意 執筆中

  17. まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門！ Kubernetes×Solr/Elasticsearchはいいぞー！

  18. 参考文献 18 • 検索システムだって高可用性にしたい！SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud

    • Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/