Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Search Engineer diving into Kubernetes

Avatar for Sashimimochi Sashimimochi
October 29, 2024
Technology
330
1

Search Engineer diving into Kubernetes

エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/

Avatar for Sashimimochi

Sashimimochi

October 29, 2024

More Decks by Sashimimochi

See All by Sashimimochi
MCPでつなぐElasticsearchとLLM - 深夜の障害対応を楽にしたい / Bridging Elasticsearch and LLMs with MCP
Avatar for Sashimimochi sashimimochi
1
460
Alert on Call with LLM
Avatar for Sashimimochi sashimimochi
1
280
My AI Copilot for writing
Avatar for Sashimimochi sashimimochi
1
320
GraphRAG: What I Thought I Knew (But Didn’t)
Avatar for Sashimimochi sashimimochi
1
820
Using GPTs from Local by Dify
Avatar for Sashimimochi sashimimochi
1
950
Max out Local LLM in Challenging Environments
Avatar for Sashimimochi sashimimochi
3
650
Search Engine for Frontend Engineer
Avatar for Sashimimochi sashimimochi
0
300
Start Vector Search with Solr
Avatar for Sashimimochi sashimimochi
1
1.2k

Other Decks in Technology

See All in Technology
ブラウザ研修 2026
Avatar for Recruit recruitengineers
PRO
6
1k
Kiro Crew入門 - 常駐エージェントの仕組みと使いどころ / Intro to Kiro Crew
Avatar for Kazuki Adachi k_adachi_01
1
120
生成 AI の基礎 〜 サンプル実装で学ぶ基本原理
Avatar for Etsuji Nakai enakai00
7
4.4k
第3回しろおびセキュリティスポンサーセッション
Avatar for ogiogi log0417
0
200
Agent 時代の Kaggle 展望 / kaggle-in-the-agentic-era
Avatar for Shotaro Ishihara upura
1
750
侵入は突然に 〜 IoTマルウェアと悪用される家庭の機器 ～ / When Intrusion Strikes: IoT Malware and the Abuse of Home Devices
Avatar for NTT docomo Business nttcom
0
5.8k
Digitization部 紹介資料
Avatar for Sansan, Inc. sansan33
PRO
2
7.7k
モノリス Rails でも日中に rails db:migrate を走らせたい！ / Daytime rails db:migrate on Monolithic Rails!
Avatar for Shintani Teppei euglena1215
4
580
【CEDEC2026】次世代デジタルカードゲームのサーバー設計と運用 〜『Shadowverse: Worlds Beyond』の舞台裏～
Avatar for Cygames, Inc. cygames
PRO
1
1.3k
トヨタ⽣産⽅式(TPS)⼊⾨
Avatar for Recruit recruitengineers
PRO
3
840
オートロックマンションなのに、各部屋は施錠なし！？ 攻撃者が組織内ネットワークで大暴れする理由 / The Front Door Is Locked, but the Rooms Are Wide Open: Why Attackers Move Freely Inside Enterprise Networks
Avatar for NTT docomo Business nttcom
1
5.8k
AIエージェントを前提としたプラットフォーム エンジニアリング：GKEで作るAgent-Ready Golden Path
Avatar for LegalOn Technologies, Inc legalontechnologies
PRO
2
240

Featured

See All Featured
Future Trends and Review - Lecture 12 - Web Technologies (1019888BNR)
Avatar for Beat Signer signer
PRO
0
3.7k
Building the Perfect Custom Keyboard
Avatar for Naoto Takai takai
2
840
From Legacy to Launchpad: Building Startup-Ready Communities
Avatar for Dug Song dugsong
0
300
Unlocking the hidden potential of vector embeddings in international SEO
Avatar for Frank van Dijk frankvandijk
0
890
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
170
Paper Plane (Part 1)
Avatar for Katie Cordina Lindsey katiecoart
PRO
1
10k
Automating Front-end Workflow
Avatar for Addy Osmani addyosmani
1369
210k
Google's AI Overviews - The New Search
Avatar for Barry Adams badams
0
1.1k
Heart Work Chapter 1 - Part 1
Avatar for Lake Fama lfama
PRO
8
36k
GraphQLとの向き合い方2022年版
Avatar for Yosuke Kurami quramy
50
15k
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
Avatar for Dr. Kim W Petersen kimpetersen
PRO
0
410
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
38
3k

Transcript

  1. 検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58

  2. 自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります

  3. 全文検索エンジンは便利で強力！ 3 沖縄の観光名所を知りたい

  4. でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり ＋Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭

  5. Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった

  6. Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要

  7. そこでSolr/Elastic Operatorよ！ 7

  8. 簡単に構築するレシピが用意されてる！ 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている！

  9. たった4行で検索クラスターが！？ 9 たったこれだけでSolrサーバー3台＋Zookeeperサーバー3台のクラスターが組 めちゃう！

  10. たった4行で検索クラスターが！？ 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成！

  11. もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC

    • etc... 悩ましい運用上の課題が自動化できちゃうかも！？

  12. その他にもメリットがいっぱい！ 12 K8S親和性の高い他アプリケーションとの連携も容易に！ 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる！

  13. 今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た！！ 13

  14. でも、Kubernetesはなん となく敷居が高くて... 14

  15. そんなあなたのために、本書きました！ 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう •

    第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でSolrを動かそう(ローカル編) • 第6章：k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します！

  16. そんなあなたのために、本書きました！ 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します！ • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう

    • 第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でESを動かそう(ローカル編) • 第6章：k8s上でESを動かそう(Azure編) 鋭意 執筆中

  17. まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門！ Kubernetes×Solr/Elasticsearchはいいぞー！

  18. 参考文献 18 • 検索システムだって高可用性にしたい！SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud

    • Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/