Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
初めてのElasticStack!サービス監視課題をElasticStackで解決するために学...
Search
Recruit Technologies
September 19, 2018
Technology
0
750
初めてのElasticStack!サービス監視課題をElasticStackで解決するために学んでいること
2018/09/19 Elasticsearch勉強会での瀧田の講演資料になります。
Recruit Technologies
September 19, 2018
Tweet
Share
More Decks by Recruit Technologies
See All by Recruit Technologies
障害はチャンスだ! 障害を前向きに捉える
rtechkouhou
1
700
Flutter移行の苦労と、乗り越えた先に得られたもの
rtechkouhou
3
12k
ここ数年間のタウンワークiOSアプリのエンジニアのチャレンジ
rtechkouhou
1
1.5k
大規模環境をAWS Transit Gatewayで設計/移行する前に考える3つのポイントと移行への挑戦
rtechkouhou
1
1.9k
【61期 新人BootCamp】TOC入門
rtechkouhou
3
42k
【RTC新人研修 】 TPS
rtechkouhou
1
41k
Android Boot Camp 2020
rtechkouhou
0
41k
HTML/CSS
rtechkouhou
10
51k
TypeScript Bootcamp 2020
rtechkouhou
9
46k
Other Decks in Technology
See All in Technology
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
1
6.2k
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
180
Delta airlines®️ USA Contact Numbers: Complete 2025 Support Guide
airtravelguide
0
340
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
2
6.3k
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
390
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
taishin
1
150
American airlines ®️ USA Contact Numbers: Complete 2025 Support Guide
airhelpsupport
0
360
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
7
5.1k
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
160
Beyond Kaniko: Navigating Unprivileged Container Image Creation
f30
0
130
Geminiとv0による高速プロトタイピング
shinya337
0
250
OSSのSNSツール「Misskey」をさわってみよう(右下ワイプで私のOSCの20年を振り返ります) / 20250705-osc2025-do
akkiesoft
0
140
Featured
See All Featured
Art, The Web, and Tiny UX
lynnandtonic
299
21k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
A Tale of Four Properties
chriscoyier
160
23k
Music & Morning Musume
bryan
46
6.6k
Site-Speed That Sticks
csswizardry
10
680
Transcript
初めてのElasticStack! サービス監視課題をElasticStackで解決する ために学んでいること 株式会社リクルートテクノロジーズ 瀧田直斗 2018年9月19日
目次 • 自己紹介 • ElasticStackを学ぶきっかけ • なぜElasticStackを選んだのか? • ElasticStackをどのように学んでいるか? 2
(C) Recruit Technologies Co., Ltd. All rights reserved.
自己紹介 瀧田 直斗 株式会社リクルートテクノロジーズ ITソリューション本部 インフラソリューション部 経歴 2011〜2016 製薬業界様向けのIT会社 -
営業支援システムのインフラ全般構築担当 2016/9〜 リクルートテクノロジーズ入社 - 商用インフラと社内インフラを担当 最近の技術興味 ・Linuxカーネル、Docker、Kubernetes、GoLang ・データ操作まわりが好き。 ElasticStack、fluentd、embulk、SQL、・・・ 3 (C) Recruit Technologies Co., Ltd. All rights reserved.
本LTの思い • 我々は初めてElasticStackを触り始めている状態です。 • こんなことができた!という成果発表でなく 今どうやって学んでいるかを発表させていただきます。 • 我々の部署と同じく、 これからチームでElasticStackを学んでいく人、 リーダー層でElasticStackの知識をつけたい人向けです。
• こんないい学び方があるよ! など皆様と今後意見交換できたら幸いです。 4 (C) Recruit Technologies Co., Ltd. All rights reserved.
ElasticStackを学ぶきっかけ VDI環境の現状 数万台のVDIを支えるインフラ。 VDIが利用者まで届くまで様々な機器を経由しています。 それぞれの機器障害は監視しているため障害に気が付くことができます。 5 (C) Recruit Technologies Co.,
Ltd. All rights reserved. VDI利用者 NW機器 数万台の VDI VDIを提供している サーバ 社内NW 運用担当者 障害だ!
ElasticStackを学ぶきっかけ 課題 個人のつながらないケースは様々。 →WIFIを切っていた、NW圏外、PCの故障、etc・・・ 個人の機器に対して、VDIがつながらない現象すべてを監視していません。 しかし、複数の利用者がつながらない場合何らかの問題あります。 その一方、機器から監視アラートが上がっていない場合は、障害に気がつ けません。 6 (C)
Recruit Technologies Co., Ltd. All rights reserved. VDI利用者 NW機器 数万台の VDI VDIを提供している サーバ 社内NW 運用担当者 つながらない つながらない つながらない つながらない
ElasticStackを学ぶきっかけ 解決手段 NW機器、サーバログから、 正常な接続ログが閾値を下回ったら障害として通知 異常な接続ログが閾値を上回ったら障害として通知 することを現在検討しています。 7 (C) Recruit Technologies
Co., Ltd. All rights reserved. VDI利用者 NW機器 数万台の VDI VDIを提供している サーバ 社内NW 運用担当者 Syslogサーバ 現在検討中の構成
なぜElasticStackを選んだのか? 8 (C) Recruit Technologies Co., Ltd. All rights reserved.
ElasticStackを選んだ理由は以下の5つ 1.オープンソース すぐに試せて、導入までのハードルがない。 ソースコードが見れるので、仕組みがわかる。 2.ドキュメントが豊富 公式ドキュメントが充実している。 3.トレンドである Githubスターランキング87/2,692,674位と上位。(2018/08/20 時点) DB-Enginesで検索エンジンランキング1位。 4.コミュニティが活発である 月1の勉強会、ネット記事が多い。 5.見た目がかっこいい *参考DB-Engines:https://db-engines.com/en/ranking_trend
課題解決に向けて学んでいること 9 (C) Recruit Technologies Co., Ltd. All rights reserved.
とはいえ、 ElasticStackを触るのは初めて・・・ どうやってみんなで学んでいくか・・・
今までの失敗・・・ 10 (C) Recruit Technologies Co., Ltd. All rights reserved.
よみがえる悪夢・・・ 担当を一人ひとりに割り振ってしまい、属人化・・・・ なんとなくできた、でも障害の時わからない・・・ チームで理解度が異なるとコミュニケーションロスに・・・ プロダクトAを 勉強&構築 プロダクトA,Bをつなげた システム なんでこうしたん だっけ? 担当じゃ無いので わかりません。 ぐぐって構築 よくわからないけど ぐぐったらできた。 システム障害 なんでメモリが枯渇し ているんだろう? プロダクトBを 勉強&構築 Definitionsの設定が 間違えてて障害が・・・ は?Definitions? Definitionsとは・・・
ElasticStackをどのように学んでいるか? 11 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ 担当を一人ひとりに割り振ってしまい、後でわからない・・・ チームで理解度が異なるとコミュニケーションロスに・・・ →1人でやらずに基本はチームみんなで勉強する。 ちょうど入門書が出ていたので、ディスカッションできるように宿題を それぞれこなす形式で勉強会を実施。 データ分析基盤構築入門 [Fluentd,Elasticsearch,Kibanaによるログ収集と可視化] 著者鈴木健太,吉田健太郎,大谷純,道井俊介 著 章 サブ 宿題 勉強会日 Elasticsearchの基礎 10-1 特徴とはなにか? その特徴を具体的に説明できる例をだせ 8/17 10-2 アーキテクチャの説明を第三者へわかりやすく 説明出来る例をだせ 8/17 10-3 本章で書かれている内容を第三者へわかりやす く説明せよ 8/17 Elasticsearchの初め方 11-1 ディレクトリ構造を説明せよ 9/7 11-2 可能な限り各自で実行し、その結果を共有せよ 9/7 11-3 各設定がES上の何に関わってくるか説明せよ 9/7 11-4 可能な限り各自で実行し、その結果を共有せよ 9/7 11-5 可能な限り各自で実行し、その結果を共有せよ 各機能の説明をせよ 9/7 11-6 可能な限り各自で実行し、その結果を共有せよ 各機能の説明をせよ 本書で上げているフィールド型以外のフィール ド型を3つ以上あげ、どのようなフィールド型 か説明せよ 9/7 Elasticsearchの運用Tips 12-1 どのようなときに必要なチューニングポイント か説明せよ 9/14 12-2 どのようなときに有効な運用か説明せよ 9/14 12-3 実機で対応する方法を説明せよ 9/14
ElasticStackをどのように学んでいるか? 12 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ 担当を一人ひとりに割り振ってしまい、後でわからない・・・ チームで理解度が異なるとコミュニケーションロスに・・・ →1人でやらずに基本はチームみんなで勉強する。 ちょうど入門書が出ていたので、ディスカッションできるように宿題を それそぞれこなす形式で勉強会を実施。 項目 サブ 宿題 勉強会日 beats 全般 beatsとはなにか? beatsはどのようなシリーズがあり、どのような機能 があるか説明せよ beatsのシステム構成について説明せよ 8/24 filebeats filebeatsの仕様、設定はどのような項目があるか 8/24 Plugin Pluginはどのようなものがあるか 8/24 Logstash 全般 Logstashとはなにか? Logstashのシステム構成について説明せよ 8/24 - Logstashの主要機能について説明せよ ・input ・filter ・output 8/24 本で足りない Beats、Logstashは別途 勉強項目を設定
ElasticStackをどのように学んでいるか? 13 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ 担当を一人ひとりに割り振ってしまい、後でわからない・・・ チームで理解度が異なるとコミュニケーションロスに・・・ →1人でやらずに基本はチームみんなで勉強する。 最新の公式ドキュメントをあわせて利用。 入門とそれぞれのトピック毎に分かれていてわかりやすかった。 ドキュメントが豊富なものを選んだメリット。 公式ドキュメント https://www.elastic.co/guide/en/elasticsearch/reference/current/setup.html 入門のセクション 基本的な仕組み操作を学べた。
ElasticStackをどのように学んでいるか? 14 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ 担当を一人ひとりに割り振ってしまい、後でわからない・・・ →ドキュメント化して、ディスカッションする。 自分の言葉で噛み砕き発表し合う。 RDBとの違いは? ドキュメント指向とは 何が嬉しいの? インデックスって 例えば何? フィールドって どういう概念? grokで何ができるの? Aggregationて何が選べ てどんな動作になるの?
ElasticStackをどのように学んでいるか? 15 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ なんとなくできた、でも障害の時わからない・・・ →とにかく試して、なぜできたかをディスカッションする。 それってどういう仕組 でできているの? ログを可視化できた! filebeatsにはharvestersと いう物があって・・・ libbeatという共通ライブ ラリがあって・・・
ElasticStackをどのように学んでいるか? 16 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ なんとなくできた、でも障害の時わからない・・・ →気になったらソースコードをみる。 オープンソースを選んだメリット。 filebeatsのharvestersって 実際何しているの? このソースからできていて・・・ レジストリオブジェクトを作成 していて・・・
おしまい ご清聴ありがとうございました! こんないい学び方があるよ! など皆様と今後意見交換できたら幸いです。 17 (C) Recruit Technologies Co., Ltd.
All rights reserved.