Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
初めてのElasticStack!サービス監視課題をElasticStackで解決するために学んでいること
Search
Recruit Technologies
September 19, 2018
Technology
0
730
初めてのElasticStack!サービス監視課題をElasticStackで解決するために学んでいること
2018/09/19 Elasticsearch勉強会での瀧田の講演資料になります。
Recruit Technologies
September 19, 2018
Tweet
Share
More Decks by Recruit Technologies
See All by Recruit Technologies
障害はチャンスだ! 障害を前向きに捉える
rtechkouhou
1
570
Flutter移行の苦労と、乗り越えた先に得られたもの
rtechkouhou
3
10k
ここ数年間のタウンワークiOSアプリのエンジニアのチャレンジ
rtechkouhou
1
1.4k
大規模環境をAWS Transit Gatewayで設計/移行する前に考える3つのポイントと移行への挑戦
rtechkouhou
1
1.8k
【61期 新人BootCamp】TOC入門
rtechkouhou
3
40k
【RTC新人研修 】 TPS
rtechkouhou
1
39k
Android Boot Camp 2020
rtechkouhou
0
40k
HTML/CSS
rtechkouhou
10
48k
TypeScript Bootcamp 2020
rtechkouhou
9
44k
Other Decks in Technology
See All in Technology
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
3
350
ServiceNow Knowledge 24の歩き方 EYストラテジー・アンド・コンサルティング
manarobot
0
200
GrafanaMeetup_AmazonManagedGrafanaのアクセス制御機能とマルチテナント環境下でのアクセス制御について
daitak
0
250
require(ESM)とECMAScript仕様
uhyo
3
780
VSCodeの拡張機能を作っている話
ebarakazuhiro
1
570
エンジニアのキャリアをちょっと楽しくする3本の軸/Three Pillars to Make an Engineer's Career More Enjoyable
kwappa
0
2.7k
APIファーストなプロダクトマネジメントの実践 〜SaaSus Platformでの例〜 / "Practicing API-First Product Management - An Example with SaaSus Platform
oztick139
0
110
ChatGPT for IT Service Management (IT Pro)
dahatake
7
1.6k
今年のRubyKaigiはProfiler Year🤘
osyoyu
0
170
Google Cloud Next '24でブログを10本書いた方法と勉強会を沸かせた方法
yasumuusan
0
310
GraphQL 成熟度モデルの紹介と、プロダクトに当てはめた事例 / GraphQL maturity model
mh4gf
7
1.4k
20240418_Google ColabにLLMが搭載されたようなのでPython x データ分析の勉強方法を考えてみる
doradora09
0
140
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
9
8.3k
Navigating Team Friction
lara
178
13k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Typedesign – Prime Four
hannesfritz
36
2.1k
Infographics Made Easy
chrislema
238
18k
Robots, Beer and Maslow
schacon
PRO
155
7.9k
Web development in the modern age
philhawksworth
202
10k
Building Flexible Design Systems
yeseniaperezcruz
319
37k
We Have a Design System, Now What?
morganepeng
43
6.8k
Facilitating Awesome Meetings
lara
42
5.6k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
227
16k
GraphQLとの向き合い方2022年版
quramy
32
12k
Transcript
初めてのElasticStack! サービス監視課題をElasticStackで解決する ために学んでいること 株式会社リクルートテクノロジーズ 瀧田直斗 2018年9月19日
目次 • 自己紹介 • ElasticStackを学ぶきっかけ • なぜElasticStackを選んだのか? • ElasticStackをどのように学んでいるか? 2
(C) Recruit Technologies Co., Ltd. All rights reserved.
自己紹介 瀧田 直斗 株式会社リクルートテクノロジーズ ITソリューション本部 インフラソリューション部 経歴 2011〜2016 製薬業界様向けのIT会社 -
営業支援システムのインフラ全般構築担当 2016/9〜 リクルートテクノロジーズ入社 - 商用インフラと社内インフラを担当 最近の技術興味 ・Linuxカーネル、Docker、Kubernetes、GoLang ・データ操作まわりが好き。 ElasticStack、fluentd、embulk、SQL、・・・ 3 (C) Recruit Technologies Co., Ltd. All rights reserved.
本LTの思い • 我々は初めてElasticStackを触り始めている状態です。 • こんなことができた!という成果発表でなく 今どうやって学んでいるかを発表させていただきます。 • 我々の部署と同じく、 これからチームでElasticStackを学んでいく人、 リーダー層でElasticStackの知識をつけたい人向けです。
• こんないい学び方があるよ! など皆様と今後意見交換できたら幸いです。 4 (C) Recruit Technologies Co., Ltd. All rights reserved.
ElasticStackを学ぶきっかけ VDI環境の現状 数万台のVDIを支えるインフラ。 VDIが利用者まで届くまで様々な機器を経由しています。 それぞれの機器障害は監視しているため障害に気が付くことができます。 5 (C) Recruit Technologies Co.,
Ltd. All rights reserved. VDI利用者 NW機器 数万台の VDI VDIを提供している サーバ 社内NW 運用担当者 障害だ!
ElasticStackを学ぶきっかけ 課題 個人のつながらないケースは様々。 →WIFIを切っていた、NW圏外、PCの故障、etc・・・ 個人の機器に対して、VDIがつながらない現象すべてを監視していません。 しかし、複数の利用者がつながらない場合何らかの問題あります。 その一方、機器から監視アラートが上がっていない場合は、障害に気がつ けません。 6 (C)
Recruit Technologies Co., Ltd. All rights reserved. VDI利用者 NW機器 数万台の VDI VDIを提供している サーバ 社内NW 運用担当者 つながらない つながらない つながらない つながらない
ElasticStackを学ぶきっかけ 解決手段 NW機器、サーバログから、 正常な接続ログが閾値を下回ったら障害として通知 異常な接続ログが閾値を上回ったら障害として通知 することを現在検討しています。 7 (C) Recruit Technologies
Co., Ltd. All rights reserved. VDI利用者 NW機器 数万台の VDI VDIを提供している サーバ 社内NW 運用担当者 Syslogサーバ 現在検討中の構成
なぜElasticStackを選んだのか? 8 (C) Recruit Technologies Co., Ltd. All rights reserved.
ElasticStackを選んだ理由は以下の5つ 1.オープンソース すぐに試せて、導入までのハードルがない。 ソースコードが見れるので、仕組みがわかる。 2.ドキュメントが豊富 公式ドキュメントが充実している。 3.トレンドである Githubスターランキング87/2,692,674位と上位。(2018/08/20 時点) DB-Enginesで検索エンジンランキング1位。 4.コミュニティが活発である 月1の勉強会、ネット記事が多い。 5.見た目がかっこいい *参考DB-Engines:https://db-engines.com/en/ranking_trend
課題解決に向けて学んでいること 9 (C) Recruit Technologies Co., Ltd. All rights reserved.
とはいえ、 ElasticStackを触るのは初めて・・・ どうやってみんなで学んでいくか・・・
今までの失敗・・・ 10 (C) Recruit Technologies Co., Ltd. All rights reserved.
よみがえる悪夢・・・ 担当を一人ひとりに割り振ってしまい、属人化・・・・ なんとなくできた、でも障害の時わからない・・・ チームで理解度が異なるとコミュニケーションロスに・・・ プロダクトAを 勉強&構築 プロダクトA,Bをつなげた システム なんでこうしたん だっけ? 担当じゃ無いので わかりません。 ぐぐって構築 よくわからないけど ぐぐったらできた。 システム障害 なんでメモリが枯渇し ているんだろう? プロダクトBを 勉強&構築 Definitionsの設定が 間違えてて障害が・・・ は?Definitions? Definitionsとは・・・
ElasticStackをどのように学んでいるか? 11 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ 担当を一人ひとりに割り振ってしまい、後でわからない・・・ チームで理解度が異なるとコミュニケーションロスに・・・ →1人でやらずに基本はチームみんなで勉強する。 ちょうど入門書が出ていたので、ディスカッションできるように宿題を それぞれこなす形式で勉強会を実施。 データ分析基盤構築入門 [Fluentd,Elasticsearch,Kibanaによるログ収集と可視化] 著者鈴木健太,吉田健太郎,大谷純,道井俊介 著 章 サブ 宿題 勉強会日 Elasticsearchの基礎 10-1 特徴とはなにか? その特徴を具体的に説明できる例をだせ 8/17 10-2 アーキテクチャの説明を第三者へわかりやすく 説明出来る例をだせ 8/17 10-3 本章で書かれている内容を第三者へわかりやす く説明せよ 8/17 Elasticsearchの初め方 11-1 ディレクトリ構造を説明せよ 9/7 11-2 可能な限り各自で実行し、その結果を共有せよ 9/7 11-3 各設定がES上の何に関わってくるか説明せよ 9/7 11-4 可能な限り各自で実行し、その結果を共有せよ 9/7 11-5 可能な限り各自で実行し、その結果を共有せよ 各機能の説明をせよ 9/7 11-6 可能な限り各自で実行し、その結果を共有せよ 各機能の説明をせよ 本書で上げているフィールド型以外のフィール ド型を3つ以上あげ、どのようなフィールド型 か説明せよ 9/7 Elasticsearchの運用Tips 12-1 どのようなときに必要なチューニングポイント か説明せよ 9/14 12-2 どのようなときに有効な運用か説明せよ 9/14 12-3 実機で対応する方法を説明せよ 9/14
ElasticStackをどのように学んでいるか? 12 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ 担当を一人ひとりに割り振ってしまい、後でわからない・・・ チームで理解度が異なるとコミュニケーションロスに・・・ →1人でやらずに基本はチームみんなで勉強する。 ちょうど入門書が出ていたので、ディスカッションできるように宿題を それそぞれこなす形式で勉強会を実施。 項目 サブ 宿題 勉強会日 beats 全般 beatsとはなにか? beatsはどのようなシリーズがあり、どのような機能 があるか説明せよ beatsのシステム構成について説明せよ 8/24 filebeats filebeatsの仕様、設定はどのような項目があるか 8/24 Plugin Pluginはどのようなものがあるか 8/24 Logstash 全般 Logstashとはなにか? Logstashのシステム構成について説明せよ 8/24 - Logstashの主要機能について説明せよ ・input ・filter ・output 8/24 本で足りない Beats、Logstashは別途 勉強項目を設定
ElasticStackをどのように学んでいるか? 13 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ 担当を一人ひとりに割り振ってしまい、後でわからない・・・ チームで理解度が異なるとコミュニケーションロスに・・・ →1人でやらずに基本はチームみんなで勉強する。 最新の公式ドキュメントをあわせて利用。 入門とそれぞれのトピック毎に分かれていてわかりやすかった。 ドキュメントが豊富なものを選んだメリット。 公式ドキュメント https://www.elastic.co/guide/en/elasticsearch/reference/current/setup.html 入門のセクション 基本的な仕組み操作を学べた。
ElasticStackをどのように学んでいるか? 14 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ 担当を一人ひとりに割り振ってしまい、後でわからない・・・ →ドキュメント化して、ディスカッションする。 自分の言葉で噛み砕き発表し合う。 RDBとの違いは? ドキュメント指向とは 何が嬉しいの? インデックスって 例えば何? フィールドって どういう概念? grokで何ができるの? Aggregationて何が選べ てどんな動作になるの?
ElasticStackをどのように学んでいるか? 15 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ なんとなくできた、でも障害の時わからない・・・ →とにかく試して、なぜできたかをディスカッションする。 それってどういう仕組 でできているの? ログを可視化できた! filebeatsにはharvestersと いう物があって・・・ libbeatという共通ライブ ラリがあって・・・
ElasticStackをどのように学んでいるか? 16 (C) Recruit Technologies Co., Ltd. All rights reserved.
反省を踏まえて・・・ なんとなくできた、でも障害の時わからない・・・ →気になったらソースコードをみる。 オープンソースを選んだメリット。 filebeatsのharvestersって 実際何しているの? このソースからできていて・・・ レジストリオブジェクトを作成 していて・・・
おしまい ご清聴ありがとうございました! こんないい学び方があるよ! など皆様と今後意見交換できたら幸いです。 17 (C) Recruit Technologies Co., Ltd.
All rights reserved.