ENdoSnipe における Elasticsearch 導入の効果 ~システム可視化、診断の高度化に向けて~

"当社では、システムやビジネスの可視化・診断を行うENdoSnipe を提供しています。
最新のバージョン 7 では ENdoSnipe のデータソースを、RDB から Elasticsearch に移行いたしました。それにより蓄積したデータの可視化、分析などが効率化でき、新たな機能を追加できました。
移行の動機、得られたメリット、今後の機能追加予定などから、Elasticsearch の魅力や使う上でのコツをお伝えします。"

山崎 政憲 氏 l アクロクエストテクノロジー株式会社 システムズコンサルティングディヴィジョン シニアテクニカルコンサルタント l アクロクエストテクノロジー株式会社

Transcript

1. 山崎 政憲 Senior Technical Consultant ENdoSnipe における Elasticsearch 導入の効果 ~システム可視化、診断の高度化に向けて~ Acroquest Technology株式会社 2016/12/15
2. 自己紹介 1
3. Acroquestの会社紹介 2 AcroquestはElastic社との 国内唯⼀のOEMパートナー企業 です。 写真は左から、Elastic社バイス プレジデント＆ジェネラルマ ネージャ（アジア太平洋および ⽇本）ロバート・ラウ⽒、当社 代表取締役新免流。 Elastic社公認のElasticテクニ カルワークショップの講師と運 営を担当しております。 通算300名以上の⽅にご参加い ただいております。 国内外の各種ITカンファレンス にてElasticに関する講演実績多 数。 (2016年実績：JavaOne, SpringOne, アプリケーション パフォーマンス, Data Analytics Showcaseなど)
4. AcroquestのElastic関連事業 3 Elastic Total サービス Elastic構築サービス あなたに代わってElasticのシステムを設計/構築 します。 Elasticコンサルティングサービス あなたの懸念事項・不明点を解決します。 Elastic安定化性能改善サービス Elasticsearch早いはずが何故か遅い！落ちる！ というあなたの悩みを解決します。 Elastic PoC(概念検証)サービス 「Elastic導⼊を検討しているけど、まずは実現したい ことが できるのか検証したい」というあなたの望みを素早く 実現します。 Elasticsearchを使った システムの構築は Acroquestにお任せください。 http://www.acroquest.co.jp/elastic/
5. 自己紹介 • 山﨑 政憲（Acroquest Technology 株式会社） § 小学3年生のころから、 Family Basicでプログラミングを始める。 § 横浜ベイスターズの優勝につられて、横浜で就職。 § 入社2年目時、隣席のエンジニアのデバッグを手伝った事をきっかけ に、システムのトラブルシュートに携わる。 依頼、年間10～15件程度の トラブルシュートを担当。 (E-Mail : yamasaki@acroquest.co.jp) 4
6. - トラブル解決サービス 1. 成功報酬型 トラブルシュートサービス 2. 年間60件超のトラブルに 対応しています。 ① レスポンス改善 ② ハングアップ原因究明 3. これまで解決率100% 5 解決できなかった 場合は、「半額」を お返しします。 このトラブルシュート経験から 生まれ、進化してきたのが
7. 今日、お伝えしたいこと、2点 Elasticsearchの面白さ、強力さ ENdoSnipeの便利さ 6
8. ENdoSnipeとは？ 7
9. 出自はJavaシステム可視化・診断ツール 8 Javaシステムの可視化を実現 強力な診断機能 問題を素早く検出する監視機能
10. 旧ENdoSnipeの各種機能 9 システムの診断結果をテキストで出力。 メモリリークの発生や、排他制御による 処理遅延を検出可能。 SQLのインデクスチューニングなども アドバイス。 システムのリソース 使用量を可視化。
11. 監視対象Java プロセス 旧ENdoSnipeのアーキテクチャ 10 ENdoSnipe Data Collector ENdoSnipe Dashboard ENdoSnipe Agent PostgreSQLの パーティショニング 機能を用いて、 測定データを蓄積。 Javaプロセス内で動作する エージェントを開発。 アプリケーションの動作データを ソースコードに 手を加えることなく収集。
12. RDBでぶつかった壁 検索が遅い ••大量にデータを蓄積すると非常に遅くなった。 対処としてデータをサマリすると、当然、精度が低下するトレードオフ発生。 開発効率が低い ••複雑な統計処理を実装するのにJavaとSQLを組み合わせて実装するので面倒。 （そしてやはり性能が悪く、改善に多大な工数が必要。） ••データ、クエリ結果の確認が大変。 構築、運用が面倒 ••データベースのクラスタ構築等、構成が複雑になりがち。 11
13. Powered By 12 OEMパートナーへ
14. 監視対象Java プロセス 新ENdoSnipeのアーキテクチャ 13 ENdoSnipe Data Collector ENdoSnipe Agent ENdoSnipe New Dashboard Dashboardデ ザインは Kibanaで行い、 結果を importする。 将来的には デザイナを提供。 Metric beat AlertはX-Packの Alertingで実現。 ドリルダウン等の分析に 必要な機能を実装。 Analysis Engine 相関分析等の分析 エンジンを開発。 Metricbeatを使うこと で、対応ミドルウェアを 拡大
15. Elasticsearchに移行したことによるメリット(技術編) 生産性向上 ••ランキング機能 → 1週間 ••相関分析UI → 2週間 ••アラート機能 → 1ヶ月 ••X-Pack AlertingベースでUIのみ開発。 14
16. Elasticsearchに移行したことによるメリット(サポート編) 半年で100件の質問を実施 ••基本事項から、設計方針、難易度の高いクエリの書き方まで多種多様。 ••「それは実現できません」と聞けることも大切。 しかも、たいていの場合、「こうすれば実現できます」と言ってくれます。 突っ込んだサポート内容 ••高難易度クエリには、検証済みのサンプルまで添付。 ••エンハンスリクエストが対応間近であることも教えてくれる。 (OSSであることのメリットも大きい) 15
17. Elasticsearchへの移行で大変だったこと 16 学習コストが高い ••ElasticsearchのクエリはSQLとは全く異な るので、イチから学習が必要。 ••機能、非機能ともに日本語情報が少ない。 ••最新版で変化していることも多い。 頻繁なバージョンアップ ••Javaクライアントライブラリの仕様が変わ る！ ••機能が非推奨になる、無くなる。 ••地図が表示されなくなる！ 学習支援体制は必須 ••社内ワークショップ（毎週開催）で 知識ベースを向上。 ••グループウェアを活用して知見を共有。 ••Elasticsearch社のサポート利用を徹底。 変化を楽しむ ••「実現方法が無くなる」ではない。 より良く変化しているだけ。 ••事件も楽しむ。対応スピード重要。 ••本番適用は慎重に。
18. 新ENdoSnipeで実現した機能 ～ システムマップ • システムマップ 機能を強化。 § サーバ間の通信量 を可視化。 § 分散システムにお いて、負荷が集中 している個所を可 視化。 17
19. 新ENdoSnipeで実現した機能 ～ ダッシュボード • より長期間のデータを表示可能に。(サマリはElasticsearchで実施。) 18
20. 新ENdoSnipeで実現した機能 ～ ランキング • 任意の期間でのレスポンスタイムのワーストランキングを表示。 遅いWebページ、遅いSQLから調査を開始できる。 19 • レスポンスの遅いWebページ • CPU消費の多いWebページ • レスポンスの遅いSQL • 例外発生の多いWebページ などをランキング表示。
21. 新ENdoSnipeで実現した機能 ～ SQLリスト • スロークエリの発生時刻や、実行計画、プログラム上の実行箇所を 確認可能。 20 時間のかかるSQL、例外が発 生したSQLの ・クエリ ・実行計画 ・スタックトレース を採取し、解析を効率化。
22. さらなる進化を求めて 21
23. KPI間の相関・因果関係を明らかにしたい 22 収益向上 KPI/KRI System& Application メモリ使⽤量/率 ロードアベレージ ディスク使⽤量/率 スロークエリ 接続数 CPU使⽤率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 （⽣産性） 顧客満⾜度 Strategy 利⽤者拡⼤ Vision ⾃社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満⾜度向上 ⽣産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Service エラー率 User Agent 最⼤/平均 レスポンスタイム 閲覧数（PV） 訪問数（VU） 総リクエスト数 DOS攻撃 不正ログイン試⾏ 業務外利⽤ ファイル UL/DL 多種多様なKPI/KRI、メトリックに対応するために、 Java以外の領域にも対象を拡大。
24. 発展 ～ 一貫した可視化を提供する基盤へ 23 BVM UXM APM • User eXperience Management (ユーザ体感/業務効率可視化) Ø エンドユーザ体験を向上させ、ECサイトでの売り上げを向上。 Ø 社内システムから情報を収集、ボトルネックポイントを明確にし、 業務効率を向上します。 • Application Performance Management (サービス/システムレベルの可視化) Ø システムの性能を可視化し、改善のための内部診断情報を提供 する。 • Business Value Management(経営貢献度の可視化) Ø KPI/KRIの可視化・予測を通じた企業ビジョン/戦略実現の制御、 改善のためのInsightを提供する。
25. 新ENdoSnipeで実現した機能 ～ スルーレートマップ • ユーザの 訪問履歴から、 画面・項目毎の 離脱率を算出し、 可視化。 24 離脱が多発してい る画面を赤く表示 ユーザ満足度が 低い遷移を赤く 表示
26. 新ENdoSnipeで実現した機能 ～ ルート解析 • 訪問履歴を横串でみることで、改善が必要な画面を特定。 25 この画面で 離脱が多発。
27. 新ENdoSnipeで実現した機能 ～ 相関分析 • 相関分析機能により、KPI 間の関連性を発見するこ とが可能に。 § 「SQLがメモリ与える影 響」など、これまで見づ らかった分析にも。 § システムKPI⇔ビジネス KPI間の相互影響の把握が 効率的に可能。 • 物価間の相関を評価する など、システム運用以外 への適用でも効果あり。 26 関連性の強いメトリックだけをグラフ形式で表示。 時間差のある相関も検出可能。
28. KPI間の関連性の早期把握が可能に 27 収益向上 KPI/KRI System& Application メモリ使⽤量/率 ロードアベレージ ディスク使⽤量/率 スロークエリ 接続数 CPU使⽤率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 （⽣産性） 顧客満⾜度 Strategy 利⽤者拡⼤ Vision ⾃社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満⾜度向上 ⽣産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Service エラー率 User Agent 最⼤/平均 レスポンスタイム 閲覧数（PV） 訪問数（VU） 総リクエスト数 DOS攻撃 不正ログイン試⾏ 業務外利⽤ ファイル UL/DL 大量データヒットにより、 スロークエリが発生し、 メモリ使用量が増大。 時差のある相関も検出可能。 双方向での影響把握が容易に。 1. システムKPI → ビジネスKPI 障害によるビジネス影響の把握効率向上。 2. ビジネスKPI → システムKPI ビジネス変化の原因となったシステム要因の早期究明。
29. Prelertによる異常検知との連携 28 × • 教師無し機械学習による異常検知 • Influencer機能による原因分析 • リソースデータ/トランザクションデータ によるトラブルシュート支援 • 高速相関分析による多様なデータから の主原因分析 検証を始めました。
30. Prelertによる異常検知との連携 29 1. Prelertでヒープメモリの 増加異常を検知。 原因となったWebペー ジをInfluencer分析で 確認。 2. 相関分析により、メモリ 異常と関連の強いWeb ページやSQLを確認。 3. トランザクション分析機 能でWebページやSQL の処理内容を確認。 ヒット件数が多いSQLを 実行したため、メモリ負 荷が増大したと判明。
31. Prelertによる異常検知との連携 30 実証例 ••ENdoSnipeの測定値の変動を素早く捉えて異常検知が可能に。 ••PrelertのInfluencer分析とENdoSnipe相関分析の相性が良い。 検出から原因分析まで、シームレスに実現できる可能性あり。 例えば、ヒープメモリの上限変動を異常検知し、相関分析で原因となった機能やSQLを特定 するなど、これまで不可能だったことが、できるようになる。 ••センサーデータとの連携による故障予知に効果。 ••実データをPrelertに判定させたところ、故障前に異常を検知。 ••公開サイトに対するリストアタック等の攻撃検出に効果。 ••ログインエラー数の傾向変化を異常検知。Influencerとして、アクセス元IPアドレスを抽出。 ••アプリケーションやENdoSnipeとの連携で自動遮断の可能性も。
32. まとめ 31
33. Elasticsearchを活用するには以下がお勧めプランです 32 高度な機能の実現には、X-Pack/サポートを活用! ••Graph、Prelertなどを活用することで、Elasticsearchに蓄積したデータから、様々な知見を取り出せる。 ••バグ情報に留まらない、強力なテクニカルサポートが受けられる。 案件開始時にあらかじめサポートを受けたい内容をまとめておくと良い。 ••運用コストを削減したい場合はElastic Cloudを検討。 利活用ノウハウを短期で得たい場合はENdoSnipe! ••分析、検索、システム性能管理と、用途に合わせたラインナップ。 ••表現力豊かなダッシュボードや相関分析機能等、独自の機能強化を実施しています。 学習目的や要求がシンプルな場合はOSS ••要求範囲が限られている場合は、自力構築も正解。 ••テクニカルワークショップや正規トレーニングの受講をお勧めします。
34. 最後に(長めの)お知らせ 33
35. GPTW2年連続でもある働きがいのある会社で働いてみませんか？ Elasticsearchを愛する仲間を募集中！ 34 1. 新卒 & 中途採用 2. 学生 & 社会人インターンシップ 3. Elastic テクニカルワークショップ 4. Elasticsearchワークショップ
36. 学生 & 社会人インターンシップ • 働きながら、Elasticsearchを学んでみませんか? 1. ミッション ① ENdoSnipeの新機能開発 ② Elasticsearchの調査・検証 ③ Elasticsearchを活用したデータ分析 2. メリット ① 社内のElasticsearchノウハウにアクセスできます。 ② ENdoSnipe/Elasticsearch関係者から指導、アドバイスが受けられます。 3. 場所 o 当社新横浜オフィス 35
37. Elastic テクニカルワークショップ • 月に2回のペースで開催中、Elasticsearch入門ハンズオンセミナーです。 1. 内容 o Elasticsearchを用いたデータ分析入門 2. 場所 o 大手町フィナンシャルシティグランキューブ3F 3. スケジュール o 2017年01月27日(金) 13:00-17:30 (受付開始12:40) o 2017年02月09日(金) 13:00-17:30 (受付開始12:40) ※以降も継続して実施予定。 4. お申込み方法 o 以下のサイトで受付中。 https://info.elastic.co/japan-technical-workshop.html 36
38. Elasticsearchワークショップ • Acroquest社内で毎週実施中のElasticsearchワークショップを、公開で行い ます。 1. 内容 o Elasticsearchの利用ノウハウ – Elasticsearchとkafka/Hadoopの連携(第3回) – SparkとElasticsearchの連携(第5回) – RDBの検索システムをElasticsearchに移植してみた(第10回) – Prelert入門(第12回) – Packetbeatの嵌りどころ(第17回) 2. 場所 o Acroquest Technology株式会社@新横浜 3. スケジュール & お申込み方法 o お問い合わせください。 37
39. Elasticsearchを使ったシステムの構築や ENdoSnipeを用いたシステム監視に興味がある方は、 ぜひお問い合わせください。 38 連絡先 アクロクエストテクノロジー株式会社 TEL ：045-476-3171 E-Mail ：bvd@acroquest.co.jp URL ：http://www.acroquest.co.jp/
40. www.elastic.co 39 ご清聴、ありがとうございました！