Share
Embed
ENdoSnipe における Elasticsearch 導入の効果 ~システム可視化、診断の高度化に向けて~
"当社では、システムやビジネスの可視化・診断を行うENdoSnipe を提供しています。
最新のバージョン 7 では ENdoSnipe のデータソースを、RDB から Elasticsearch に移行いたしました。それにより蓄積したデータの可視化、分析などが効率化でき、新たな機能を追加できました。
移行の動機、得られたメリット、今後の機能追加予定などから、Elasticsearch の魅力や使う上でのコツをお伝えします。"
山崎 政憲 氏 l アクロクエストテクノロジー株式会社 システムズコンサルティングディヴィジョン シニアテクニカルコンサルタント l アクロクエストテクノロジー株式会社
Elastic Co
November 29, 2016
Transcript
40 slides
-
山崎 政憲 Senior Technical Consultant ENdoSnipe における Elasticsearch 導入の効果 ~システム可視化、診断の高度化に向けて~
Acroquest Technology株式会社 2016/12/15 -
Acroquestの会社紹介 2 AcroquestはElastic社との 国内唯⼀のOEMパートナー企業 です。 写真は左から、Elastic社バイス プレジデント&ジェネラルマ ネージャ(アジア太平洋および ⽇本)ロバート・ラウ⽒、当社 代表取締役新免流。
Elastic社公認のElasticテクニ カルワークショップの講師と運 営を担当しております。 通算300名以上の⽅にご参加い ただいております。 国内外の各種ITカンファレンス にてElasticに関する講演実績多 数。 (2016年実績:JavaOne, SpringOne, アプリケーション パフォーマンス, Data Analytics Showcaseなど) -
AcroquestのElastic関連事業 3 Elastic Total サービス Elastic構築サービス あなたに代わってElasticのシステムを設計/構築 します。 Elasticコンサルティングサービス あなたの懸念事項・不明点を解決します。
Elastic安定化性能改善サービス Elasticsearch早いはずが何故か遅い!落ちる! というあなたの悩みを解決します。 Elastic PoC(概念検証)サービス 「Elastic導⼊を検討しているけど、まずは実現したい ことが できるのか検証したい」というあなたの望みを素早く 実現します。 Elasticsearchを使った システムの構築は Acroquestにお任せください。 http://www.acroquest.co.jp/elastic/ -
自己紹介 • 山﨑 政憲(Acroquest Technology 株式会社) § 小学3年生のころから、 Family Basicでプログラミングを始める。
§ 横浜ベイスターズの優勝につられて、横浜で就職。 § 入社2年目時、隣席のエンジニアのデバッグを手伝った事をきっかけ に、システムのトラブルシュートに携わる。 依頼、年間10~15件程度の トラブルシュートを担当。 (E-Mail : [email protected]) 4 -
- トラブル解決サービス 1. 成功報酬型 トラブルシュートサービス 2. 年間60件超のトラブルに 対応しています。 ① レスポンス改善
② ハングアップ原因究明 3. これまで解決率100% 5 解決できなかった 場合は、「半額」を お返しします。 このトラブルシュート経験から 生まれ、進化してきたのが -
監視対象Java プロセス 旧ENdoSnipeのアーキテクチャ 10 ENdoSnipe Data Collector ENdoSnipe Dashboard ENdoSnipe
Agent PostgreSQLの パーティショニング 機能を用いて、 測定データを蓄積。 Javaプロセス内で動作する エージェントを開発。 アプリケーションの動作データを ソースコードに 手を加えることなく収集。 -
監視対象Java プロセス 新ENdoSnipeのアーキテクチャ 13 ENdoSnipe Data Collector ENdoSnipe Agent ENdoSnipe
New Dashboard Dashboardデ ザインは Kibanaで行い、 結果を importする。 将来的には デザイナを提供。 Metric beat AlertはX-Packの Alertingで実現。 ドリルダウン等の分析に 必要な機能を実装。 Analysis Engine 相関分析等の分析 エンジンを開発。 Metricbeatを使うこと で、対応ミドルウェアを 拡大 -
Elasticsearchに移行したことによるメリット(技術編) 生産性向上 ••ランキング機能 → 1週間 ••相関分析UI → 2週間 ••アラート機能 →
1ヶ月 ••X-Pack AlertingベースでUIのみ開発。 14 -
Elasticsearchへの移行で大変だったこと 16 学習コストが高い ••ElasticsearchのクエリはSQLとは全く異な るので、イチから学習が必要。 ••機能、非機能ともに日本語情報が少ない。 ••最新版で変化していることも多い。 頻繁なバージョンアップ ••Javaクライアントライブラリの仕様が変わ る!
••機能が非推奨になる、無くなる。 ••地図が表示されなくなる! 学習支援体制は必須 ••社内ワークショップ(毎週開催)で 知識ベースを向上。 ••グループウェアを活用して知見を共有。 ••Elasticsearch社のサポート利用を徹底。 変化を楽しむ ••「実現方法が無くなる」ではない。 より良く変化しているだけ。 ••事件も楽しむ。対応スピード重要。 ••本番適用は慎重に。 -
新ENdoSnipeで実現した機能 ~ システムマップ • システムマップ 機能を強化。 § サーバ間の通信量 を可視化。 §
分散システムにお いて、負荷が集中 している個所を可 視化。 17 -
新ENdoSnipeで実現した機能 ~ ランキング • 任意の期間でのレスポンスタイムのワーストランキングを表示。 遅いWebページ、遅いSQLから調査を開始できる。 19 • レスポンスの遅いWebページ •
CPU消費の多いWebページ • レスポンスの遅いSQL • 例外発生の多いWebページ などをランキング表示。 -
新ENdoSnipeで実現した機能 ~ SQLリスト • スロークエリの発生時刻や、実行計画、プログラム上の実行箇所を 確認可能。 20 時間のかかるSQL、例外が発 生したSQLの ・クエリ
・実行計画 ・スタックトレース を採取し、解析を効率化。 -
KPI間の相関・因果関係を明らかにしたい 22 収益向上 KPI/KRI System& Application メモリ使⽤量/率 ロードアベレージ ディスク使⽤量/率 スロークエリ
接続数 CPU使⽤率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (⽣産性) 顧客満⾜度 Strategy 利⽤者拡⼤ Vision ⾃社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満⾜度向上 ⽣産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Service エラー率 User Agent 最⼤/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 DOS攻撃 不正ログイン試⾏ 業務外利⽤ ファイル UL/DL 多種多様なKPI/KRI、メトリックに対応するために、 Java以外の領域にも対象を拡大。 -
発展 ~ 一貫した可視化を提供する基盤へ 23 BVM UXM APM • User eXperience
Management (ユーザ体感/業務効率可視化) Ø エンドユーザ体験を向上させ、ECサイトでの売り上げを向上。 Ø 社内システムから情報を収集、ボトルネックポイントを明確にし、 業務効率を向上します。 • Application Performance Management (サービス/システムレベルの可視化) Ø システムの性能を可視化し、改善のための内部診断情報を提供 する。 • Business Value Management(経営貢献度の可視化) Ø KPI/KRIの可視化・予測を通じた企業ビジョン/戦略実現の制御、 改善のためのInsightを提供する。 -
新ENdoSnipeで実現した機能 ~ スルーレートマップ • ユーザの 訪問履歴から、 画面・項目毎の 離脱率を算出し、 可視化。 24
離脱が多発してい る画面を赤く表示 ユーザ満足度が 低い遷移を赤く 表示 -
新ENdoSnipeで実現した機能 ~ 相関分析 • 相関分析機能により、KPI 間の関連性を発見するこ とが可能に。 § 「SQLがメモリ与える影 響」など、これまで見づ
らかった分析にも。 § システムKPI⇔ビジネス KPI間の相互影響の把握が 効率的に可能。 • 物価間の相関を評価する など、システム運用以外 への適用でも効果あり。 26 関連性の強いメトリックだけをグラフ形式で表示。 時間差のある相関も検出可能。 -
KPI間の関連性の早期把握が可能に 27 収益向上 KPI/KRI System& Application メモリ使⽤量/率 ロードアベレージ ディスク使⽤量/率 スロークエリ
接続数 CPU使⽤率 ROI Gross Margin Business 会員数 成約数/CVR チャネル別獲得率 リピート率 従業員稼働率 (⽣産性) 顧客満⾜度 Strategy 利⽤者拡⼤ Vision ⾃社サイトでの 予約獲得 在庫管理の 精度向上 リピーター獲得 顧客満⾜度向上 ⽣産性向上 スマホ対応 UX向上 キャパシティ 向上 スケーラビリティ 向上 Service エラー率 User Agent 最⼤/平均 レスポンスタイム 閲覧数(PV) 訪問数(VU) 総リクエスト数 DOS攻撃 不正ログイン試⾏ 業務外利⽤ ファイル UL/DL 大量データヒットにより、 スロークエリが発生し、 メモリ使用量が増大。 時差のある相関も検出可能。 双方向での影響把握が容易に。 1. システムKPI → ビジネスKPI 障害によるビジネス影響の把握効率向上。 2. ビジネスKPI → システムKPI ビジネス変化の原因となったシステム要因の早期究明。 -
Prelertによる異常検知との連携 28 × • 教師無し機械学習による異常検知 • Influencer機能による原因分析 • リソースデータ/トランザクションデータ によるトラブルシュート支援
• 高速相関分析による多様なデータから の主原因分析 検証を始めました。 -
Prelertによる異常検知との連携 29 1. Prelertでヒープメモリの 増加異常を検知。 原因となったWebペー ジをInfluencer分析で 確認。 2. 相関分析により、メモリ
異常と関連の強いWeb ページやSQLを確認。 3. トランザクション分析機 能でWebページやSQL の処理内容を確認。 ヒット件数が多いSQLを 実行したため、メモリ負 荷が増大したと判明。 -
Prelertによる異常検知との連携 30 実証例 ••ENdoSnipeの測定値の変動を素早く捉えて異常検知が可能に。 ••PrelertのInfluencer分析とENdoSnipe相関分析の相性が良い。 検出から原因分析まで、シームレスに実現できる可能性あり。 例えば、ヒープメモリの上限変動を異常検知し、相関分析で原因となった機能やSQLを特定 するなど、これまで不可能だったことが、できるようになる。 ••センサーデータとの連携による故障予知に効果。 ••実データをPrelertに判定させたところ、故障前に異常を検知。
••公開サイトに対するリストアタック等の攻撃検出に効果。 ••ログインエラー数の傾向変化を異常検知。Influencerとして、アクセス元IPアドレスを抽出。 ••アプリケーションやENdoSnipeとの連携で自動遮断の可能性も。 -
Elasticsearchを活用するには以下がお勧めプランです 32 高度な機能の実現には、X-Pack/サポートを活用! ••Graph、Prelertなどを活用することで、Elasticsearchに蓄積したデータから、様々な知見を取り出せる。 ••バグ情報に留まらない、強力なテクニカルサポートが受けられる。 案件開始時にあらかじめサポートを受けたい内容をまとめておくと良い。 ••運用コストを削減したい場合はElastic Cloudを検討。 利活用ノウハウを短期で得たい場合はENdoSnipe! ••分析、検索、システム性能管理と、用途に合わせたラインナップ。
••表現力豊かなダッシュボードや相関分析機能等、独自の機能強化を実施しています。 学習目的や要求がシンプルな場合はOSS ••要求範囲が限られている場合は、自力構築も正解。 ••テクニカルワークショップや正規トレーニングの受講をお勧めします。 -
GPTW2年連続でもある働きがいのある会社で働いてみませんか? Elasticsearchを愛する仲間を募集中! 34 1. 新卒 & 中途採用 2. 学生 &
社会人インターンシップ 3. Elastic テクニカルワークショップ 4. Elasticsearchワークショップ -
学生 & 社会人インターンシップ • 働きながら、Elasticsearchを学んでみませんか? 1. ミッション ① ENdoSnipeの新機能開発 ②
Elasticsearchの調査・検証 ③ Elasticsearchを活用したデータ分析 2. メリット ① 社内のElasticsearchノウハウにアクセスできます。 ② ENdoSnipe/Elasticsearch関係者から指導、アドバイスが受けられます。 3. 場所 o 当社新横浜オフィス 35 -
Elastic テクニカルワークショップ • 月に2回のペースで開催中、Elasticsearch入門ハンズオンセミナーです。 1. 内容 o Elasticsearchを用いたデータ分析入門 2. 場所
o 大手町フィナンシャルシティグランキューブ3F 3. スケジュール o 2017年01月27日(金) 13:00-17:30 (受付開始12:40) o 2017年02月09日(金) 13:00-17:30 (受付開始12:40) ※以降も継続して実施予定。 4. お申込み方法 o 以下のサイトで受付中。 https://info.elastic.co/japan-technical-workshop.html 36 -
Elasticsearchワークショップ • Acroquest社内で毎週実施中のElasticsearchワークショップを、公開で行い ます。 1. 内容 o Elasticsearchの利用ノウハウ – Elasticsearchとkafka/Hadoopの連携(第3回)
– SparkとElasticsearchの連携(第5回) – RDBの検索システムをElasticsearchに移植してみた(第10回) – Prelert入門(第12回) – Packetbeatの嵌りどころ(第17回) 2. 場所 o Acroquest Technology株式会社@新横浜 3. スケジュール & お申込み方法 o お問い合わせください。 37