Instanauts_jp #2 これで勝つる！トラブルシュート武勇伝 by Instana

https://instanautsjp.connpass.com/event/292718/

LT 4
数々の現場でのトラブルシュートでInstanaの活躍を伝えます。合わせてその際に役立ったInstanaの機能を紹介します。
·ECサイト障害
·VODサービス

Transcript

1. これで勝つる︕ トラブルシュート武勇伝 by Instana 2023年09月29日 Airitech株式会社 山﨑 政憲 1
2. Airitech株式会社のご紹介 社名 Airitech株式会社 代表者 代表取締役 ⼭﨑 政憲 設⽴ 2017年05⽉ 2018年04⽉からSHIFTグループに参画 従業員数 160名 (2022年5⽉現在) 所在地 東京都港区⿇布台2-4-5 メソニック39MTビル 会社理念 最⾼のチームワークで お客様のビジネスに最⼤の貢献を ビジネスを理解し、ビジネスに貢献する技術を磨く。 ⼀⼈に閉じず、コラボレーションによって 新しいアイデア、価値を⽣み出す。 積極的に提案し、⾃らの役割を拡げる。 ホームページ https://www.airitech.co.jp/ 2
3. Airitechの提供するサービス 3 トラブルシュート 性能改善 ⻑年取り組んできたトラブルシュートのナレッジから、⾼速で安定したシステムを構築する 為の性能改善を実施いたします。 性能検証サービス 性能可視化・分析環境構築サービス 性能分析サービス ビッグデータ AI活⽤ 機械学習を含む様々な種類のデータ分析や、データ分析のための基盤構築を⾏っております。 機械学習・AI データ分析基盤構築 検索システム設計、構築、開発 RPAログ分析 システム開発 インフラ構築 コンサルから開発、リリースから運⽤といった超上流から下流までを⼀貫してご⽀援いたし ます。先端技術を⽤いたシステム構築や⾼難易度の課題への対応をご⽀援いたします。 Webシステム開発⽀援 ITインフラ構築⽀援 DevOps/システム運⽤⽀援 プロセスマイニング 業務効率化 グローバルで導⼊が進んでいる、No.1プロセスマイニングツールCelonisの導⼊⽀援。およ び、導⼊後の活⽤をご⽀援いたします。 導⼊⽀援サービス 活⽤⽀援サービス ベンダー⽀援サービス
4. お問い合わせ https://www.airitech.co.jp/contact/ Webサイト性能測定サービス「Radical-Speed」無償提供を開始 貴社Webサイトを、Google Core Web Vitalsの3つの指標を含む 10の指標で測定できます Copyright © Airitech All Rights Reserved. ｘ4 申込サイト https://bit.ly/3IO3Ic7 1 貴社のWebサイト 3ページまで無料で測定しま す。 ECサイトであれば、アクセスが 集中する以下の3種をお選びい ただくのがおすすめです。 • トップページ • 商品一覧ページ • 商品ページ 2 測定結果はRadical-Speedサ イトで確認 問題があればアイコンでお知ら せ。マウスオーバーすれば問題 点もわかります。 3 10の指標を可視化 4時間ごとに測定。 10の指標が可視化できます。
5. 5 本セッションの内容 性能改善やトラブルシュートの現場で、 「これ（Instana）が勝利の鍵だ︕」 という出来事を、ひたすら共有します。 Instanaの画⾯とか無いので、詰まらな かったらゴメンナサイ︕
6. 6 事例① - ECサイト、応答せず ある⽇、私は東京から京都に出張のため、新幹線で移動していました。 そこに、ECサイトの開発・運⽤を請け負っている会社様から着信が、、、 「あるお客様のECサイトでセールを開始したら、 サイトが応答しなくなってしまいました。」 「15分くらいサーバを調べてみたんですが、 CPUもメモリも余裕があって、何が原因なのか さっぱり分からないんです︕」 このままだとお客様から、 ⼤変なお叱りを受けることに。
7. 7 事例① - ECサイト、応答せず 丁度、SaaS版のInstanaを導⼊したばかりだったので、その場でアクセス。 新幹線の中でトラブルシュートを開始しました。 まずアプリケーションパースペクティブを確認。 「ほぼ60秒かかるリクエストが⼤量に存在している、、、」 次いで遅いリクエストのトレースを確認。 「中⾝は外部へのHTTPリクエストで時間かかってるな、、 これ、外部のレコメンダかな︖」
8. 8 事例① - ECサイト、応答せず お客様へ折り返し。 「外部のレコメンダへの問い合わせで時間がかかってるみたいです。 とりあえずリクエスト⽌めてもらって良いですか︖」 15分ほどで切り離し完了。 サイトも無事動くようになり、無事、セール再開。 もしInstanaが⼊っていなかったら、セール中⽌で⼤変なお叱りが発⽣すると ころでした。
9. 9 事例② - 遅すぎるCRM 10年程度運⽤を重ねたCRMの応答がベテラン社員のみ悪化。 画⾯遷移に5分を要する事態に。 導⼊を担当したSIerが解析するも、⼀カ⽉経過しても原因不明のまま進展なし。 SIerの報告は、 「遅いSQLは無いのでDBが原因ではないです。」
10. 10 事例② - 遅すぎるCRM Instanaで原因を解析したところ、確かの遅いSQLは無い。 なので、Instanaでスレッドダンプを採取して分析。 「かゆい所に⼿が届くのがInstanaの良いところ」 参照履歴が肥⼤化しプログラムの処理負荷が増加したためと判明。 参照履歴の蓄積数に上限が無く、数年をかけて肥⼤化した。 そのため、ベテランほど被害甚⼤となった。 「SQLではないけど、結局はDBが原因じゃん︕」 データを⼿動で削除することで、画⾯表⽰時間が5分から4秒に短縮した。
11. 11 事例③- お客を待たせちゃダメなのに POSシステムにて、応答時間が数分かかるという事態が頻発。 店舗で接客しているタイミングのため、お客様を数分待たせるのは致命的。 POSパッケージベンダは 「他の案件では起きていない事象。 カスタマイズ部分に原因があると考えられる。」 と⼀次切り分けに対して後ろ向きな対応。
12. 12 事例③- お客を待たせちゃダメなのに Instanaを適⽤したところ、POSパッケージの基本部分の排他制御に問題があ ることが即座に判明。 TX 開始 TX 終了 発番 処理 アプリ処理 発番 処理 発番 処理 TX 開始 アプリ処理 TX 終了 TX 開始 アプリ処理 TX 終了 発番処理が同一テーブルに対する更新のため、 前に動いた処理が終わらないと、発番処理が 始まらない。
13. 13 事例③- お客を待たせちゃダメなのに 修正案（発番処理とアプリケーション処理のトランザクション分離）を Airitechで検討し、パッケージベンダに提案。 修正により、100秒を要していた処理が3秒程度まで改善。 その後、他の処理もInstanaで解析し、多数の改善を⾏った。 TX 開始 TX 終了 発番 処理 アプリ処理 TX 開始 TX 終了 TX 開始 TX 終了 発番 処理 アプリ処理 TX 開始 TX 終了 TX 開始 TX 終了 発番 処理 アプリ処理 TX 開始 TX 終了
14. 14 事例④ - 二重SaaS経費精算システム 経費精算システムの性能テストで全く性能が出ない︕ 2つのSaaSにまたがったシステムで双⽅に問題あり。 SaaS A SaaS B RDB Instana Client Web Browser
15. 15 事例④ - 二重SaaS経費精算システム 「SaaS B、サイジングが全く合ってません。CPU倍にしてください。」 → テレカンでInstanaの画⾯をエビデンスとして⾒せて交渉し、実現。 「SaaS A、履歴テーブルへのクエリが遅いです。 パーティショニングしてください︕」 → 対応で⼤幅性能改善。 いろいろやって、要件を満たす性能を達成。
16. 16 まとめ この場にいる⽅々は既にご存知かと思いますが、 Instanaマジ最⾼︕ ⼈⽣変わります。
17. 17 まとめ② トラブルあったら 呼んでください︕ Instana必須とは⾔いません。 Datadog APMでもNewRelicでもDynatraceでも、 何でも使って解決します︕ （でも、X-Rayだけは勘弁な︕）
18. 18 ご清聴いただき ありがとうございました