障害特定が超爆速に！セブン&アイ・ネットメディアの秘密兵器〜チームの壁を超越！Observabilityで問題解決力アップ〜

Slide 1

Slide 1 text

障害特定が超爆速に！セブン&アイ・ネットメディアの秘密兵器〜チームの壁を超越！Observabilityで問題解決力アップ〜株式会社セブン＆アイ・ネットメディアクラウド・ソリューション部佐藤和弥/重信幸輝

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 4 佐藤和弥登壇者紹介重信幸輝新卒2年目、24歳。千葉県木更津市生まれ。 AWSを利用したシステムの運用・保守を担当する傍ら、エンジニアカルチャー醸成に尽力。趣味は作曲とDJ。最近のマイブームはAIを使い倒すこと。独立系Sierを経て、2019年に7NM入社。担当システムのインフラ全体を統括しつつ、横断的なアーキテクチャ検討や企画提案にも参画。趣味はギターと作曲、お絵描きなど。保有資格：AWS SAP/Google Cloud PCA/応用情報 etc… クラウド・ソリューション部主任クラウド・ソリューション部

Slide 5

Slide 5 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 5 会社概要セブン＆アイグループ唯一のＩＴシステム会社として、日々グループのサービスを支えています Vision テクノロジーの力でビジネスの共創を実現することで、セブン＆アイグループの流通革新を推進し、グループの成長を支えるパートナー会社名株式会社セブン＆アイ・ネットメディア（Seven & i Net Media Co.,Ltd.） ---------------------------------------------------------------- 設立年月 2008年7月11日 ---------------------------------------------------------------- 資本金 76.65億円（資本準備金 76.55億円） ---------------------------------------------------------------- 事業内容セブン＆アイグループのデジタル戦略を支えるシステム企画、デザイン、開発、運用 ---------------------------------------------------------------- 従業員数 307名 ※受入出向者含む・外部出向者除く（2024年3月1日現在） ---------------------------------------------------------------- 所在地〒102-8436 東京都千代田区二番町4番地5 住友不動産二番町ファーストビル 2F ---------------------------------------------------------------- 役員概要代表取締役社長齋藤正記代表取締役常務執行役員中木孝取締役西村出取締役夏井康憲監査役奥誠司執行役員阪田徹執行役員田中盛男 ---------------------------------------------------------------- 認定パートナー資格 Salesforce認定コンサルティングパートナー AWS認定アドバンスドティアパートナー

Slide 6

Slide 6 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 6 会社概要 ✓ セブン＆アイネットメディアは、グループ唯一のシステム子会社として、グループビジネスを理解し、事業課題やシステム課題を解決できるITビジネスパートナーになることを目指し、業務に取り組んでいます 7&iグループ各社 7&iグループ各社の ITビジネスパートナー･･･ベンダーを問わない中立的な立場からセブン＆アイ・グループ各社をご支援グループのビジネスとカルチャーを理解サービス開発から運用まで支援しサービスを理解各事業会社のシステムサービス開発と運用ノウハウ市場の技術トレンドを積極的に活用戦略パートナー実行パートナー

Slide 7

Slide 7 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 7 会社概要 CCoE(クラウド活用推進組織)の取り組みに力を入れてます！！！ ➢ 目指す姿を定義し、活動を実施 ➢ 継続的な外部イベント登壇今日！ ➢ 各種ガイドライン・標準化、技術向上の取組み各種ガイドラインクラウド利用ガイドライン Terraform コーディングガイドセキュリティセキュリティサービス仕様書 https://www.sbbit.jp/article/sp/137568 R＆D プラットフォームエンジニアリング運用

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 9 ◼ 昨年新卒だった重信のエピソードこんな経験、ありませんか？上長から障害調査の依頼されたけど、システム大きすぎてなにがなんやら・・・とりあえず片っ端から全部調査しようまずは申請提出して、コンソールに入るここがこうで、あれがああで… 頭の中ぐちゃぐちゃ… ﾅﾆﾓﾜｶﾗﾅｲ… これを解決してくれたのがObservability！！！障害原因の特定に時間がかかる。。。

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 13 ◼ 「observe(観測)」+「ability(能力)」からなる造語。日本語では可観測性と呼ばれる。 ◼ 「ログ」「トレース」「メトリクス」といった主要シグナルに基づき、システムを外部から観察可能な状態にすること。 ※CNCFから引用 →アプリからインフラまで一気通貫でシステムの状態を分析・可視化できる。 Observabilityってなに？ https://github.com/cncf/tag-observability/blob/whitepaper-v1.0.0/whitepaper.md これを実現する製品としてAPMがありますが、本資料では呼称をObservaility製品に統一します。

Slide 14

Slide 14 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 14 ◼ Observability製品の選定 ⚫ ベンダーさんに複数の製品を紹介してもらったり、他PJで使っていた製品を参考にしたりソリューション：Instanaの導入ポイント他社製品 Instana 導入コスト高額競合の1/4の価格（選定当時）ライセンス体系基本料金＋オプション多数オールインワンでシンプル（選定当時）分かりやすさ情報量が多いが玄人向け初心者に優しく使いやすい導入もワンライナー将来性製品によってまちまちマイクロサービス、コンテナ導入を見据えている第三者評価 G2やガートナーで Leader評価 Cool Vender 2016に選出されているが、選定当時は目立った評価無し結果、Instanaの導入を決定！マスコットのStan君 ※2023年のG2 Grid

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 17 ◼ アプリケーションの処理が可視化されたことでトラブルシュート用ツールとして活用されるように！ ◼ 認知度向上は限定的… 対策① ユースケースの変更 IBM様※の協力を得て対策②布教活動へ長年の運用でパフォーマンス問題再燃再びInstanaに注目 ※IBM カスタマーサクセスチーム古川様問題① 対策① AWS移行でパフォーマンスが改善、出番を失う… 障害調査での活用

Slide 18

Slide 18 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 18 対策② 社内での布教活動 ◼ Instana勉強会昨年度実績・第1回 Instanaの概要/ユースケースについて・第2回第1回のおさらい/イベント・アラートの活用法/性能試験でのInstana活用法・第3回モバイルアプリケーション監視/SLO・SLI監視累計参加人数 107名問題②＆③ 対策② インフラチーム以外で利用されない＆PJメンバーの交代による認知度の低下 Instana勉強会の実施勉強会資料当時新卒だった重信のメモ

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 23 ◼ アプリの一部機能が正常動作しない障害が発生した時の話・・・障害報を受け、慌ててアプリを確認するもエラーは発生していないユースケース① 障害原因特定の迅速化 Demo環境障害部分が一目でわかるのがObservability！！！ 3時間かけても分からず… 5分で原因特定！ 97%短縮！

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 26 ◼ 従来の方法ユースケース② 事業会社向けのレポート作成 ◼ Instanaを使った方法さまざまなツールで取ってきていた情報が1つにまとまっているので、マージする必要がほぼない！！！楽！！！ • 監視ツールA • アクセス量 • 監視ツールB • エラー件数 • 監視ツールC • レスポンスタイム

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright Seven & i Net Media Co., Ltd. All Rights Reserved 29 まとめ Observabilityの重要性 Observability製品導入のメリットオンプレ、クラウド、SaaSが入り乱れる複雑怪奇な時代点ではなく面で俯瞰して分析していく機能が重要 Observability導入時の勘所製品選定はしっかりと！（それぞれの製品に強みがある）諦めない。入れて終わりじゃない。ステークホルダーと連携パフォーマンスモニタリング、チューニング障害特定の迅速化高度な分析、分かりやすいUI