開発と事業を繋ぐ！SREのオブザーバビリティ戦略 ~ Developers Summit 2024 Summer ~

by Tech Leverages

Slide 1

Slide 1 text

開発と事業を繋ぐ！ SREのオブザーバビリティ戦略～開発者体験UPで、全員幸福なサービス開発へ～

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

New Relic 技術統括コンサルティング部ソリューションコンサルタント高木憲弥兵庫県尼崎市出身　広島在住・経歴：日系 SIer フルスタックエンジニア金融業界を中心に開発・運用を担当システム障害発生時には火消し隊長・得意領域クエリチューニング、JVM分析

Slide 5

Slide 5 text

© 2024 New Relic, Inc. All rights reserved New Relicの概要米国本社 New Relic, Inc. 事業内容オブザーバビリティプラットフォームの提供設立 2008年 CEO アシャン・ウィリー (Ashan Willy)　従業員数約2,700人拠点数 16拠点日本法人 New Relic 株式会社設立 2018年8月代表取締役社長小西真一朗出典：株式会社テクノ・システム・リサーチ

Slide 6

Slide 6 text

© 2024 New Relic, Inc. All rights reserved オブザーバビリティ（O11y）とは『（意訳）オブザーバビリティとは、システムのあらゆる状態を理解し説明できる特性です。デバッグの事前定義や予測なしに、状態データをアドホックに調査し、デバッグを可能にすることが求められます。新しいコードのデプロイ不要で奇妙な状態も理解できる場合、オブザーバビリティがあるとされます。』参考：Oreilly “Observability Engineering” 2022 https://www.oreilly.com/library/view/observability-engineering/9781492076438/

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 2024 New Relic, Inc. All rights reserved. ユーザー体験からインフラまですべてをリアルタイムに追跡ステークホルダー全員にシステム全体の可観測性を提供 WEB Micro Service API APP Micro Service API DB LB Real User Monitoring Synthetics Application & Infrastructure 複数アプリにまたがるトランザクションをつなげて追跡ブラウザやモバイルのユーザー体験を計測サービス動作を常時シミュレートしてテストシステム全体の処理/ 連携プロセスを可視化ソースコードやDBクエリレベルまで即座にボトルネックを特定クラウドやオンプレを問わずインフラ状況を計測 OBSERVABILITY PLATFORM

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024 New Relic, Inc. All rights reserved オブザーバビリティによる開発者体験の向上 1. インフラメトリクスではなく、ユーザー視点のモニタリングによるアラートの最適化 2. 原因のボトルネックへのドリルダウンを高速に、かつ属人化しない体制へエンジニアがコア業務に注力 1. SLI/SLO運用により、共通指標を元にしたコミュニケーションで開発速度と信頼性を両立 2. 事業サイドと開発サイドで共通指標を持ち、顧客への価値提供を最大化コミュニケーションの効率化

Slide 11

Slide 11 text

レバテックについて

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

レバテックが抱える戦略と課題

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

|　© 2024 Levtech Co., Ltd. 24 - 既存システムの運用課題 - システムの複雑な内部構造 - サービス同士の通信が多く発生し、メトリクスやログだけで通信を追っていくことが難しい - レガシーなコードによる認知負荷の高さ - 属人化 - サービスの信頼性を計測できていない - 安定稼働は何を指しているのか - 障害は本当に障害なのか、見逃している障害はないか - カーディナリティの高いデータが取得できていない - どのくらいのユーザーに影響が出ているのか分かりづらいシステム戦略を進めていくうえでの課題レバテックが抱える戦略と課題

Slide 25

Slide 25 text

Slide 26

Slide 26 text

|　© 2024 Levtech Co., Ltd. 26 - 通信状態をコードから追う - システムに詳しい人が頑張ってログ分析する - 通知が来るたびに問題ないアラートかどうか判断する - 調査用のログを出す変更をデプロイする - 重要度高、緊急度低の運用タスクは優先度を下げる目指すべき状態開発者体験◎ - 通信状態が可視化された状態 - 調査しようとする人が調査できる状態 - 対応が必要なアラートだけが鳴る状態 - システムに変更を加えなくても調査ができる状態 - システムの継続的運用に必要と判断される運用タスクの優先度を適切につけていく課題に対する今の戦い方開発者体験△ 既存システムの運用との戦い方

Slide 27

Slide 27 text

|　© 2024 Levtech Co., Ltd. 27 - リアーキテクトプロジェクトのリスク - 完遂までのリリース回数が増える - デプロイ失敗率が高いまま回数が多くなると、障害対応時間が膨れ上がっていく - 品質が落ちる回数が増えると、開発チームへの信頼度が下がっていく - 最悪リアーキテクトプロジェクトのストップがかかるかも？ - システムの複雑性は上がる一方 - 機能やシステムを捨てない限り、システム全体の複雑性は上がっていく - 偶有的複雑性は減っていくが、本質的複雑性が下がることはない - 遅延した時のリスク - 既存システムの苦しい運用がその分継続されるシステム戦略を進めていくうえでの課題レバテックが抱える戦略と課題

Slide 28

Slide 28 text

|　© 2024 Levtech Co., Ltd. 28 - リリースのたびに不具合や品質低下が発生してしまう - 複雑化していくシステムの全容がわからなくなっていく - 開発が遅延してしまい、既存システムの運用負荷が継続していく目指すべき状態開発者体験◎ - リリースによるシステムの変化が観測でき、問題が起きても対処しやすい状態 - システムが複雑化しても、全容が分かる状態 - 遅延の要因になり得る障害対応などの工数が抑えられている状態潜在的リスク開発者体験△ リアーキテクトプロジェクトのリスクとの戦い方

Slide 29

Slide 29 text

|　© 2024 Levtech Co., Ltd. 29 ● 既存システムの運用 - システムの複雑な内部構造 - サービスの信頼性 ● リアーキテクトプロジェクト - デプロイ失敗率 - システムの複雑性 - 遅延のリスク運用作業の負荷軽減とデプロイの品質担保が必須 ● 運用作業の負荷軽減 - システムの内部構造の可視化 - 信頼性の計測 ● デプロイの品質担保 - システムの内部構造の可視化 - 信頼性の計測負荷の高い運用作業とリアーキテクトを並行して進めないといけない既存システムの運用とリアーキテクトプロジェクトの並行進行

Slide 30

Slide 30 text

課題に対するSREからのアプローチ

Slide 31

Slide 31 text

|　© 2024 Levtech Co., Ltd. 31 - やりたいこと - 既存システムの運用作業負荷の軽減 - リアーキテクトシステムのデプロイ時の品質担保 - プラクティス - システムの内部構造の可視化 - 新たな実装無しでシステムの状態がわかる - 属人性の軽減 - 信頼性の計測 - 予測モデルの作成 - カーディナリティの高いデータの取得オブザーバビリティの採用課題に対するSREからのアプローチ

Slide 32

Slide 32 text

|　© 2024 Levtech Co., Ltd. 32 - メトリクス、ログ、トレース、イベントの各テレメトリデータの取得 - ダッシュボード、サービスマップの作成システムの内部構造の可視化課題に対するSREからのアプローチ - 新たな実装無しでシステムの状態がわかる - ツール内に調査に必要なデータが揃っている状態 - ※ツールを導入するだけで、この状態を作れるわけではない - 属人性の軽減 - システムの内部構造にある暗黙知の量が抑えられている状態 - システムに関心のある人が、データを追うことによって自分で調査できる - 会社に長く在籍している人ではなく

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

|　© 2024 Levtech Co., Ltd. 36 ● 新たな実装無しでシステムの状態がわかる - ツール内に調査に必要なデータが揃っている状態 ● 属人性の軽減 - システムの内部構造にある暗黙知の量が抑えられている状態見込める効果 ● 障害調査にかかる工数削減 - どの処理でエラーが発生しているかを可視化 - 調査に関われる人が増える ● 障害発生の予兆検知 - 暗黙知が形式知化 - ユーザーのふるまいなどの理解 - →「未知の未知」への対応がしやすくなるオブザーバビリティの特性システムの内部構造の可視化

Slide 37

Slide 37 text

|　© 2024 Levtech Co., Ltd. 37 - SLI/SLOの設定 - SLM（Service Level Management）の活用信頼性の計測課題に対するSREからのアプローチ - 予測モデルの作成 - システム内の相関性 - システムとビジネスの相関性 - ↑これを見つけることでシステムの価値が分かりやすくなり、投資の判断もしやすくなる - カーディナリティの高いデータ取得 - どんなユーザーに、どういうときに、どんな影響が出ているのか - 数値の変化に対して原因分析がしやすい

Slide 38

Slide 38 text

Slide 39

Slide 39 text

|　© 2024 Levtech Co., Ltd. 39 ● 予測モデルの作成 - システム内の相関性の把握 - ビジネスとシステムの相関性の把握 ● カーディナリティの高いデータ取得 - どんなユーザーに、どういうときに、どんな影響が出ているのか見込める効果 ● 信頼性＝開発とビジネスの指標と相関の強いものを管理できる - リリースのリスクマネジメント - 機能開発と運用のコントロールがしやすくなる ● アラートの精度向上 - ビジネス上重要な指標をアラートに使うことができる - アラート疲れが軽減されるオブザーバビリティの特性信頼性の計測

Slide 40

Slide 40 text

|　© 2024 Levtech Co., Ltd. 40 見込める効果 - 開発者体験UP↑ - 障害対応時間の減少 - システムの内部構造の把握によって、原因分析のループを最適化していく - 「未知の未知」に対する対応をしやすい状態に近づけていく - オオカミ少年アラートの減少 - ユーザー体験を重視した、対応する必要のあるアラートだけ鳴るように改善していく - 機能開発により集中できる状態へ - デプロイ失敗率を抑えていく - 運用作業のコントロール - システムのパフォーマンスがSLOを満たすレベルを維持し続けるために機能開発と、積もり積もった運用作業の優先度つけを適切に行っていく結果として

Slide 41

Slide 41 text

O11yを実現していくまでの道のり

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

|　© 2024 Levtech Co., Ltd. 45 1月 2月 3月 4月 5月 6月会議体勉強会運用(ツール移行) - アラート - 調査運用(+α) - SLM - 定例での利用ナレッジ共有・適宜打合せ・適宜打合せ・適宜打合せ・・・勉強会ハンズオン検証環境での実装 3/6：アラート勉強会 SREチーム向け勉強会 4/12 障害対応訓練 (過去障害を用いて ) ・オンボード完了エラー撲滅運動 (開発チーム) 5/XX 自社ナレッジ共有検証環境での実装本番運用本番環境での実装本番実装・定例MTG マイルストーン O11yを実現していくまでの道のり

Slide 46

Slide 46 text

|　© 2024 Levtech Co., Ltd. 46 - O11y勉強会 - SREチーム内ではオブザーバビリティエンジニアリングの本を輪読 - 開発チーム向けにO11yの概要を説明する勉強会を開催 - New Relicハンズオン - 架空のアプリケーションと問題を用意して、 New Relicの画面を触りながら解決していくハンズオンを開催 - 模擬障害対応 - 実際に運用しているサービスの STG環境で障害を起こしてみて New Relicなどを使って原因調査をする O11yのインストールとツールのオンボーディング O11yを実現していくまでの道のり

Slide 47

Slide 47 text

Slide 48

Slide 48 text

|　© 2024 Levtech Co., Ltd. 48 移行の推進 - New RelicアラートのTerraformライブラリ作成 - New Relic合宿 - GWの中日にあった平日３日間で、出勤している開発部メンバーでアラートの移行作業を行った - その間SREチームががっつりサポート - アラート勉強会 - ユーザー体験視点でのアラート作成を、 New Relicを使ってハンズオンを実施ツールの移行、アラートの最適化 O11yを実現していくまでの道のり

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

|　© 2024 Levtech Co., Ltd. 56 なんでこのアプローチを半年間やりきれたか - SREチームを横断組織として置き続けた - O11yを複数の開発チームを巻き込んで導入できた - 開発部のカルチャー - 勉強会が盛ん - 新しい技術や考えに抵抗感が少ない - 経営陣、CTOの方針 - リアーキテクトプロジェクトを走らせるように、今は開発に投資をしていくフェーズとしている - システムの安定性と変更容易性を高める施策はどんどんやっていきたい振り返り O11yを実現していくまでの道のり

Slide 57

Slide 57 text

Slide 58

Slide 58 text

|　© 2024 Levtech Co., Ltd. 58 新規マイルストーン O11yを実現していくまでの道のり 5月 6月 7月 8月 9月 10月 NewRelicとの連携カルチャー作りアラートコントロール SLO 障害対応テスト、CI SLI/SLO勉強会・オンボード完了 SLIの計測 SLO運用準備ドメインチームでの横展開ノイズアラートの撲滅障害対応メトリクスの収集アラートの継続的改善本番相当データ環境作成自動化本番、STG環境差分解消 SLOの継続的運用計装モデルケース作成・SLO運用開始・主要ドメイン領域での　　 SLO運用開始・toC向けのSLI/SLO運用開始

Slide 59

Slide 59 text

まとめ

Slide 60

Slide 60 text

|　© 2024 Levtech Co., Ltd. 60 - システム戦略と課題 - 既存システムの運用とリアーキテクトプロジェクト - 運用負荷の大きさとデプロイ品質の担保の必要性 - SREの課題へのアプローチ - O11yの導入 - システムの内部構造の理解による認知負荷軽減 - 信頼性の計測 - O11yを実現していくまでの道のり - O11y成熟度でのフェーズ分け - フェーズ２へまとめ

Slide 61

Slide 61 text

宣伝

Slide 62

Slide 62 text

開発職向け会社紹介資料プロダクトや開発組織についてご紹介しています。 https://speakerdeck.com/leverages/levtech-hui-she-shao-jie-zi-liao-enzi niazhi-xiang-ke レバテック開発部テックブログ日々の開発におけるリアルをお届けしています！ https://zenn.dev/p/levtech カジュアル面談フォーム気軽にご応募ください！いろんなお話しましょう！ https://hrmos.co/pages/leverages/jobs/A_c_00071

Slide 63

Slide 63 text

Slide 64

Slide 64 text

SRE NEXT 2024の開催日と場所開催日 : 2024年8月3日(土)、4日(日) ※2Days開催開催場所 : AbemaTowers 開催方式 : ハイブリット開催

Slide 65

Slide 65 text

アンケートへご協力お願い致します！ご希望の方にはNew Relic実践入門本をお送り致します。回答はこちらからお願い致します。