オブザーバビリティプラットフォーム開発におけるオブザーバビリティとの向き合い / Hatena Engineer Seminar #34 オブザーバビリティの実現と運用編

オブザーバビリティプラットフォーム開発におけるオブザーバビリティとの向き合い id:arthur-1 株式会社はてな 2025-07-30 Hatena Engineer Seminar #34
「オブザーバビリティの実現と運用編」

Arthurと申します株式会社はてな Mackerel開発チームサブディレクター・テックリード 𝕏: @Arthur1__ Mackerelのオブザーバビリティ関連機能の企画・開発を担当 2

“Mackerel” as an Observability Platform 3

ラベル付きメトリック機能のリリース 4

APM機能のリリース 5

2つの目線でO11yと向き合う • オブザーバビリティプラットフォームとしての機能の企画者として • システム開発・運用者として 6

おしながき • オブザーバビリティについておさらい • Mackerelチームでのオブザーバビリティ実践事例 • Mackerelチームのオブザーバビリティキャッチアップ 7

オブザーバビリティについておさらい 8

オブザーバビリティ Observability（可観測性）システムの出力から、その内部の状態を測定できる度合い 9 🔥 🔥

OpenTelemetry OpenTelemetryは、メトリックやログなどのテレメトリーデータの生成・投稿を、ベンダーの違いを超えて標準化するオブザーバビリティフレームワーク・ツールキット 10 https://opentelemetry.io/

Mackerelチームでのオブザーバビリティ実践事例 11

Case 1: APIコール時のレートリミット Mackerelはクラウドインテグレーション機能を提供している定期的にクラウドプロバイダーのAPIをコールし、メトリックを取得してMackerelに投稿たまにレートリミットに達してAPIの結果取得に失敗ことがあり、これがよく発生しているサービスやユー
ザーを知りたい 12

Case 1の解決方法 APIコール数を可視化クラウドプロバイダーAPIの呼び出し数を、以下のような属性を持つラベル付きメトリックとして計装 • API名 • インテグレーション設定を識別できるID
• HTTPステータスコード 13

呼び出しエラーになったOrgがわかる 14 ***インテグレーション設定を識別するID***

API名ごとの呼び出し回数がわかる 15

APIコール数計装の成果以下のようにドリルダウンして、影響範囲を特定できる： • レートリミットが発生しているインテグレーション設定と時間を特定 • 具体的にどのAPIコールで発生しているかを特定 APIコール数が異常に多いケースを特定し、コール数削減に成功
16

Case 2: 処理の高速化 Mackerelのラベル付きメトリックの保存処理を高速化するため、リファクタリングを行った実装を切り替える前に、どれぐらい処理が速くなったのかを知りたい 17

Case 2の解決方法高速化対象の処理にトレースを計装トレースを計装しMackerelに送信することで、どの処理で詰まっているかが可視化される 18

トレースの検索新実装はまだ一部の環境でのみ展開されている新実装のスパン名を指定することでトレースを検索できる 19

トレースの様子 20 ←新実装の方が速くなっていることがわかる旧実装

dogfooding Mackerelチームでは、自分たちのサービスを使って、システムのオブザーバビリティを担保している見たいものが見えない！となったら新機能として企画・実装するケースもある 21

PWGとオブザーバビリティ PWG (Performance Working Group) Mackerelチームや他のはてなのチームで行っているミーティング定期的に集まり、みんなでシステムの様子を観察するダッシュボードを眺めて感じた違和感から問題の根本に辿り着くためにも、オブザーバビリティが役
立っている 22

Mackerelチームのオブザーバビリティキャッチアップ 23

オブザーバビリティの動向オブザーバビリティは今ホットなトピックフレームワークであるOpenTelemetryのツール群も頻繁に更新される Mackerelチームとしては、最新の動向を追っていく必要がある 24

オブザーバビリティ研究会オブザーバビリティ研究会を2週間に1回実施 →OpenTelemetry Collectorが2週間に1回リリースされるのと同じ周期オブザーバビリティの動向やOpenTelemetryに関するアップデートをキャッチアップ 25

開発合宿の実施まとまった時間で技術検証したいものについては、開発合宿を開催して行っている • OpAMPによるOTel Collectorのリモート設定管理 • トレースによるデプロイフローの可視化ラベル付きメトリック機能も開発合宿から生まれた 26

機械的な仕組みも APM機能でテレメトリーの意味を尊重した表示や集計を行うために参照しているOpenTelemetryセマンティック規約に更新があると、私たちも対応する必要があるセマンティック規約のschemaファイルに含まれている変更情報を解析し、参照している属性に変更があれば通知 27 metrics: changes: -
rename_metrics: system.network.connections: system.network.connection.count

まとめ 28

まとめ Mackerelチームでは、システムの問題解決のためにオブザーバビリティを実践しているまた、オブザーバビリティやOpenTelemetryに関する動向を定期的に追っているこれらの取り組みで得た知識やアイデアは、自分たちのシステムの運用のみならず、Mackerelの機能開発にも役立てている 29

関連エントリ • Azure SDKのHTTP Pipeline Policyの活用事例：APIコール数手動計装とクライアントサイドキャッシュ - Diary of
a Perpetual Student https://blog.arthur1.dev/entry/2024/07/15/110000 • トレースを起点としたアプリケーションエラー調査の事例を紹介します - Mackerel ブログ https://mackerel.io/ja/blog/entry/tech/tracing-workthrough • はてなの「PWG」という取り組みを builderscon 2024 で話してきました - Hatena Developer Blog https://developer.hatenastaff.com/entry/2025/03/31/190000 • SRE NEXT 2025でOpenTelemetryセマンティック規約の紹介をしました - Diary of a Perpetual Student https://blog.arthur1.dev/entry/2025/07/14/174055 30

宣伝: 8/7（木）イベントやります！ 31 https://mackerelio.connpass.com/event/361275/

おしまい 32

オブザーバビリティプラットフォーム開発におけるオブザーバビリティとの向き合い / Hatena...