電子カルテSaaSを支えるオブザーバビリティ活用と開発者の実践/Observability in healthcare SaaS electronic medical records

SRE NEXT 2026 の登壇資料です。

https://sre-next.dev/2026/schedule/#slot103

Transcript

1. Copyright © Henry, Inc. All rights reserved. 電子カルテSaaSを支える オブザーバビリティ活用と 開発者の実践 SRE NEXT 2026 株式会社ヘンリー Masaki Sugimoto
2. Copyright © Henry, Inc. All rights reserved. • はじめに • ヘンリーのオブザーバビリティ体制 • オブザーバビリティの活用事例 • まとめ 2 目次
3. Copyright © Henry, Inc. All rights reserved. • 名前 ◦ Masaki Sugimoto • 所属 ◦ 株式会社ヘンリー • 現在のロール ◦ レセコン一体型電子カルテ「Henry」のレセコン側のSWE • 過去の経歴 ◦ C2C EC サイトの SRE ◦ C2C EC サイトの課金システムの SWE • オブザーバビリティまわりでいろいろやってます ◦ コミュニティ活動（勉強会、カンファレンスのコアスタッフ） ◦ 技術同人誌の執筆（技術サークル「天体可観測」） ◦ OSS（OpenTelemetry 公式ドキュメント翻訳と OpenTelemetry Kotlin SDK の Approver） 3 はじめに 自己紹介 SNSのアイコン 執筆した 技術同人誌 Observability Conference Tokyo 2025
4. Copyright © Henry, Inc. All rights reserved. 4 はじめに 会社紹介1 病院業務のDXを実現する業界唯⼀の 電⼦カルテ「Henry」 Henryは、⽇本の病院向けに開発された唯⼀のクラウド ネイティブな「レセコン⼀体型電⼦カルテ」です。 40年以上にわたり、医療現場の⽣産性向上を⽬的とした電⼦ カルテ‧レセプト会計システム（レセコン）は存在してきまし たが、業界の主流は依然としてオンプレミス型製品です。この ⻑年変化の少なかった市場に対し、Henryは完全にゼロからク ラウドベースのサービスを開発‧提供しています。 私たちは、基幹業務を担う電⼦カルテによる病院業務のDX こそが、医療現場の⽣産性向上に最も効果的だと確信してい ます。Henryは、低コストと使いやすさを兼ね備え、医療 スタッフの業務効率化と患者ケアの質向上を同時に実現しま す。
5. Copyright © Henry, Inc. All rights reserved. 5 はじめに 会社紹介2 電⼦カルテは、病院の全ての部⾨と連携して患者情報、診療‧処⽅情報、請求‧決 済情報を扱う 患者‧記録 ケア情報 指⽰‧予定 実施情報 請求‧決済 情報 カルテ レセコン オーダー ⼿術部⾨ 検査部⾨ 画像診断 部⾨ 薬局部⾨ 栄養部⾨ 物流部⾨ リハビリ 部⾨ 診療情報 管理部⾨ 医事部⾨ 電⼦カルテ ⼿術システム LIS（臨床検査情報） ⽣体検査システム 病理検査システム PACS（医⽤画像） RIS（放射線科） 調剤⽀援システム 薬品在庫システム 栄養管理システム 院内物流システム 病歴管理システム がん登録システム 受付システム リハビリシステム
6. Copyright © Henry, Inc. All rights reserved. 6 はじめに 会社紹介3 複雑な要件が求められる病院向けはオンプレが中⼼で、中⼩病院向けではヘンリー はクラウドのシステムを提供する唯⼀のプレイヤー オンプレ* クラウド 診療所 中⼩病院 ⼤病院 最大手 SI系 F社 大手 SI系 N社 独立系 S社 大手子会社 C社 最大手 SI系 F社 大手 SI系 N社 最大手 W社 医療系 M社 医療系 M社 ベンチャー系 D社 大手 Y社 医療系 L社 * オンプレには、病院ごとにデータセンターにサーバーを用意してVPN接続を行うクラウドリフトを含む
7. Copyright © Henry, Inc. All rights reserved. 発表内容 • ヘンリーのオブザーバビリティ体制について紹介 ◦ OpenTelemetry とツールをどのように運用しているか • 実際に遭遇した障害をオブザーバビリティを駆使して解決した話 ◦ SWE がオブザーバビリティを活用して Inclusive SREing をした話 7 はじめに 発表概要
8. Copyright © Henry, Inc. All rights reserved. • はじめに • ヘンリーのオブザーバビリティ体制 • オブザーバビリティの活用事例 • まとめ 8 目次
9. Copyright © Henry, Inc. All rights reserved. OpenTelemetry （Java Agent、ライブラリ計装、etc...）導入済み • ログ → CloudLogging、Sentry • メトリクス → DataDog • トレース → Honeycomb 9 ヘンリーのオブザーバビリティ体制 アプリケーション・インフラ・計装状況 オブザーバビリティ構成（簡易版）
10. Copyright © Henry, Inc. All rights reserved. • 定点観測を隔週 2 回（目的別）実施 ◦ SRE 主体開催で SWE も自由参加 10 ヘンリーのオブザーバビリティ体制 監視・定常監視の状況（1/2） メトリクスとトレースの相関
11. Copyright © Henry, Inc. All rights reserved. • エラー発生時のトレーサビリティ ◦ トレースへの導線が整備済み 11 ヘンリーのオブザーバビリティ体制 監視・定常監視の状況（2/2） ログのトレーサビリティ
12. Copyright © Henry, Inc. All rights reserved. • ヘンリーはシグナルに応じたAPMツールを採用している ◦ 各ツールの強みを最大限に活用した運用で継続的な改善が可能 • ツールを横断しても OpenTelemetry のおかげで調査対象の特定が容易 ◦ ミッションクリティカルなエラーを早期に検知し対応できる体制 12 ヘンリーのオブザーバビリティ体制 オブザーバビリティ体制のまとめ OpenTelemetry で関連付けが容易
13. Copyright © Henry, Inc. All rights reserved. • はじめに • ヘンリーのオブザーバビリティ体制 • オブザーバビリティの活用事例 • まとめ 13 目次
14. Copyright © Henry, Inc. All rights reserved. 課題の背景 • 月初に行われるレセコンのクリティカルな処理のパフォーマンス問題 ◦ 医療機関が保険者に患者負担（3割）の残り（7割）を請求するための処理 • 前月の診療をまとめるためパフォーマンス問題が発生していた ◦ 最適化は行われていたが、特定医療機関が途中で処理がタイムアウトする 14 オブザーバビリティの活用事例 背景（1/2） 患者（Patient） 医療機関 （Provider） 保険者（Payer） 受診 診療⾏為 請求 ⽀払 保険料 患者・医療機関・保険者の関係性
15. Copyright © Henry, Inc. All rights reserved. 事象 • 定常的なパフォーマンス問題と一時対応により、SWEとCSの負担が重かった • 根本解決ができておらず、Henry の信頼性低下を招く状況だった 前提 • 登壇者は SWE で、仕様をコードレベルで調査と修正ができる ◦ 一方で、登壇者は入社して 4 ヶ月（当時）ぐらいで、知識が浅い • OpenTelemetry およびトレースの活用状況 ◦ （当時）span は 100 %サンプリング 15 オブザーバビリティの活用事例 背景（2/2）
16. Copyright © Henry, Inc. All rights reserved. 行動 • 定常監視用のダッシュボード作成 理由 • 医療機関や処理傾向の分析 16 オブザーバビリティの活用事例 Step.1 クリティカルな処理のダッシュボードを作成する（1/2） 定常監視用ダッシュボード
17. Copyright © Henry, Inc. All rights reserved. 効果 • エラーは特定医療機関に限ったものでは ないことが判明 副次効果 • 同様の課題が発生したときに影響範囲の 特定が容易になった • ユーザーの挙動がより明確になった 17 オブザーバビリティの活用事例 Step.1 クリティカルな処理のダッシュボードを作成する（2/2） エラー傾向
18. Copyright © Henry, Inc. All rights reserved. 行動 • トレースベースのアラート整備 理由 • トレースベースのアラート設計は偽陽性 の低いアラートを仕込める • 発生直後のパラメータや span を計測 18 オブザーバビリティの活用事例 Step.2 アラートの整備（1/2） トレースベースのアラート検知
19. Copyright © Henry, Inc. All rights reserved. 効果 • 偽陽性が低いことでエンジニアの対応速 度も上がり、MTTD・MTTRの改善 副次効果 • CSから社内への問い合わせよりも早く行 動に移せる様になった為、優先順位判断 の猶予が生まれた 19 オブザーバビリティの活用事例 Step.2 アラートの整備（2/2） トレースからCSへの連携
20. Copyright © Henry, Inc. All rights reserved. 行動 • パフォーマンスチューニング 理由 • 事前の傾向から、DB パフォーマンスが主 な原因であることが判明 • 特定のデータが多い医療機関のときにパ フォーマンス劣化を確認 20 オブザーバビリティの活用事例 Step.3 パフォーマンスチューニング（1/2） スロークエリの発生を span で可視化 トレースから span 出力箇所を特定
21. Copyright © Henry, Inc. All rights reserved. 効果 • ボトルネック解消に成功 • 解消した翌月にタイムアウト件数0件 副次効果 • DB をスケールアップせずに解決 • 同様の傾向を持つ医療機関への導入リス クを解消 21 オブザーバビリティの活用事例 Step.3 パフォーマンスチューニング（2/2） 成功通知のアラート
22. Copyright © Henry, Inc. All rights reserved. • オブザーバビリティが充足していなければ、改善は不可能だった ◦ 約 2000 以上ある db statement から span なしでボトルネックを見つけ出すのは不可能 ◦ 段階を踏みながら一歩ずつ、ボトルネックの特定と解消ができた • SWE 主体でオブザーバビリティ活用を促進できた ◦ 非同期処理と同期処理のコンテキスト伝搬を実装 ◦ CUJ に関連するアラートの整備 22 オブザーバビリティの活用事例 ふりかえり（成功例） 同期処理と非同期処理のコンテキスト伝搬 ゆるくアラート作ってゆるくアラート消し てゆるくSREしよう
23. Copyright © Henry, Inc. All rights reserved. • 時間切れで適切な判断ができなかった面もある ◦ （例1）途中タイムアウト時間を引き延ばす対応をしたが、Henry 全体の処理速度が低下 ◦ （例2）実行計画をみずにパフォーマンス改善しようとしたら悪化した 23 オブザーバビリティの活用事例 ふりかえり（反省点） タイムアウト時間の引き伸ばしが他の処理にも波及
24. Copyright © Henry, Inc. All rights reserved. • オブザーバビリティによって、次のことを実現できた ◦ 内部システムに対する深い知見がなくても不具合の特定と解消 ◦ 要所でSWEが取れる選択肢が増えた状態 24 オブザーバビリティの活用事例 ふりかえり（実践できたこと） オブザーバビリティは誰のものか？ - Observability Conference Tokyo 2025 開催にあたって オブザーバビリティ・エンジニアリング
25. Copyright © Henry, Inc. All rights reserved. • はじめに • ヘンリーのオブザーバビリティ体制 • オブザーバビリティの活用事例 • まとめ 25 目次
26. Copyright © Henry, Inc. All rights reserved. • ヘンリーのオブザーバビリティ構成を紹介 ◦ テレメトリーデータに応じた APM ツールを利活用 ◦ OpenTelemetry によってダッシュボードをまたいだ調査も容易 • オブザーバビリティの活用事例を紹介 ◦ ミッションクリティカルな障害に対して、段階を踏んで改善を実施した ◦ オブザーバビリティが充足していれば、選択肢を検討する余地が生まれる 26 まとめ 発表のまとめ
27. Copyright © Henry, Inc. All rights reserved. 採用情報や事業や技術について、積極的に発信しています! 採用情報 採用募集ページ 募集中の採用ポジションや募集要項 がご確認いただけます。 オープンポジションのカジュアル面 談も募集していますので、お気軽に お申し込みください。 技術ブログ はてなブログ ヘンリー製品開発チームが運営する 技術ブログです。 会社公式ブログ note ヘンリーで働く人や医療業界や事業 のことが幅広くしれる公式ブログで す。 CEO の逆瀬川も個人で NOTE を発 信しているのでぜひ! 理想駆動ラジオ Spotify プロダクト開発・運営の様子をお届 けするポッドキャストです。 27