電子カルテSaaSを支えるオブザーバビリティ活用と開発者の実践/Observability in healthcare SaaS electronic medical records

by Msksgm

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Copyright © Henry, Inc. All rights reserved. ● 名前 ○ Masaki Sugimoto ● 所属 ○ 株式会社ヘンリー ● 現在のロール ○ レセコン一体型電子カルテ「Henry」のレセコン側のSWE ● 過去の経歴 ○ C2C EC サイトの SRE ○ C2C EC サイトの課金システムの SWE ● オブザーバビリティまわりでいろいろやってます ○ コミュニティ活動（勉強会、カンファレンスのコアスタッフ） ○ 技術同人誌の執筆（技術サークル「天体可観測」） ○ OSS（OpenTelemetry 公式ドキュメント翻訳と OpenTelemetry Kotlin SDK の Approver） 3 はじめに自己紹介 SNSのアイコン執筆した技術同人誌 Observability Conference Tokyo 2025

Slide 4

Slide 4 text

Copyright © Henry, Inc. All rights reserved. 4 はじめに会社紹介1 病院業務のDXを実現する業界唯⼀の電⼦カルテ「Henry」 Henryは、⽇本の病院向けに開発された唯⼀のクラウドネイティブな「レセコン⼀体型電⼦カルテ」です。 40年以上にわたり、医療現場の⽣産性向上を⽬的とした電⼦カルテ‧レセプト会計システム（レセコン）は存在してきましたが、業界の主流は依然としてオンプレミス型製品です。この⻑年変化の少なかった市場に対し、Henryは完全にゼロからクラウドベースのサービスを開発‧提供しています。私たちは、基幹業務を担う電⼦カルテによる病院業務のDX こそが、医療現場の⽣産性向上に最も効果的だと確信しています。Henryは、低コストと使いやすさを兼ね備え、医療スタッフの業務効率化と患者ケアの質向上を同時に実現します。

Slide 5

Slide 5 text

Copyright © Henry, Inc. All rights reserved. 5 はじめに会社紹介2 電⼦カルテは、病院の全ての部⾨と連携して患者情報、診療‧処⽅情報、請求‧決済情報を扱う患者‧記録ケア情報指⽰‧予定実施情報請求‧決済情報カルテレセコンオーダー⼿術部⾨検査部⾨画像診断部⾨薬局部⾨栄養部⾨物流部⾨リハビリ部⾨診療情報管理部⾨医事部⾨電⼦カルテ⼿術システム LIS（臨床検査情報）⽣体検査システム病理検査システム PACS（医⽤画像） RIS（放射線科）調剤⽀援システム薬品在庫システム栄養管理システム院内物流システム病歴管理システムがん登録システム受付システムリハビリシステム

Slide 6

Slide 6 text

Copyright © Henry, Inc. All rights reserved. 6 はじめに会社紹介3 複雑な要件が求められる病院向けはオンプレが中⼼で、中⼩病院向けではヘンリーはクラウドのシステムを提供する唯⼀のプレイヤーオンプレ* クラウド診療所中⼩病院⼤病院最大手 SI系 F社大手 SI系 N社独立系 S社大手子会社 C社最大手 SI系 F社大手 SI系 N社最大手 W社医療系 M社医療系 M社ベンチャー系 D社大手 Y社医療系 L社 * オンプレには、病院ごとにデータセンターにサーバーを用意してVPN接続を行うクラウドリフトを含む

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright © Henry, Inc. All rights reserved. OpenTelemetry （Java Agent、ライブラリ計装、etc...）導入済み ● ログ → CloudLogging、Sentry ● メトリクス → DataDog ● トレース → Honeycomb 9 ヘンリーのオブザーバビリティ体制アプリケーション・インフラ・計装状況オブザーバビリティ構成（簡易版）

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Copyright © Henry, Inc. All rights reserved. ● ヘンリーはシグナルに応じたAPMツールを採用している ○ 各ツールの強みを最大限に活用した運用で継続的な改善が可能 ● ツールを横断しても OpenTelemetry のおかげで調査対象の特定が容易 ○ ミッションクリティカルなエラーを早期に検知し対応できる体制 12 ヘンリーのオブザーバビリティ体制オブザーバビリティ体制のまとめ OpenTelemetry で関連付けが容易

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright © Henry, Inc. All rights reserved. 課題の背景 ● 月初に行われるレセコンのクリティカルな処理のパフォーマンス問題 ○ 医療機関が保険者に患者負担（3割）の残り（7割）を請求するための処理 ● 前月の診療をまとめるためパフォーマンス問題が発生していた ○ 最適化は行われていたが、特定医療機関が途中で処理がタイムアウトする 14 オブザーバビリティの活用事例背景（1/2）患者（Patient）医療機関（Provider）保険者（Payer）受診診療⾏為請求⽀払保険料患者・医療機関・保険者の関係性

Slide 15

Slide 15 text

Copyright © Henry, Inc. All rights reserved. 事象 ● 定常的なパフォーマンス問題と一時対応により、SWEとCSの負担が重かった ● 根本解決ができておらず、Henry の信頼性低下を招く状況だった前提 ● 登壇者は SWE で、仕様をコードレベルで調査と修正ができる ○ 一方で、登壇者は入社して 4 ヶ月（当時）ぐらいで、知識が浅い ● OpenTelemetry およびトレースの活用状況 ○ （当時）span は 100 %サンプリング 15 オブザーバビリティの活用事例背景（2/2）

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright © Henry, Inc. All rights reserved. 行動 ● パフォーマンスチューニング理由 ● 事前の傾向から、DB パフォーマンスが主な原因であることが判明 ● 特定のデータが多い医療機関のときにパフォーマンス劣化を確認 20 オブザーバビリティの活用事例 Step.3 パフォーマンスチューニング（1/2）スロークエリの発生を span で可視化トレースから span 出力箇所を特定

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright © Henry, Inc. All rights reserved. ● オブザーバビリティが充足していなければ、改善は不可能だった ○ 約 2000 以上ある db statement から span なしでボトルネックを見つけ出すのは不可能 ○ 段階を踏みながら一歩ずつ、ボトルネックの特定と解消ができた ● SWE 主体でオブザーバビリティ活用を促進できた ○ 非同期処理と同期処理のコンテキスト伝搬を実装 ○ CUJ に関連するアラートの整備 22 オブザーバビリティの活用事例ふりかえり（成功例）同期処理と非同期処理のコンテキスト伝搬ゆるくアラート作ってゆるくアラート消してゆるくSREしよう

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Copyright © Henry, Inc. All rights reserved. ● オブザーバビリティによって、次のことを実現できた ○ 内部システムに対する深い知見がなくても不具合の特定と解消 ○ 要所でSWEが取れる選択肢が増えた状態 24 オブザーバビリティの活用事例ふりかえり（実践できたこと）オブザーバビリティは誰のものか？ - Observability Conference Tokyo 2025 開催にあたってオブザーバビリティ・エンジニアリング

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Copyright © Henry, Inc. All rights reserved. ● ヘンリーのオブザーバビリティ構成を紹介 ○ テレメトリーデータに応じた APM ツールを利活用 ○ OpenTelemetry によってダッシュボードをまたいだ調査も容易 ● オブザーバビリティの活用事例を紹介 ○ ミッションクリティカルな障害に対して、段階を踏んで改善を実施した ○ オブザーバビリティが充足していれば、選択肢を検討する余地が生まれる 26 まとめ発表のまとめ

Slide 27

Slide 27 text

Copyright © Henry, Inc. All rights reserved. 採用情報や事業や技術について、積極的に発信しています! 採用情報採用募集ページ募集中の採用ポジションや募集要項がご確認いただけます。オープンポジションのカジュアル面談も募集していますので、お気軽にお申し込みください。技術ブログはてなブログヘンリー製品開発チームが運営する技術ブログです。会社公式ブログ note ヘンリーで働く人や医療業界や事業のことが幅広くしれる公式ブログです。 CEO の逆瀬川も個人で NOTE を発信しているのでぜひ! 理想駆動ラジオ Spotify プロダクト開発・運営の様子をお届けするポッドキャストです。 27