LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話

LLM×Cloud Runでオンライン薬局の
既存オペレーションを自動化した話
2023.09.23
# serverlessdays

View Slide

（C）PharmaX Inc. 2023 All Rights Reserve 2
自己紹介
自己紹介
上野彰大
PharmaX共同創業者・エンジニアリング責任者
好きな料理はオムライスと白湯とコーラ
マイブームはLLMとRust
Twitter：@ueeeeniki

View Slide

3
（C）PharmaX Inc. 2023 All Rights Reserve
PharmaXのプロダクトの簡単な説明

View Slide

「薬局」は医療体験の中でも身近な存在
日用品から処方薬まで。「薬局」は皆さまの日常の近くに存在している
ドラックストア調剤薬局
実現したいこと

View Slide

医療体験を横断する2つの事業領域
PharmaXの
事業
YOJO事業
（OTC医薬品・健康食品）
未病・予防治療
薬局DX事業
（医療用医薬品）
オンライン薬局サービスを展開している

View Slide

LINEから利用できるバーチャルな薬局
最短
即日
※
お薬をもっと手軽に、もっと安心して受け取れる「 YOJO薬局」
お薬はお家までお届け LINEで薬剤師にいつでも相談
好きなときにお薬の説明
※東京23区内のみ
PharmaXの
プロダクト

View Slide

ソフトウェアに閉じないプロダクト開発
PharmaXの
プロダクト開発
独自の薬局オペレーションシステムを構築し、最適化されたオンライン薬局を実現
×
自社薬局をプロトタイプラボ化
ソフトウェア
オペレーション
リモート
薬剤師組織
薬局業務を効率化す
るオペレーションシス
テム（薬局OS）
質の高い患者さま対応
のためのオンライン特
化組織
対人業務の質を高め
るための対物業務効
率化
「ソフトウェア×オペレーション×薬剤師組織」を
プロダクトとして開発

View Slide

その他
BI
インフラストラクチャー
フロントエンド
バックエンド
技術スタック
開発環境
サービスに取り込むべき技術をプロダクト横断的に議論する場を設け、新しい技術も積極的に採用

View Slide

生成AI/LLMチームの立ち上げ
生成AI/LLMチームを立ち上げ複数のPoCを並行して行っている

View Slide

10
既存Applicationの概要

View Slide

医療体験を横断する2つの事業領域
PharmaXの
事業
YOJO事業
（OTC医薬品・健康食品）
未病・予防治療
薬局DX事業
（医療用医薬品）
オンライン薬局サービスを展開している

View Slide

Applicationの概要
Webでの問診等の提出、ビデオ通話、 LINEでの薬剤師とのチャットなどのオンライン完結薬局体験を提供

View Slide

オンライン薬局サービスのフロー
病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

View Slide

インフラ構成
インフラ構成
CloudRunを中心としたサーバーレス構成でアプリケーションを構築している

View Slide

15
LLMで受付業務および疑義照会を半自動化

View Slide

オンライン薬局サービスの概要

View Slide


View Slide

メールやFAXで送っていただく場合などもあるが今回は対象としない
クリニックとオンライン薬局の処方せんのやり取り
オンライン薬局の
受付業務
Boxに医療機関ごとの共有フォルダ内に日付別に処方せんを格納いただく
医師薬剤師
オンライン診療オンライン服薬指導

View Slide

患者の連絡先に受付メッセージを送信
処方せんに記載の連絡先に受付用の
SMS&メールを手動で送信する

View Slide

疑義照会とは何か？
疑義照会とは
医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること
● 赤枠の欄にその人に処方される医薬品名や
1日の服用数、
服用タイミング、合計の処方量などが記載されており、その
内容に従って薬剤師が調剤行う
● 処方内容が間違っていることが多々あるため、医療事故を
防ぐために、指摘して処方せん内容を変更してもらうこと（
＝
疑義照会）薬局・薬剤師の重要な職務
○ 疑義照会の7、8割ぐらいが、法律に定められている処方量
とのズレ（1日の最大容量を超えた量が処方されているなど）
や、単純な記載ミス
○ 2割程度は、併用薬などを詳しく聞かないと分からない内容

View Slide


View Slide

オンライン薬局の受付フロー
オンライン薬局の
受付業務
今回は特に②でAzure OpenAI ServiceのGPT-4 APIを用いている
● ① 処方せん情報をテキストデータ化する
● ② 処方せんのテキストデータからLLMで患者の連絡先情報を抽出する
● ③ SMS&メールを自動で送信する

View Slide

ステップ①：
処方せん情報をテキストデータ化する
クリニックから受け取った処方せんから
OCR（Document AI）でテキ
ストを抽出する
処方せん画像をOCRでテキスト化したり、PDFデータからテキストを抽出したりする
医師薬剤師
ステップ①

View Slide

ステップ②：
処方せんから医薬品の処方情報を抜き出して構造化する
ステップ②
処方せんのテキストデータから、連絡先情報を
LLMに抽出させる
{
“電話” : “09012345678”,
“メールアドレス” : “[email protected]”
}

View Slide


View Slide

疑義照会とは何か？
疑義照会とは
医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること
● 赤枠の欄にその人に処方される医薬品名や
1日の服用数、
服用タイミング、合計の処方量などが記載されており、その
内容に従って薬剤師が調剤行う
● 処方内容が間違っていることが多々あるため、医療事故を
防ぐために、指摘して処方せん内容を変更してもらうこと（
＝
疑義照会）薬局・薬剤師の重要な職務
○ 疑義照会の7、8割ぐらいが、法律に定められている処方量
とのズレ（1日の最大容量を超えた量が処方されているなど）
や、単純な記載ミス
○ 2割程度は、併用薬などを詳しく聞かないと分からない内容

View Slide

疑義照会の自動化に必要なステップ
疑義照会とは
● ① 処方せん情報をテキストデータ化する
● ② 処方せんのテキストデータからLLMで医薬品の処方情報を抜き出して構造化する
● ③ 処方情報からその医薬品の添付文書を取得する
● ④ 処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する
今回は特に②と④でAzure OpenAI ServiceのGPT-4 APIを用いている

View Slide

ステップ①：
処方せん情報をテキストデータ化する
クリニックから受け取った処方せんから
OCR（Document AI）でテキ
ストを抽出する
処方せん画像をOCRでテキスト化したり、PDFデータからテキストを抽出したりする
医師薬剤師
ステップ①

View Slide

ステップ②：
ステップ②
処方せん内の処方情報欄の形式はクリニックのシステムによって様々であるため抽出が難しい

View Slide

ステップ②：
ステップ②
処方せんのテキストデータから、処方情報を
LLMに抽出させる

View Slide

ステップ②：
ステップ②
● 正規表現でいろんなパターンをマッチさせて引っ掛けて来る方
式もあり得ると思うが、複数あるテキストパターンから特定の
情報を抜き出すのは、正規表現では難しくなる
● GPT-4のAPIを使って、処方せんのテキストから処方情報を
JSON配列の形式で抽出する
○ Few-Shotプロンプティングで例を与えることで十分構造
化可能
処方情報をJSON配列の形式に構造化して抽出する

View Slide

ステップ③：
処方情報からその医薬品の添付文書を取得する
ステップ③
● PMDAの情報からスクレイピングなどで医薬品の添付
文書情報を取得し事前にDBなどに保存しておく
○ 添付文書は定期的に変更されるので注意
● ②で構造化した情報の中の医薬品名で
DBを検索し
て、添付文章を取得する
事前に保存した添付文書を②で取得した薬名で検索して取得する

View Slide

● ②と③で取得した情報を埋めて
GPT-4 APIに比較させる
● 出力形式は、薬ごとに気になるポイントを比較するように支持
する
ステップ④：処方情報とその医薬品の添付文書を
照らし合わせて疑義照会の文章を自動作成する
②
③
ステップ④
処方情報と医薬品の添付文書を照らし合わせて疑義照会の文章を作成するように
LLMに指示

View Slide

最終アウトプット
ステップ④

View Slide

ステップ④：処方情報とその医薬品の添付文書を
照らし合わせて疑義照会の文章を自動作成する
ステップ④
● 現場の薬剤師からすると細かすぎるところはあると思うが、かなり正確に指摘できている
○ 人間からするとむしろ指摘が細かすぎるところの方が問題かもしれない
● 手元で自作した数百枚の処方せんサンプルすべてに対して、
GPT-4のAPIに問い合わせた所、数
件を除いてほぼすべての処方せんで指摘漏れはなかった
処方せんのほとんどで正確に指摘できており、エラー率はかなり低い

View Slide

37
新アプリケーションの構成

View Slide

処理のフロー
新アプリケーションの概要
受付業務の自動化と疑義照会の半自動化を実現し、薬剤師の工数とエラー率を激減

View Slide

インフラ構成

View Slide

今後の改善ポイント
● AzureとGCPを閉域接続する等、さらなるセキュリティの向上
● PDF以外の写真などの処方せん形式のOCR対応
○ 処方せんはクリニックからFAXで届くこともある
● GPTからの出力のバリデーションと評価によるさらなるエラー率の減少

View Slide

41
今後の展開

View Slide

● 処方せん内容と服薬指導音声のを文字起こしし薬歴自動生成
● 薬剤師から患者へのメッセージサジェッション＋レビュー
● これまでの患者の経過や会話内容のサマリーの記載
● ローカルLLMの本番稼働
○ プライバシー保護やレイテンシー低下のためには、本来ローカルでLLMが動
かせるのが一番よい
今後やりたいことまとめ
今後の展開
アプリケーションに組み込めそうなアイディアがたくさんあり、並行して様々な
PoCを実施中

View Slide

処方せん内容と服薬指導音声から薬歴自動生成①
今後の展開
薬歴は患者さんの情報を整理し、評価するために
SOAP形式で記載することが一般的

View Slide

処方せん内容と服薬指導音声から薬歴自動生成②
今後の展開
忙しい薬剤師からすると、十分なクオリティの薬歴を自動生成することができている

View Slide

薬剤師から患者へのメッセージサジェッション＋レビュー
今後の展開
GPT-4のAPIでは過去の会話（文脈）も簡単に理解させることが出来る

View Slide

46
最後に

View Slide

● LLMとserverlessを活用したプロダクト事例としてオンライン薬局サービスをご紹介
した
○ 医療のような規制産業でもserverlessをフル活用した新サービスを運用でき
る
○ LLMを使ってオペレーションを自動化できる
● 非構造化データの多い医療のような領域では特にLLMによる効率化の効果が大き
い
○ LLMによってこれまではシステムが入り込めなかった領域をシステム化できる
ようになった
まとめ
最後に

View Slide

PharmaXでも勉強会を積極実施中
最後に

View Slide

個人で運営しているコミュニティでも勉強会を実施中
最後に

View Slide

LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話

LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話

PharmaX（旧YOJO Technologies）開発チーム

More Decks by PharmaX（旧YOJO Technologies）開発チーム

Other Decks in Technology

Featured

Transcript