LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話

LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話 2023.09.23 # serverlessdays

（C）PharmaX Inc. 2023 All Rights Reserve 2 自己紹介自己紹介上野彰大
PharmaX共同創業者・エンジニアリング責任者好きな料理はオムライスと白湯とコーラマイブームはLLMとRust Twitter：@ueeeeniki

3 （C）PharmaX Inc. 2023 All Rights Reserve PharmaXのプロダクトの簡単な説明

（C）PharmaX Inc. 2023 All Rights Reserve 4 「薬局」は医療体験の中でも身近な存在日用品から処方薬まで。「薬局」は皆さまの日常の近くに存在しているドラックストア
調剤薬局実現したいこと

（C）PharmaX Inc. 2023 All Rights Reserve 5 医療体験を横断する2つの事業領域 PharmaXの事業
YOJO事業（OTC医薬品・健康食品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している

（C）PharmaX Inc. 2023 All Rights Reserve 6 LINEから利用できるバーチャルな薬局最短即日
※ お薬をもっと手軽に、もっと安心して受け取れる「 YOJO薬局」お薬はお家までお届け LINEで薬剤師にいつでも相談好きなときにお薬の説明 ※東京23区内のみ PharmaXのプロダクト

（C）PharmaX Inc. 2023 All Rights Reserve 7 ソフトウェアに閉じないプロダクト開発 PharmaXのプロダクト開発
独自の薬局オペレーションシステムを構築し、最適化されたオンライン薬局を実現 × 自社薬局をプロトタイプラボ化ソフトウェアオペレーションリモート薬剤師組織薬局業務を効率化するオペレーションシステム（薬局OS）質の高い患者さま対応のためのオンライン特化組織対人業務の質を高めるための対物業務効率化「ソフトウェア×オペレーション×薬剤師組織」をプロダクトとして開発

（C）PharmaX Inc. 2023 All Rights Reserve 8 その他 BI インフラストラクチャー
フロントエンドバックエンド技術スタック開発環境サービスに取り込むべき技術をプロダクト横断的に議論する場を設け、新しい技術も積極的に採用

（C）PharmaX Inc. 2023 All Rights Reserve 9 生成AI/LLMチームの立ち上げ生成AI/LLMチームを立ち上げ複数のPoCを並行して行っている

10 （C）PharmaX Inc. 2022 All Rights Reserve 既存Applicationの概要

（C）PharmaX Inc. 2023 All Rights Reserve 11 医療体験を横断する2つの事業領域 PharmaXの事業
YOJO事業（OTC医薬品・健康食品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している

（C）PharmaX Inc. 2023 All Rights Reserve 12 Applicationの概要 Applicationの概要 Webでの問診等の提出、ビデオ通話、
LINEでの薬剤師とのチャットなどのオンライン完結薬局体験を提供

（C）PharmaX Inc. 2023 All Rights Reserve 13 オンライン薬局サービスのフロー病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結 Applicationの概要

（C）PharmaX Inc. 2023 All Rights Reserve 14 インフラ構成インフラ構成 CloudRunを中心としたサーバーレス構成でアプリケーションを構築している

15 （C）PharmaX Inc. 2023 All Rights Reserve LLMで受付業務および疑義照会を半自動化

（C）PharmaX Inc. 2023 All Rights Reserve 16 オンライン薬局サービスの概要病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

（C）PharmaX Inc. 2023 All Rights Reserve 19 メールやFAXで送っていただく場合などもあるが今回は対象としないクリニックとオンライン薬局の処方せんのやり取りオンライン薬局の
受付業務 Boxに医療機関ごとの共有フォルダ内に日付別に処方せんを格納いただく医師薬剤師オンライン診療オンライン服薬指導

（C）PharmaX Inc. 2023 All Rights Reserve 20 患者の連絡先に受付メッセージを送信処方せんに記載の連絡先に受付用の SMS&メールを手動で送信する

（C）PharmaX Inc. 2023 All Rights Reserve 21 疑義照会とは何か？疑義照会とは医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること
• 赤枠の欄にその人に処方される医薬品名や 1日の服用数、服用タイミング、合計の処方量などが記載されており、その内容に従って薬剤師が調剤行う • 処方内容が間違っていることが多々あるため、医療事故を防ぐために、指摘して処方せん内容を変更してもらうこと（＝疑義照会）薬局・薬剤師の重要な職務 ◦ 疑義照会の7、8割ぐらいが、法律に定められている処方量とのズレ（1日の最大容量を超えた量が処方されているなど）や、単純な記載ミス ◦ 2割程度は、併用薬などを詳しく聞かないと分からない内容

（C）PharmaX Inc. 2023 All Rights Reserve 23 オンライン薬局の受付フローオンライン薬局の受付業務
今回は特に②でAzure OpenAI ServiceのGPT-4 APIを用いている • ① 処方せん情報をテキストデータ化する • ② 処方せんのテキストデータからLLMで患者の連絡先情報を抽出する • ③ SMS&メールを自動で送信する

（C）PharmaX Inc. 2023 All Rights Reserve 24 ステップ①：処方せん情報をテキストデータ化するクリニックから受け取った処方せんから
OCR（Document AI）でテキストを抽出する処方せん画像をOCRでテキスト化したり、PDFデータからテキストを抽出したりする医師薬剤師オンライン診療オンライン服薬指導ステップ①

（C）PharmaX Inc. 2023 All Rights Reserve 25 ステップ②：処方せんから医薬品の処方情報を抜き出して構造化するステップ②
処方せんのテキストデータから、連絡先情報を LLMに抽出させる { “電話” : “09012345678”, “メールアドレス” : “[email protected]” }

（C）PharmaX Inc. 2023 All Rights Reserve 27 疑義照会とは何か？疑義照会とは医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること
• 赤枠の欄にその人に処方される医薬品名や 1日の服用数、服用タイミング、合計の処方量などが記載されており、その内容に従って薬剤師が調剤行う • 処方内容が間違っていることが多々あるため、医療事故を防ぐために、指摘して処方せん内容を変更してもらうこと（＝疑義照会）薬局・薬剤師の重要な職務 ◦ 疑義照会の7、8割ぐらいが、法律に定められている処方量とのズレ（1日の最大容量を超えた量が処方されているなど）や、単純な記載ミス ◦ 2割程度は、併用薬などを詳しく聞かないと分からない内容

（C）PharmaX Inc. 2023 All Rights Reserve 28 疑義照会の自動化に必要なステップ疑義照会とは •
① 処方せん情報をテキストデータ化する • ② 処方せんのテキストデータからLLMで医薬品の処方情報を抜き出して構造化する • ③ 処方情報からその医薬品の添付文書を取得する • ④ 処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する今回は特に②と④でAzure OpenAI ServiceのGPT-4 APIを用いている

（C）PharmaX Inc. 2023 All Rights Reserve 29 ステップ①：処方せん情報をテキストデータ化するクリニックから受け取った処方せんから
OCR（Document AI）でテキストを抽出する処方せん画像をOCRでテキスト化したり、PDFデータからテキストを抽出したりする医師薬剤師オンライン診療オンライン服薬指導ステップ①

処方せん内の処方情報欄の形式はクリニックのシステムによって様々であるため抽出が難しい

処方せんのテキストデータから、処方情報を LLMに抽出させる

• 正規表現でいろんなパターンをマッチさせて引っ掛けて来る方式もあり得ると思うが、複数あるテキストパターンから特定の情報を抜き出すのは、正規表現では難しくなる • GPT-4のAPIを使って、処方せんのテキストから処方情報を JSON配列の形式で抽出する ◦ Few-Shotプロンプティングで例を与えることで十分構造化可能処方情報をJSON配列の形式に構造化して抽出する

（C）PharmaX Inc. 2023 All Rights Reserve 33 ステップ③：処方情報からその医薬品の添付文書を取得するステップ③
• PMDAの情報からスクレイピングなどで医薬品の添付文書情報を取得し事前にDBなどに保存しておく ◦ 添付文書は定期的に変更されるので注意 • ②で構造化した情報の中の医薬品名で DBを検索して、添付文章を取得する事前に保存した添付文書を②で取得した薬名で検索して取得する

（C）PharmaX Inc. 2023 All Rights Reserve 34 • ②と③で取得した情報を埋めて GPT-4
APIに比較させる • 出力形式は、薬ごとに気になるポイントを比較するように支持するステップ④：処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する ② ③ ステップ④ 処方情報と医薬品の添付文書を照らし合わせて疑義照会の文章を作成するように LLMに指示

（C）PharmaX Inc. 2023 All Rights Reserve 35 最終アウトプットステップ④

（C）PharmaX Inc. 2023 All Rights Reserve 36 ステップ④：処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成するステップ④
• 現場の薬剤師からすると細かすぎるところはあると思うが、かなり正確に指摘できている ◦ 人間からするとむしろ指摘が細かすぎるところの方が問題かもしれない • 手元で自作した数百枚の処方せんサンプルすべてに対して、 GPT-4のAPIに問い合わせた所、数件を除いてほぼすべての処方せんで指摘漏れはなかった処方せんのほとんどで正確に指摘できており、エラー率はかなり低い

37 （C）PharmaX Inc. 2022 All Rights Reserve 新アプリケーションの構成

（C）PharmaX Inc. 2023 All Rights Reserve 38 処理のフロー新アプリケーションの概要受付業務の自動化と疑義照会の半自動化を実現し、薬剤師の工数とエラー率を激減

（C）PharmaX Inc. 2023 All Rights Reserve 39 インフラ構成

（C）PharmaX Inc. 2023 All Rights Reserve 40 今後の改善ポイント • AzureとGCPを閉域接続する等、さらなるセキュリティの向上
• PDF以外の写真などの処方せん形式のOCR対応 ◦ 処方せんはクリニックからFAXで届くこともある • GPTからの出力のバリデーションと評価によるさらなるエラー率の減少

41 （C）PharmaX Inc. 2022 All Rights Reserve 今後の展開

（C）PharmaX Inc. 2023 All Rights Reserve 42 • 処方せん内容と服薬指導音声のを文字起こしし薬歴自動生成 •
薬剤師から患者へのメッセージサジェッション＋レビュー • これまでの患者の経過や会話内容のサマリーの記載 • ローカルLLMの本番稼働 ◦ プライバシー保護やレイテンシー低下のためには、本来ローカルでLLMが動かせるのが一番よい今後やりたいことまとめ今後の展開アプリケーションに組み込めそうなアイディアがたくさんあり、並行して様々な PoCを実施中

（C）PharmaX Inc. 2023 All Rights Reserve 43 処方せん内容と服薬指導音声から薬歴自動生成① 今後の展開薬歴は患者さんの情報を整理し、評価するために
SOAP形式で記載することが一般的

（C）PharmaX Inc. 2023 All Rights Reserve 44 処方せん内容と服薬指導音声から薬歴自動生成② 今後の展開忙しい薬剤師からすると、十分なクオリティの薬歴を自動生成することができている

（C）PharmaX Inc. 2023 All Rights Reserve 45 薬剤師から患者へのメッセージサジェッション＋レビュー今後の展開 GPT-4のAPIでは過去の会話（文脈）も簡単に理解させることが出来る

46 （C）PharmaX Inc. 2022 All Rights Reserve 最後に

（C）PharmaX Inc. 2023 All Rights Reserve 47 • LLMとserverlessを活用したプロダクト事例としてオンライン薬局サービスをご紹介した
◦ 医療のような規制産業でもserverlessをフル活用した新サービスを運用できる ◦ LLMを使ってオペレーションを自動化できる • 非構造化データの多い医療のような領域では特にLLMによる効率化の効果が大きい ◦ LLMによってこれまではシステムが入り込めなかった領域をシステム化できるようになったまとめ最後に

（C）PharmaX Inc. 2023 All Rights Reserve 48 PharmaXでも勉強会を積極実施中最後に

（C）PharmaX Inc. 2023 All Rights Reserve 49 個人で運営しているコミュニティでも勉強会を実施中最後に

LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話

LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話

More Decks by PharmaX（旧YOJO Technologies）開発チーム

Other Decks in Technology

Featured

Transcript