LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話

Slide 1

Slide 1 text

LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話 2023.09.23 # serverlessdays

Slide 2

Slide 2 text

（C）PharmaX Inc. 2023 All Rights Reserve 2 自己紹介自己紹介上野彰大 PharmaX共同創業者・エンジニアリング責任者好きな料理はオムライスと白湯とコーラマイブームはLLMとRust Twitter：@ueeeeniki

Slide 3

Slide 3 text

3 （C）PharmaX Inc. 2023 All Rights Reserve PharmaXのプロダクトの簡単な説明

Slide 4

Slide 4 text

（C）PharmaX Inc. 2023 All Rights Reserve 4 「薬局」は医療体験の中でも身近な存在日用品から処方薬まで。「薬局」は皆さまの日常の近くに存在しているドラックストア調剤薬局実現したいこと

Slide 5

Slide 5 text

（C）PharmaX Inc. 2023 All Rights Reserve 5 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業（OTC医薬品・健康食品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している

Slide 6

Slide 6 text

（C）PharmaX Inc. 2023 All Rights Reserve 6 LINEから利用できるバーチャルな薬局最短即日 ※ お薬をもっと手軽に、もっと安心して受け取れる「 YOJO薬局」お薬はお家までお届け LINEで薬剤師にいつでも相談好きなときにお薬の説明 ※東京23区内のみ PharmaXのプロダクト

Slide 7

Slide 7 text

（C）PharmaX Inc. 2023 All Rights Reserve 7 ソフトウェアに閉じないプロダクト開発 PharmaXのプロダクト開発独自の薬局オペレーションシステムを構築し、最適化されたオンライン薬局を実現 × 自社薬局をプロトタイプラボ化ソフトウェアオペレーションリモート薬剤師組織薬局業務を効率化するオペレーションシステム（薬局OS）質の高い患者さま対応のためのオンライン特化組織対人業務の質を高めるための対物業務効率化「ソフトウェア×オペレーション×薬剤師組織」をプロダクトとして開発

Slide 8

Slide 8 text

（C）PharmaX Inc. 2023 All Rights Reserve 8 その他 BI インフラストラクチャーフロントエンドバックエンド技術スタック開発環境サービスに取り込むべき技術をプロダクト横断的に議論する場を設け、新しい技術も積極的に採用

Slide 9

Slide 9 text

（C）PharmaX Inc. 2023 All Rights Reserve 9 生成AI/LLMチームの立ち上げ生成AI/LLMチームを立ち上げ複数のPoCを並行して行っている

Slide 10

Slide 10 text

10 （C）PharmaX Inc. 2022 All Rights Reserve 既存Applicationの概要

Slide 11

Slide 11 text

（C）PharmaX Inc. 2023 All Rights Reserve 11 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業（OTC医薬品・健康食品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している

Slide 12

Slide 12 text

（C）PharmaX Inc. 2023 All Rights Reserve 12 Applicationの概要 Applicationの概要 Webでの問診等の提出、ビデオ通話、 LINEでの薬剤師とのチャットなどのオンライン完結薬局体験を提供

Slide 13

Slide 13 text

（C）PharmaX Inc. 2023 All Rights Reserve 13 オンライン薬局サービスのフロー病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結 Applicationの概要

Slide 14

Slide 14 text

（C）PharmaX Inc. 2023 All Rights Reserve 14 インフラ構成インフラ構成 CloudRunを中心としたサーバーレス構成でアプリケーションを構築している

Slide 15

Slide 15 text

15 （C）PharmaX Inc. 2023 All Rights Reserve LLMで受付業務および疑義照会を半自動化

Slide 16

Slide 16 text

（C）PharmaX Inc. 2023 All Rights Reserve 16 オンライン薬局サービスの概要病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

Slide 17

Slide 17 text

（C）PharmaX Inc. 2023 All Rights Reserve 17 オンライン薬局サービスの概要病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

Slide 18

Slide 18 text

（C）PharmaX Inc. 2023 All Rights Reserve 18 オンライン薬局サービスの概要病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

Slide 19

Slide 19 text

（C）PharmaX Inc. 2023 All Rights Reserve 19 メールやFAXで送っていただく場合などもあるが今回は対象としないクリニックとオンライン薬局の処方せんのやり取りオンライン薬局の受付業務 Boxに医療機関ごとの共有フォルダ内に日付別に処方せんを格納いただく医師薬剤師オンライン診療オンライン服薬指導

Slide 20

Slide 20 text

（C）PharmaX Inc. 2023 All Rights Reserve 20 患者の連絡先に受付メッセージを送信処方せんに記載の連絡先に受付用の SMS&メールを手動で送信する

Slide 21

Slide 21 text

（C）PharmaX Inc. 2023 All Rights Reserve 21 疑義照会とは何か？疑義照会とは医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること ● 赤枠の欄にその人に処方される医薬品名や 1日の服用数、服用タイミング、合計の処方量などが記載されており、その内容に従って薬剤師が調剤行う ● 処方内容が間違っていることが多々あるため、医療事故を防ぐために、指摘して処方せん内容を変更してもらうこと（＝疑義照会）薬局・薬剤師の重要な職務 ○ 疑義照会の7、8割ぐらいが、法律に定められている処方量とのズレ（1日の最大容量を超えた量が処方されているなど）や、単純な記載ミス ○ 2割程度は、併用薬などを詳しく聞かないと分からない内容

Slide 22

Slide 22 text

（C）PharmaX Inc. 2023 All Rights Reserve 22 オンライン薬局サービスの概要病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

Slide 23

Slide 23 text

（C）PharmaX Inc. 2023 All Rights Reserve 23 オンライン薬局の受付フローオンライン薬局の受付業務今回は特に②でAzure OpenAI ServiceのGPT-4 APIを用いている ● ① 処方せん情報をテキストデータ化する ● ② 処方せんのテキストデータからLLMで患者の連絡先情報を抽出する ● ③ SMS&メールを自動で送信する

Slide 24

Slide 24 text

（C）PharmaX Inc. 2023 All Rights Reserve 24 ステップ①：処方せん情報をテキストデータ化するクリニックから受け取った処方せんから OCR（Document AI）でテキストを抽出する処方せん画像をOCRでテキスト化したり、PDFデータからテキストを抽出したりする医師薬剤師オンライン診療オンライン服薬指導ステップ①

Slide 25

Slide 25 text

（C）PharmaX Inc. 2023 All Rights Reserve 25 ステップ②：処方せんから医薬品の処方情報を抜き出して構造化するステップ② 処方せんのテキストデータから、連絡先情報を LLMに抽出させる { “電話” : “09012345678”, “メールアドレス” : “[email protected]” }

Slide 26

Slide 26 text

（C）PharmaX Inc. 2023 All Rights Reserve 26 オンライン薬局サービスの概要病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

Slide 27

Slide 27 text

（C）PharmaX Inc. 2023 All Rights Reserve 27 疑義照会とは何か？疑義照会とは医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること ● 赤枠の欄にその人に処方される医薬品名や 1日の服用数、服用タイミング、合計の処方量などが記載されており、その内容に従って薬剤師が調剤行う ● 処方内容が間違っていることが多々あるため、医療事故を防ぐために、指摘して処方せん内容を変更してもらうこと（＝疑義照会）薬局・薬剤師の重要な職務 ○ 疑義照会の7、8割ぐらいが、法律に定められている処方量とのズレ（1日の最大容量を超えた量が処方されているなど）や、単純な記載ミス ○ 2割程度は、併用薬などを詳しく聞かないと分からない内容

Slide 28

Slide 28 text

（C）PharmaX Inc. 2023 All Rights Reserve 28 疑義照会の自動化に必要なステップ疑義照会とは ● ① 処方せん情報をテキストデータ化する ● ② 処方せんのテキストデータからLLMで医薬品の処方情報を抜き出して構造化する ● ③ 処方情報からその医薬品の添付文書を取得する ● ④ 処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する今回は特に②と④でAzure OpenAI ServiceのGPT-4 APIを用いている

Slide 29

Slide 29 text

（C）PharmaX Inc. 2023 All Rights Reserve 29 ステップ①：処方せん情報をテキストデータ化するクリニックから受け取った処方せんから OCR（Document AI）でテキストを抽出する処方せん画像をOCRでテキスト化したり、PDFデータからテキストを抽出したりする医師薬剤師オンライン診療オンライン服薬指導ステップ①

Slide 30

Slide 30 text

（C）PharmaX Inc. 2023 All Rights Reserve 30 ステップ②：処方せんから医薬品の処方情報を抜き出して構造化するステップ② 処方せん内の処方情報欄の形式はクリニックのシステムによって様々であるため抽出が難しい

Slide 31

Slide 31 text

（C）PharmaX Inc. 2023 All Rights Reserve 31 ステップ②：処方せんから医薬品の処方情報を抜き出して構造化するステップ② 処方せんのテキストデータから、処方情報を LLMに抽出させる

Slide 32

Slide 32 text

（C）PharmaX Inc. 2023 All Rights Reserve 32 ステップ②：処方せんから医薬品の処方情報を抜き出して構造化するステップ② ● 正規表現でいろんなパターンをマッチさせて引っ掛けて来る方式もあり得ると思うが、複数あるテキストパターンから特定の情報を抜き出すのは、正規表現では難しくなる ● GPT-4のAPIを使って、処方せんのテキストから処方情報を JSON配列の形式で抽出する ○ Few-Shotプロンプティングで例を与えることで十分構造化可能処方情報をJSON配列の形式に構造化して抽出する

Slide 33

Slide 33 text

（C）PharmaX Inc. 2023 All Rights Reserve 33 ステップ③：処方情報からその医薬品の添付文書を取得するステップ③ ● PMDAの情報からスクレイピングなどで医薬品の添付文書情報を取得し事前にDBなどに保存しておく ○ 添付文書は定期的に変更されるので注意 ● ②で構造化した情報の中の医薬品名で DBを検索して、添付文章を取得する事前に保存した添付文書を②で取得した薬名で検索して取得する

Slide 34

Slide 34 text

（C）PharmaX Inc. 2023 All Rights Reserve 34 ● ②と③で取得した情報を埋めて GPT-4 APIに比較させる ● 出力形式は、薬ごとに気になるポイントを比較するように支持するステップ④：処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する ② ③ ステップ④ 処方情報と医薬品の添付文書を照らし合わせて疑義照会の文章を作成するように LLMに指示

Slide 35

Slide 35 text

（C）PharmaX Inc. 2023 All Rights Reserve 35 最終アウトプットステップ④

Slide 36

Slide 36 text

（C）PharmaX Inc. 2023 All Rights Reserve 36 ステップ④：処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成するステップ④ ● 現場の薬剤師からすると細かすぎるところはあると思うが、かなり正確に指摘できている ○ 人間からするとむしろ指摘が細かすぎるところの方が問題かもしれない ● 手元で自作した数百枚の処方せんサンプルすべてに対して、 GPT-4のAPIに問い合わせた所、数件を除いてほぼすべての処方せんで指摘漏れはなかった処方せんのほとんどで正確に指摘できており、エラー率はかなり低い

Slide 37

Slide 37 text

37 （C）PharmaX Inc. 2022 All Rights Reserve 新アプリケーションの構成

Slide 38

Slide 38 text

（C）PharmaX Inc. 2023 All Rights Reserve 38 処理のフロー新アプリケーションの概要受付業務の自動化と疑義照会の半自動化を実現し、薬剤師の工数とエラー率を激減

Slide 39

Slide 39 text

（C）PharmaX Inc. 2023 All Rights Reserve 39 インフラ構成

Slide 40

Slide 40 text

（C）PharmaX Inc. 2023 All Rights Reserve 40 今後の改善ポイント ● AzureとGCPを閉域接続する等、さらなるセキュリティの向上 ● PDF以外の写真などの処方せん形式のOCR対応 ○ 処方せんはクリニックからFAXで届くこともある ● GPTからの出力のバリデーションと評価によるさらなるエラー率の減少

Slide 41

Slide 41 text

41 （C）PharmaX Inc. 2022 All Rights Reserve 今後の展開

Slide 42

Slide 42 text

（C）PharmaX Inc. 2023 All Rights Reserve 42 ● 処方せん内容と服薬指導音声のを文字起こしし薬歴自動生成 ● 薬剤師から患者へのメッセージサジェッション＋レビュー ● これまでの患者の経過や会話内容のサマリーの記載 ● ローカルLLMの本番稼働 ○ プライバシー保護やレイテンシー低下のためには、本来ローカルでLLMが動かせるのが一番よい今後やりたいことまとめ今後の展開アプリケーションに組み込めそうなアイディアがたくさんあり、並行して様々な PoCを実施中

Slide 43

Slide 43 text

（C）PharmaX Inc. 2023 All Rights Reserve 43 処方せん内容と服薬指導音声から薬歴自動生成① 今後の展開薬歴は患者さんの情報を整理し、評価するために SOAP形式で記載することが一般的

Slide 44

Slide 44 text

（C）PharmaX Inc. 2023 All Rights Reserve 44 処方せん内容と服薬指導音声から薬歴自動生成② 今後の展開忙しい薬剤師からすると、十分なクオリティの薬歴を自動生成することができている

Slide 45

Slide 45 text

（C）PharmaX Inc. 2023 All Rights Reserve 45 薬剤師から患者へのメッセージサジェッション＋レビュー今後の展開 GPT-4のAPIでは過去の会話（文脈）も簡単に理解させることが出来る

Slide 46

Slide 46 text

46 （C）PharmaX Inc. 2022 All Rights Reserve 最後に

Slide 47

Slide 47 text

（C）PharmaX Inc. 2023 All Rights Reserve 47 ● LLMとserverlessを活用したプロダクト事例としてオンライン薬局サービスをご紹介した ○ 医療のような規制産業でもserverlessをフル活用した新サービスを運用できる ○ LLMを使ってオペレーションを自動化できる ● 非構造化データの多い医療のような領域では特にLLMによる効率化の効果が大きい ○ LLMによってこれまではシステムが入り込めなかった領域をシステム化できるようになったまとめ最後に

Slide 48

Slide 48 text

（C）PharmaX Inc. 2023 All Rights Reserve 48 PharmaXでも勉強会を積極実施中最後に

Slide 49

Slide 49 text

（C）PharmaX Inc. 2023 All Rights Reserve 49 個人で運営しているコミュニティでも勉強会を実施中最後に