Lock in $30 Savings on PRO—Offer Ends Soon! ⏳
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話
Search
PharmaX(旧YOJO Technologies)開発チーム
September 24, 2023
Technology
0
1.8k
LLM×Cloud Runでオンライン薬局の既存オペレーションを自動化した話
PharmaX(旧YOJO Technologies)開発チーム
September 24, 2023
Tweet
Share
More Decks by PharmaX(旧YOJO Technologies)開発チーム
See All by PharmaX(旧YOJO Technologies)開発チーム
LLMアプリケーションの継続的改善のためのFine-tuningの活用
pharma_x_tech
0
30
LLMアプリケーションの評価と継続的改善
pharma_x_tech
3
210
開発チームから始める 「学習する組織」に 成長するための取り組み
pharma_x_tech
3
610
LLMマルチエージェントの アプリケーション設計のコツと未来
pharma_x_tech
1
430
LLMマルチエージェントのフローエンジニアリングを支えるLLMOps
pharma_x_tech
10
3.6k
o1のAPIで実験してみたが 制限きつすぎて辛かった話
pharma_x_tech
1
560
高いレベルでQCDを達成できる組織に変化していくための開発生産性向上の取り組み
pharma_x_tech
2
380
LLMフローエンジニアリング実践ガイド
pharma_x_tech
2
610
自社システムをHerokuからGCPへフ ルリプレースした話 〜データパイプライン編〜
pharma_x_tech
1
35
Other Decks in Technology
See All in Technology
pmconf2024_UPSIDER
upsider_tech
0
5.6k
PostgreSQL Conference Japan 2024 A4 Comparison of column-oriented access methods
nori_shinoda
0
100
検証と資産化を形にするプロダクト組織へ/tapple_pmconf2024
corin8823
1
7.2k
農業用ダム監視を目的とした衛星SAR 干渉解析の適用性について
osgeojp
0
140
A/Aテストにおけるサンプルサイズ/japanr2024
nikkei_engineer_recruiting
1
360
Entra ID の多要素認証(Japan Microsoft 365 コミュニティ カンファレンス 2024 )
murachiakira
0
1.9k
【CNDW2024】SIerで200人クラウドネイティブのファンを増やした話
yuta1979
1
320
高品質と高スピードを両立させるソフトウェアQA/Software QA that Supports Agility and Quality
goyoki
8
1.2k
開志専門職大学特別講義 2024 オープニング
1ftseabass
PRO
0
220
Empowering Customer Decisions with Elasticsearch: From Search to Answer Generation
hinatades
PRO
0
250
データカタログを自作したけど 運用しなかった話@Findy Lunch LT「データカタログ 事例から学ぶメタデータ管理の実態」
ryo_suzuki
2
640
EthernetベースのGPUクラスタ導入による学びと展望
lycorptech_jp
PRO
0
530
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
181
21k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Being A Developer After 40
akosma
87
590k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
93
17k
Into the Great Unknown - MozCon
thekraken
33
1.5k
How to Ace a Technical Interview
jacobian
276
23k
Unsuck your backbone
ammeep
669
57k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.2k
The Language of Interfaces
destraynor
154
24k
Statistics for Hackers
jakevdp
796
220k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Transcript
LLM×Cloud Runでオンライン薬局の 既存オペレーションを自動化した話 2023.09.23 # serverlessdays
(C)PharmaX Inc. 2023 All Rights Reserve 2 自己紹介 自己紹介 上野彰大
PharmaX共同創業者・エンジニアリング責任者 好きな料理はオムライスと白湯とコーラ マイブームはLLMとRust Twitter:@ueeeeniki
3 (C)PharmaX Inc. 2023 All Rights Reserve PharmaXのプロダクトの簡単な説明
(C)PharmaX Inc. 2023 All Rights Reserve 4 「薬局」は医療体験の中でも身近な存在 日用品から処方薬まで。「薬局」は皆さまの日常の近くに存在している ドラックストア
調剤薬局 実現したいこと
(C)PharmaX Inc. 2023 All Rights Reserve 5 医療体験を横断する2つの事業領域 PharmaXの 事業
YOJO事業 (OTC医薬品・健康食品) 未病・予防 治療 薬局DX事業 (医療用医薬品) オンライン薬局サービスを展開している
(C)PharmaX Inc. 2023 All Rights Reserve 6 LINEから利用できるバーチャルな薬局 最短 即日
※ お薬をもっと手軽に、もっと安心して受け取れる「 YOJO薬局」 お薬はお家までお届け LINEで薬剤師にいつでも相談 好きなときにお薬の説明 ※東京23区内のみ PharmaXの プロダクト
(C)PharmaX Inc. 2023 All Rights Reserve 7 ソフトウェアに閉じないプロダクト開発 PharmaXの プロダクト開発
独自の薬局オペレーションシステムを構築し、最適化されたオンライン薬局を実現 × 自社薬局をプロトタイプラボ化 ソフトウェア オペレーション リモート 薬剤師組織 薬局業務を効率化す るオペレーションシス テム(薬局OS) 質の高い患者さま対応 のためのオンライン特 化組織 対人業務の質を高め るための対物業務効 率化 「ソフトウェア×オペレーション×薬剤師組織」を プロダクトとして開発
(C)PharmaX Inc. 2023 All Rights Reserve 8 その他 BI インフラストラクチャー
フロントエンド バックエンド 技術スタック 開発環境 サービスに取り込むべき技術をプロダクト横断的に議論する場を設け、新しい技術も積極的に採用
(C)PharmaX Inc. 2023 All Rights Reserve 9 生成AI/LLMチームの立ち上げ 生成AI/LLMチームを立ち上げ複数のPoCを並行して行っている
10 (C)PharmaX Inc. 2022 All Rights Reserve 既存Applicationの概要
(C)PharmaX Inc. 2023 All Rights Reserve 11 医療体験を横断する2つの事業領域 PharmaXの 事業
YOJO事業 (OTC医薬品・健康食品) 未病・予防 治療 薬局DX事業 (医療用医薬品) オンライン薬局サービスを展開している
(C)PharmaX Inc. 2023 All Rights Reserve 12 Applicationの概要 Applicationの概要 Webでの問診等の提出、ビデオ通話、
LINEでの薬剤師とのチャットなどのオンライン完結薬局体験を提供
(C)PharmaX Inc. 2023 All Rights Reserve 13 オンライン薬局サービスのフロー 病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結 Applicationの概要
(C)PharmaX Inc. 2023 All Rights Reserve 14 インフラ構成 インフラ構成 CloudRunを中心としたサーバーレス構成でアプリケーションを構築している
15 (C)PharmaX Inc. 2023 All Rights Reserve LLMで受付業務および疑義照会を半自動化
(C)PharmaX Inc. 2023 All Rights Reserve 16 オンライン薬局サービスの概要 病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結
(C)PharmaX Inc. 2023 All Rights Reserve 17 オンライン薬局サービスの概要 病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結
(C)PharmaX Inc. 2023 All Rights Reserve 18 オンライン薬局サービスの概要 病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結
(C)PharmaX Inc. 2023 All Rights Reserve 19 メールやFAXで送っていただく場合などもあるが今回は対象としない クリニックとオンライン薬局の処方せんのやり取り オンライン薬局の
受付業務 Boxに医療機関ごとの共有フォルダ内に日付別に処方せんを格納いただく 医師 薬剤師 オンライン診療 オンライン服薬指導
(C)PharmaX Inc. 2023 All Rights Reserve 20 患者の連絡先に受付メッセージを送信 処方せんに記載の連絡先に受付用の SMS&メールを手動で送信する
(C)PharmaX Inc. 2023 All Rights Reserve 21 疑義照会とは何か? 疑義照会とは 医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること
• 赤枠の欄にその人に処方される医薬品名や 1日の服用数、 服用タイミング、合計の処方量などが記載されており、その 内容に従って薬剤師が調剤行う • 処方内容が間違っていることが多々あるため、医療事故を 防ぐために、指摘して処方せん内容を変更してもらうこと( = 疑義照会)薬局・薬剤師の重要な職務 ◦ 疑義照会の7、8割ぐらいが、法律に定められている処方量 とのズレ(1日の最大容量を超えた量が処方されているなど) や、単純な記載ミス ◦ 2割程度は、併用薬などを詳しく聞かないと分からない内容
(C)PharmaX Inc. 2023 All Rights Reserve 22 オンライン薬局サービスの概要 病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結
(C)PharmaX Inc. 2023 All Rights Reserve 23 オンライン薬局の受付フロー オンライン薬局の 受付業務
今回は特に②でAzure OpenAI ServiceのGPT-4 APIを用いている • ① 処方せん情報をテキストデータ化する • ② 処方せんのテキストデータからLLMで患者の連絡先情報を抽出する • ③ SMS&メールを自動で送信する
(C)PharmaX Inc. 2023 All Rights Reserve 24 ステップ①: 処方せん情報をテキストデータ化する クリニックから受け取った処方せんから
OCR(Document AI)でテキ ストを抽出する 処方せん画像をOCRでテキスト化したり、PDFデータからテキストを抽出したりする 医師 薬剤師 オンライン診療 オンライン服薬指導 ステップ①
(C)PharmaX Inc. 2023 All Rights Reserve 25 ステップ②: 処方せんから医薬品の処方情報を抜き出して構造化する ステップ②
処方せんのテキストデータから、連絡先情報を LLMに抽出させる { “電話” : “09012345678”, “メールアドレス” : “
[email protected]
” }
(C)PharmaX Inc. 2023 All Rights Reserve 26 オンライン薬局サービスの概要 病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結
(C)PharmaX Inc. 2023 All Rights Reserve 27 疑義照会とは何か? 疑義照会とは 医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること
• 赤枠の欄にその人に処方される医薬品名や 1日の服用数、 服用タイミング、合計の処方量などが記載されており、その 内容に従って薬剤師が調剤行う • 処方内容が間違っていることが多々あるため、医療事故を 防ぐために、指摘して処方せん内容を変更してもらうこと( = 疑義照会)薬局・薬剤師の重要な職務 ◦ 疑義照会の7、8割ぐらいが、法律に定められている処方量 とのズレ(1日の最大容量を超えた量が処方されているなど) や、単純な記載ミス ◦ 2割程度は、併用薬などを詳しく聞かないと分からない内容
(C)PharmaX Inc. 2023 All Rights Reserve 28 疑義照会の自動化に必要なステップ 疑義照会とは •
① 処方せん情報をテキストデータ化する • ② 処方せんのテキストデータからLLMで医薬品の処方情報を抜き出して構造化する • ③ 処方情報からその医薬品の添付文書を取得する • ④ 処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する 今回は特に②と④でAzure OpenAI ServiceのGPT-4 APIを用いている
(C)PharmaX Inc. 2023 All Rights Reserve 29 ステップ①: 処方せん情報をテキストデータ化する クリニックから受け取った処方せんから
OCR(Document AI)でテキ ストを抽出する 処方せん画像をOCRでテキスト化したり、PDFデータからテキストを抽出したりする 医師 薬剤師 オンライン診療 オンライン服薬指導 ステップ①
(C)PharmaX Inc. 2023 All Rights Reserve 30 ステップ②: 処方せんから医薬品の処方情報を抜き出して構造化する ステップ②
処方せん内の処方情報欄の形式はクリニックのシステムによって様々であるため抽出が難しい
(C)PharmaX Inc. 2023 All Rights Reserve 31 ステップ②: 処方せんから医薬品の処方情報を抜き出して構造化する ステップ②
処方せんのテキストデータから、処方情報を LLMに抽出させる
(C)PharmaX Inc. 2023 All Rights Reserve 32 ステップ②: 処方せんから医薬品の処方情報を抜き出して構造化する ステップ②
• 正規表現でいろんなパターンをマッチさせて引っ掛けて来る方 式もあり得ると思うが、複数あるテキストパターンから特定の 情報を抜き出すのは、正規表現では難しくなる • GPT-4のAPIを使って、処方せんのテキストから処方情報を JSON配列の形式で抽出する ◦ Few-Shotプロンプティングで例を与えることで十分構造 化可能 処方情報をJSON配列の形式に構造化して抽出する
(C)PharmaX Inc. 2023 All Rights Reserve 33 ステップ③: 処方情報からその医薬品の添付文書を取得する ステップ③
• PMDAの情報からスクレイピングなどで医薬品の添付 文書情報を取得し事前にDBなどに保存しておく ◦ 添付文書は定期的に変更されるので注意 • ②で構造化した情報の中の医薬品名で DBを検索し て、添付文章を取得する 事前に保存した添付文書を②で取得した薬名で検索して取得する
(C)PharmaX Inc. 2023 All Rights Reserve 34 • ②と③で取得した情報を埋めて GPT-4
APIに比較させる • 出力形式は、薬ごとに気になるポイントを比較するように支持 する ステップ④:処方情報とその医薬品の添付文書を 照らし合わせて疑義照会の文章を自動作成する ② ③ ステップ④ 処方情報と医薬品の添付文書を照らし合わせて疑義照会の文章を作成するように LLMに指示
(C)PharmaX Inc. 2023 All Rights Reserve 35 最終アウトプット ステップ④
(C)PharmaX Inc. 2023 All Rights Reserve 36 ステップ④:処方情報とその医薬品の添付文書を 照らし合わせて疑義照会の文章を自動作成する ステップ④
• 現場の薬剤師からすると細かすぎるところはあると思うが、かなり正確に指摘できている ◦ 人間からするとむしろ指摘が細かすぎるところの方が問題かもしれない • 手元で自作した数百枚の処方せんサンプルすべてに対して、 GPT-4のAPIに問い合わせた所、数 件を除いてほぼすべての処方せんで指摘漏れはなかった 処方せんのほとんどで正確に指摘できており、エラー率はかなり低い
37 (C)PharmaX Inc. 2022 All Rights Reserve 新アプリケーションの構成
(C)PharmaX Inc. 2023 All Rights Reserve 38 処理のフロー 新アプリケーションの概要 受付業務の自動化と疑義照会の半自動化を実現し、薬剤師の工数とエラー率を激減
(C)PharmaX Inc. 2023 All Rights Reserve 39 インフラ構成
(C)PharmaX Inc. 2023 All Rights Reserve 40 今後の改善ポイント • AzureとGCPを閉域接続する等、さらなるセキュリティの向上
• PDF以外の写真などの処方せん形式のOCR対応 ◦ 処方せんはクリニックからFAXで届くこともある • GPTからの出力のバリデーションと評価によるさらなるエラー率の減少
41 (C)PharmaX Inc. 2022 All Rights Reserve 今後の展開
(C)PharmaX Inc. 2023 All Rights Reserve 42 • 処方せん内容と服薬指導音声のを文字起こしし薬歴自動生成 •
薬剤師から患者へのメッセージサジェッション+レビュー • これまでの患者の経過や会話内容のサマリーの記載 • ローカルLLMの本番稼働 ◦ プライバシー保護やレイテンシー低下のためには、本来ローカルでLLMが動 かせるのが一番よい 今後やりたいことまとめ 今後の展開 アプリケーションに組み込めそうなアイディアがたくさんあり、並行して様々な PoCを実施中
(C)PharmaX Inc. 2023 All Rights Reserve 43 処方せん内容と服薬指導音声から薬歴自動生成① 今後の展開 薬歴は患者さんの情報を整理し、評価するために
SOAP形式で記載することが一般的
(C)PharmaX Inc. 2023 All Rights Reserve 44 処方せん内容と服薬指導音声から薬歴自動生成② 今後の展開 忙しい薬剤師からすると、十分なクオリティの薬歴を自動生成することができている
(C)PharmaX Inc. 2023 All Rights Reserve 45 薬剤師から患者へのメッセージサジェッション+レビュー 今後の展開 GPT-4のAPIでは過去の会話(文脈)も簡単に理解させることが出来る
46 (C)PharmaX Inc. 2022 All Rights Reserve 最後に
(C)PharmaX Inc. 2023 All Rights Reserve 47 • LLMとserverlessを活用したプロダクト事例としてオンライン薬局サービスをご紹介 した
◦ 医療のような規制産業でもserverlessをフル活用した新サービスを運用でき る ◦ LLMを使ってオペレーションを自動化できる • 非構造化データの多い医療のような領域では特にLLMによる効率化の効果が大き い ◦ LLMによってこれまではシステムが入り込めなかった領域をシステム化できる ようになった まとめ 最後に
(C)PharmaX Inc. 2023 All Rights Reserve 48 PharmaXでも勉強会を積極実施中 最後に
(C)PharmaX Inc. 2023 All Rights Reserve 49 個人で運営しているコミュニティでも勉強会を実施中 最後に