LLMを活用してオンライン薬局の オペレーションを自動化した話 2024.02.16 # devsumi

（C）PharmaX Inc. 2024 All Rights Reserve 2 自己紹介 上野彰大 PharmaX共同創業者・エンジニアリング責任者 好きな料理はオムライスと白湯とコーラ マイブームはLLMとRust Twitter：@ueeeeniki

（C）PharmaX Inc. 2024 All Rights Reserve 3 自社でもLLMの勉強会を複数開催 自己紹介

（C）PharmaX Inc. 2024 All Rights Reserve 4 趣味で勉強会コミュニティStudyCoも運営 自己紹介

5 （C）PharmaX Inc. 2024 All Rights Reserve はじめに

（C）PharmaX Inc. 2024 All Rights Reserve 6 本発表のスコープや注意事項について PharmaXでLLMアプリケーションとして取り組んで来たことや今後の展望をお話します ● PharmaXで取り組んできたこと、今後のどのようなことをやっていきたいのかについて中心にお 話します ○ 個人的な感想や考えを多分に含みます ○ 参考にされた方や企業の個人情報保護の問題などについては責任を負いかねます ● このLTは技術的可能性を示すものであり、参考にされた方や企業の個人情報保護の問題など については責任を負いかねます ● できる限りPharmaXでのリアルな事例や実験結果をお伝えしますが、より詳しく聞きたい方やお 困りごとについて議論したい方は是非 DM等いただければ幸いです

（C）PharmaX Inc. 2024 All Rights Reserve 7 前提とする知識 ● LLMの基礎知識は説明しません ○ AIのモデルについての基礎知識もあることが望ましい ● 少しでもLLMを使ってアプリケーション開発した経験があることがあることが望ましい ● できればLLMアプリケーションを本番運用した経験があるとより話の内容が想像つくと思います LLMのアプリケーション開発の一定の事前知識を仮定します

8 （C）PharmaX Inc. 2024 All Rights Reserve PharmaXのプロダクトの簡単な説明

（C）PharmaX Inc. 2024 All Rights Reserve 9 「薬局」は医療体験の中でも身近な存在 日用品から処方薬まで。「薬局」は皆さまの日常の近くに存在している ドラックストア 調剤薬局

（C）PharmaX Inc. 2024 All Rights Reserve 10 医療体験を横断する2つの事業領域 YOJO事業 （漢方メインのOTC医薬品） 未病・予防 治療 薬局DX事業 （医療用医薬品） オンライン薬局サービスを展開している 処方せん不要 処方せん必要

（C）PharmaX Inc. 2024 All Rights Reserve 11 LINEから利用できるバーチャルな薬局 最短 即日 ※ お薬をもっと手軽に、もっと安心して受け取れる「 YOJO薬局」 お薬はお家までお届け LINEで薬剤師にいつでも相談 好きなときにお薬の説明 ※東京23区内のみ

（C）PharmaX Inc. 2024 All Rights Reserve 12 ソフトウェアに閉じないプロダクト開発 独自の薬局オペレーションシステムを構築し、最適化されたオンライン薬局を実現 × 自社薬局をプロトタイプラボ化 ソフトウェア オペレーション リモート 薬剤師組織 薬局業務を効率化す るオペレーションシス テム（薬局OS） 質の高い患者さま対応 のためのオンライン特 化組織 対人業務の質を高め るための対物業務効 率化 「ソフトウェア×オペレーション×薬剤師組織」を プロダクトとして開発

（C）PharmaX Inc. 2024 All Rights Reserve 13 生成AI/LLMチームの立ち上げ 生成AI/LLMチームを立ち上げ複数のPoCを並行して行っている

14 （C）PharmaX Inc. 2024 All Rights Reserve LLMで疑義照会を半自動化

（C）PharmaX Inc. 2024 All Rights Reserve 15 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業 （漢方メインのOTC医薬品） 未病・予防 治療 薬局DX事業 （医療用医薬品） オンライン薬局サービスを展開している 処方せん不要 処方せん必要

（C）PharmaX Inc. 2024 All Rights Reserve 16 オンライン薬局サービスの概要 サービスのフロー 病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

（C）PharmaX Inc. 2024 All Rights Reserve 17 FAXで送っていただく場合などもあるが今回は対象としない クリニックとオンライン薬局の処方せんのやり取り オンライン薬局の 受付業務 Boxに医療機関ごとの共有フォルダ内に日付別に処方せんを格納いただく 医師 薬剤師 オンライン診療 オンライン服薬指導

（C）PharmaX Inc. 2024 All Rights Reserve 18 疑義照会とは何か？ 疑義照会とは 医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること ● 赤枠の欄にその人に処方される医薬品名や 1日の服用数、服用 タイミング、合計の処方量などが記載されており、その内容に 従って薬剤師が調剤行う ● 処方内容が間違っていることが多々あるため、医療事故を防ぐた めに、指摘して処方せん内容を変更してもらうこと（ ＝疑義照会） 薬局・薬剤師の重要な職務 ○ 疑義照会の7、8割ぐらいが、法律に定められている処方量とのズ レ（1日の最大容量を超えた量が処方されているなど）や、単純な 記載ミス ○ 2割程度は、併用薬などを詳しく聞かないと分からない内容 処方情報

（C）PharmaX Inc. 2024 All Rights Reserve 19 疑義照会の自動化に必要なステップ 疑義照会とは ● ① 処方せん情報から医薬品の処方情報を抜き出して構造化する ● ② （構造化したテキストをJSON化する） ● ③ 処方情報からその医薬品の添付文書を取得する ● ④ 処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する 今回は①でGPT-4V、②、④でGPT-4 Turboを使用した

（C）PharmaX Inc. 2024 All Rights Reserve 20 処方情報欄の形式はシステムによって様々であるため意味ある単位での抽出が難しい 処方情報 ステップ①&②： 処方せん情報から医薬品の処方情報を抜き出して構造化する

（C）PharmaX Inc. 2024 All Rights Reserve 21 GPT-4Vで処方せん情報から医薬品の処方情報を抜き出して構造化する 処方情報 GPT-4VはJSON形式であることを 担保してはくれないので、 確実にJSONにするにはGPT-4 Turboを挟む必要がある ステップ①&②： 処方せん情報から医薬品の処方情報を抜き出して構造化する

（C）PharmaX Inc. 2024 All Rights Reserve 22 ステップ①&②： 従来のOCR AIの問題点 従来のOCRは配置で情報の塊を捉えるため適切な単位で情報が抽出されないことがある 処方情報 本来捉えたい情報の塊 情報が分割されてしまう 情報が上記のように分割されてしまうと、抽出したテキストから、① 薬名・摂取タイミングと② 1日の摂取量と処方量を対応付ける処理 をしなければならず、対応付けの間違いが起こる可能性がある

（C）PharmaX Inc. 2024 All Rights Reserve 23 ステップ①&②： 従来のOCR AIと比べてGPT-4Vが優れている点 GPT-4Vは（おそらく）意味の単位で捉えることができるので正しい情報の塊で抽出される GPT-4Vを使えば、処方情報を正しく構造化することまでが可能に なる 処方情報 本来捉えたい情報の塊

（C）PharmaX Inc. 2024 All Rights Reserve 24 ステップ③：（AI不要） 処方情報からその医薬品の添付文書を取得する ● PMDAの情報からスクレイピングなどで医薬品の添付 文書情報を取得し事前にDBなどに保存しておく ○ 添付文書は定期的に変更されるので注意 ● ②で構造化した情報の中の医薬品名で DBを検索し て、添付文章を取得する 事前に保存した添付文書を②で取得した薬名で検索して取得する

（C）PharmaX Inc. 2024 All Rights Reserve 25 ● ①②と③で取得した情報を埋めて GPT-4 APIに比較させる ● 薬ごとに疑義する（医師に問い合わせる）べき内容を出力する ステップ④：処方情報とその医薬品の添付文書を 照らし合わせて疑義照会の文章を自動作成する ①&② ③ 処方情報と医薬品の添付文書を照らし合わせて疑義照会の文章を作成するように GPTに指示

（C）PharmaX Inc. 2023 All Rights Reserve 26 最終アウトプット

（C）PharmaX Inc. 2024 All Rights Reserve 27 DevDay後の処理のフロー GPT-4Vでテキストの抽出と構造化は可能だが、 JSONモードのGPT-4 Turboを最後に挟む アプリケーションの 処理フロー

（C）PharmaX Inc. 2024 All Rights Reserve 28 まとめと今後の発展への期待 LLMによってほぼ修正が必要ないレベルの疑義照会を作成させることができた ● 疑義照会を薬剤師が軽くチェックして送信すればレベルまで半自動化することができた ● GPT-4Vで意味の単位で情報を抽出することができ、処方情報の抽出・構造化ミスが減少した が、JSON化を担保するためにGPT-4Turboも挟む必要がある ○ 日本語は苦手という記載が公式ドキュメントにあったが、一定の書式に従っていて手書きでもない処 方せんでは問題なくデータを抽出することができた ● フロー全体で10円程度で薬剤師の手間とコストを考えるとペイする可能性がある ● マルチモーダルなモデルに統合され JSONモードなども使えるようになることに期待

29 （C）PharmaX Inc. 2024 All Rights Reserve 薬剤師チャットcopilot

（C）PharmaX Inc. 2024 All Rights Reserve 30 医療体験を横断する2つの事業領域 YOJO事業 （漢方メインのOTC医薬品） 未病・予防 治療 薬局DX事業 （医療用医薬品） オンライン薬局サービスを展開している 処方せん不要 処方せん必要

（C）PharmaX Inc. 2024 All Rights Reserve 31 医療アドバイザーに体調 のことをいつでも気軽に相 談できる 相談型医療体験 30種類以上の漢方薬からあ なたに合ったものを月毎に 提案 パーソナライズ漢方薬 定期的に漢方をお届けし、 一人ひとりに寄り添うかか りつけ医療を提供 継続的なかかりつけ 一生涯にわたって寄り添うかかりつけ漢方薬局「YOJO」

（C）PharmaX Inc. 2024 All Rights Reserve 32 今回対象とするアプリケーション 「作成可」ボタンを押すと LLMによってサジェストされる

（C）PharmaX Inc. 2024 All Rights Reserve 33 今回対象とするアプリケーション ● 管理画面上でボタンを押す（ショートカットキーをタイプする）とチャットがサジェストされる ○ Chat Completions APIで対象ユーザーによってプロンプトを切り替えてサジェストさせている ● 最終的には薬剤師が内容をチェック＆修正して送ることを想定しており、完全な自動化を目指して いるわけではない ○ GithubのCopilotのようなイメージで使いたい ● 将来的にかなりの精度でサジェストすることができて、薬剤師がほとんど修正しなくてもいいような レベルまで達すれば、ユーザーとのトーク画面に入った時点でサジェッションを始めるようにするこ となども可能になるだろう ○ 現時点ではそこまでの精度ではないので、薬剤師の自由意志で使用して FBを集めている段階 薬剤師にチャットの返答をサジェッションするために LLMを活用している

（C）PharmaX Inc. 2024 All Rights Reserve 34 プロンプト一部抜粋 Systemプロンプトには大前提、 Userプロンプトには場面ごとに特に気をつけるべきことを入れている Systemプロンプト 以下の条件に従って返信してください。 前提： ・あなたの役割は、PharmaX株式会社のYOJOというサービスのかかりつけ薬剤師です。健康や漢方の専門家として、常にユーザーの 感情に寄り添いアドバイスをします。 ...（略） Userプロンプト 対応の基本方針： ・おすすめの漢方薬をよりきちんと提案できるように適宜質問を行ってください。 ・「検討します」とすぐに購入意欲がないような返答をされた方には、それ以上強く営業しすぎないようにしてください。 …（略）… 上記に気をつけながら私があなたが提案する漢方の選択について納得が行くように、共感しながら深掘り質問を行ってください。

（C）PharmaX Inc. 2024 All Rights Reserve 35 プロンプト一部抜粋 Chat Completion APIに過去の会話履歴を与えることで、文脈を理解したサジェストを可能にしている

（C）PharmaX Inc. 2024 All Rights Reserve 36 OpenAIのモデルの進化による恩恵 GPT-4 Turboの登場で長い文脈も読み込ませられるようになった GPT-3.5 Turbo GPT-4 (8k) GPT-4 Turbo GPT-4 (32k) コスト/1k tokens コンテキストサイズ Input: $0.0015 or $0.003 Output: $0.002 or $0.004 4,096 or 16,385 tokens Input: $0.03 Output: $0.06 8,192 tokens Input: $0.06 Output: $0.12 32,768 tokens Input: $0.01 output: $0.03 128,000 tokens

（C）PharmaX Inc. 2024 All Rights Reserve 37 今後は、ユーザーの対応場面によって、プロンプトや与えるデータを切り替えていく想定 今後作りたいLLMアプリケーションのイメージ

（C）PharmaX Inc. 2024 All Rights Reserve 38 サジェストされた内容の評価 サジェストされた内容の評価を行うことで、プロンプトやデータの与え方の良し悪しを判定＆自動修正 ● 以下のような観点でサジェストされた内容の評価を行っている ○ 医療的に間違っていない内容を伝えていないか ○ ユーザーの話に共感できているか ○ 文書作成マニュアルに従っているか ○ サジェストされた内容を薬剤師がどの程度修正して送ったか【送信時の評価】 …etc ● サジェストされた内容を評価することで、プロンプトやデータの与え方を修正した際にその修正が 良かったのかを判定している＆もし評価が一定の基準を下回った場合に自動修正することも実 現しようとしている ○ 1度生成した内容をある観点から修正させる方がタスクとしての難易度は低い

（C）PharmaX Inc. 2024 All Rights Reserve 39 まとめと今後の発展への期待 LLMによって薬剤師のチャットをサジェストさせており、今後もさらなる進化をさせて行きたい ● 薬剤師のチャットのサジェストを行い、薬剤師の生産性を向上させることができた ● GPT-4 Turboの登場により、読み込ませることのできるチャット数が増え、過去の文脈もより正 しく取らえたチャットのサジェッションができるようになった ● サジェスト結果の評価→自動修正や場面判定を自動化することで、薬剤師がほぼ修正しなくて もいいような高精度なサジェストを実現しようとしている ● UX上一番重要なのは速度であり、速度が圧倒的に速くなれば、サジェスト機能はより使われる ようになるため、ローカルモデルの発展に期待している

40 （C）PharmaX Inc. 2022 All Rights Reserve まとめ

（C）PharmaX Inc. 2023 All Rights Reserve 41 ● LLMを活用して患者とのチャットや疑義照会など薬剤師のオペレーションを半自動化し、生産性を 向上させることができた ○ 本発表では扱わなかったが、薬歴の記載の自動化など、その他のオペレーションも自動化可能 ● エージェントを組み合わせ、評価の仕組みも導入することでさらなる自動化を目指している ● さらなるコストの低下、コンテキストサイズの減少、スピードの向上によって、より LLMの活用の幅 が広がるだろう まとめ アプリケーションで本番運用した知見はまだ少ないのでどんどん出てくると嬉しい