OpenAI DevDayから1ヶ月〜LLM開発はどう変わった？

by PharmaX（旧YOJO Technologies）開発チーム

Slide 1

Slide 1 text

OpenAI Dev Dayから1ヶ月 LLM開発はどう変わったか 2024.1.25 # studyco

Slide 2

Slide 2 text

（C）PharmaX Inc. 2023 All Rights Reserve 2 自己紹介自己紹介上野彰大 PharmaX共同創業者・エンジニアリング責任者好きな料理はオムライスと白湯とコーラマイブームはLLMとRust Twitter：@ueeeeniki

Slide 3

Slide 3 text

（C）PharmaX Inc. 2023 All Rights Reserve 3 自社でもLLMの勉強会を複数開催自己紹介

Slide 4

Slide 4 text

4 （C）PharmaX Inc. 2023 All Rights Reserve はじめに

Slide 5

Slide 5 text

（C）PharmaX Inc. 2023 All Rights Reserve 5 本発表のスコープや注意事項についてはじめにあくまで弊社内での実験結果や個人の感想を中心にお話します ● OpenAI Dev Dayで発表されたAPI群を使ってみての感想や困りポイントなどをお伝えします ○ すべてのAPIについて話せるわけではありませんがご容赦ください（後述） ● 発表者個人の感想や予想を多分に含みますので、できる限りファクトと個人的意見は分けてお伝えしますが、分からなければご質問ください ○ ファクトである場合でもあくまでPharmaXでの結果に過ぎず他社にどの程度あてはまるかは不明です ○ 本発表の内容を引用する際にはファクトと発表者の意見を区別してお伝え下さい ● できる限りPharmaXでのリアルな事例や実験結果をお伝えしますが、より詳しく聞きたい方やお困りごとについて議論したい方は是非 DM等いただければ幸いです

Slide 6

Slide 6 text

（C）PharmaX Inc. 2023 All Rights Reserve 6 本発表で話すこと・話さないことはじめに Dev Dayで発表された物の中にもかなり強弱をつけてお話します ● 詳しく話すもの ○ GPT-4 Turbo、GPT-4V、Whisper large-v3についてはリアルな事例や実験結果をお話します ● ほんの少し話すもの ○ GPTs、Assistants APIについては触ってみた程度なので、感想や今後の展開予想をお話します ● ほとんど話さないもの ○ fuine-tuning、DALLE-3、Text to Speachはほとんど触れられていないのであまり話しません

Slide 7

Slide 7 text

（C）PharmaX Inc. 2023 All Rights Reserve 7 前提とする知識や対象者はじめに従来のAPIとの細かい比較なども出てくるので、一定の事前知識を仮定します ● 少しでもLLMを使ってアプリケーション開発をされたことがあることを前提とします ○ LLMとは何？RAGとは何？などのLLM関連の基礎知識は詳細は説明いたしません ○ OpenAIのDevDayの内容そのものも多少はキャッチアップいただいている前提 ● できれば企業レベルでの本格的な PoCや本番リリースを経験されていることが望ましいです ○ 経験があるとPharmaXの事例がより想像しやすいかと思います ● LLMアプリケーション開発に直接携わっているエンジニアや PdMの方をメインターゲットと想定しています ○ 一方でコードはあまり出てこないので、何となく理解できれば問題ありません

Slide 8

Slide 8 text

8 （C）PharmaX Inc. 2023 All Rights Reserve 注意事項

Slide 9

Slide 9 text

（C）PharmaX Inc. 2023 All Rights Reserve 9 個人情報の扱いについてはじめに個人情報の扱いに関しては、責任を負いかねますのでくれぐれもご注意ください ● このLTで発表する事例は「技術的な可能性」を示すものであり、参考にされた方や企業の個人情報保護の問題などについては責任を負いかねます ● 今回お見せするデータにはすべてサンプルであり、今後各自で同様の情報発信する際には、データの扱いを十分検討の上、自社の規定等に従ってください ● 特に医療の個人情報は要配慮個人情報にあたり、厳重な扱いが求められますので、くれぐれも扱いにはご注意ください ○ OpenAIやAzure、AWS、GCPへの情報送信が要配慮個人情報の第三者提供に当たると判断される場合、オプトイン形式でのプライバシーポリシーへの同意が必須となるため、過去のユーザーのデータを扱う場合にも十分お気をつけてください ○ OpenAIやAzure、AWS、GCPへの情報送信が第三者提供に当たるかどうかは解釈が分かれるところですので、各社専門家の方との相談の上、ご判断ください

Slide 10

Slide 10 text

10 （C）PharmaX Inc. 2023 All Rights Reserve OpenAI Dev Dayの振り返り

Slide 11

Slide 11 text

（C）PharmaX Inc. 2023 All Rights Reserve 11 OpenAI Dav Dayの総括はじめに OpenAI DevDayで発表された内容は下記の通りで、かなり衝撃的な内容も多かった ● 高性能でコンテキストサイズの大きい安価な GPT-4 Turboの登場 ● GPT-4がfine-tuning可能になることで、高性能なモデルをカスタマイズ可能に ● GPTsやAssistant APIと言った誰もがLLMアプリケーションを簡単に作れるようにする AI民主化施策が開始 ● DALL-E 3、GPT-4 with Vision、TTSなどの言語以外の入出力モデルの改善と登場し、 ”真の”マルチモーダルの世界に近づいた

Slide 12

Slide 12 text

12 （C）PharmaX Inc. 2023 All Rights Reserve PharmaXのプロダクトの簡単な説明

Slide 13

Slide 13 text

（C）PharmaX Inc. 2023 All Rights Reserve 13 「薬局」は医療体験の中でも身近な存在日用品から処方薬まで。「薬局」は皆さまの日常の近くに存在しているドラックストア調剤薬局実現したいこと

Slide 14

Slide 14 text

（C）PharmaX Inc. 2023 All Rights Reserve 14 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業（漢方メインのOTC医薬品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している処方せん不要処方せん必要

Slide 15

Slide 15 text

（C）PharmaX Inc. 2023 All Rights Reserve 15 LINEから利用できるバーチャルな薬局最短即日 ※ お薬をもっと手軽に、もっと安心して受け取れる「 YOJO薬局」お薬はお家までお届け LINEで薬剤師にいつでも相談好きなときにお薬の説明 ※東京23区内のみ PharmaXのプロダクト

Slide 16

Slide 16 text

（C）PharmaX Inc. 2023 All Rights Reserve 16 ソフトウェアに閉じないプロダクト開発 PharmaXのプロダクト開発独自の薬局オペレーションシステムを構築し、最適化されたオンライン薬局を実現 × 自社薬局をプロトタイプラボ化ソフトウェアオペレーションリモート薬剤師組織薬局業務を効率化するオペレーションシステム（薬局OS）質の高い患者さま対応のためのオンライン特化組織対人業務の質を高めるための対物業務効率化「ソフトウェア×オペレーション×薬剤師組織」をプロダクトとして開発

Slide 17

Slide 17 text

（C）PharmaX Inc. 2023 All Rights Reserve 17 その他 BI インフラストラクチャーフロントエンドバックエンド技術スタック開発環境サービスに取り込むべき技術をプロダクト横断的に議論する場を設け、新しい技術も積極的に採用

Slide 18

Slide 18 text

（C）PharmaX Inc. 2023 All Rights Reserve 18 生成AI/LLMチームの立ち上げ生成AI/LLMチームを立ち上げ複数のPoCを並行して行っている

Slide 19

Slide 19 text

19 （C）PharmaX Inc. 2022 All Rights Reserve Applicationの概要

Slide 20

Slide 20 text

（C）PharmaX Inc. 2023 All Rights Reserve 20 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業（漢方メインのOTC医薬品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している処方せん不要

Slide 21

Slide 21 text

（C）PharmaX Inc. 2023 All Rights Reserve 21 医療アドバイザーに体調のことをいつでも気軽に相談できる相談型医療体験 30種類以上の漢方薬からあなたに合ったものを月毎に提案パーソナライズ漢方薬定期的に漢方をお届けし、一人ひとりに寄り添うかかりつけ医療を提供継続的なかかりつけ一生涯にわたって寄り添うかかりつけ漢方薬局「YOJO」 PharmaXの事業

Slide 22

Slide 22 text

（C）PharmaX Inc. 2023 All Rights Reserve 22 Applicationの概要 Applicationの概要

Slide 23

Slide 23 text

（C）PharmaX Inc. 2023 All Rights Reserve 23 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業（漢方メインのOTC医薬品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している処方せん必要

Slide 24

Slide 24 text

（C）PharmaX Inc. 2023 All Rights Reserve 24 Applicationの概要 Applicationの概要 Webでの問診等の提出、ビデオ通話、 LINEでの薬剤師とのチャットなどのオンライン完結薬局体験を提供

Slide 25

Slide 25 text

（C）PharmaX Inc. 2023 All Rights Reserve 25 オンライン薬局サービスのフロー病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結 Applicationの概要

Slide 26

Slide 26 text

26 （C）PharmaX Inc. 2023 All Rights Reserve 薬剤師のチャットの自動生成

Slide 27

Slide 27 text

（C）PharmaX Inc. 2023 All Rights Reserve 27 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業（漢方メインのOTC医薬品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している

Slide 28

Slide 28 text

（C）PharmaX Inc. 2023 All Rights Reserve 28 今回対象とするアプリケーション「作成可」ボタンを押すと LLMによってサジェストされる

Slide 29

Slide 29 text

（C）PharmaX Inc. 2023 All Rights Reserve 29 プロンプト一部抜粋 Chat Completion APIに過去の会話履歴を与えることで、文脈を理解したサジェストを可能にしている

Slide 30

Slide 30 text

（C）PharmaX Inc. 2023 All Rights Reserve 30 function-callingでチャット以外のタスクを提案する管理画面から行うチャット以外の操作を提案する購入したいと言われたら、管理画面上に「購入ボタンを送信してください」と出るようなイメージ

Slide 31

Slide 31 text

31 （C）PharmaX Inc. 2023 All Rights Reserve Dev DayでGPT-4 Turboが登場

Slide 32

Slide 32 text

（C）PharmaX Inc. 2023 All Rights Reserve 32 ● 大幅なコンテキストサイズの拡大とコストの低下 ○ 128Kのコンテキストウィンドウをサポート ○ GPT-4と比較して、入力トークンの価格が 3倍、出力トークンの価格が2倍安く ● Function Callingの精度改善 ● JSONモードの登場 ○ （バグはあるようだが）有効なJSON形式で返答されることが担保される ○ 通常モードでも特定のフォーマット生成する精度が向上 ● 公式には発表されていないが、速度が向上したとの事例報告もある ○ 一方、速度については遅くなった、速度は今後改善する予定との記事もある GPT-4 Turboモデルの注目ポイント GPT-4 Turboの登場でLLMを圧倒的に活用しやすくなった

Slide 33

Slide 33 text

（C）PharmaX Inc. 2023 All Rights Reserve 33 OpenAIのモデルの進化様々なユースケースに対応可能なコンテキストサイズに拡張、コスパも向上 GPT-3.5 Turbo GPT-4 (8k) GPT-4 Turbo GPT-4 (32k) コスト/1k tokens コンテキストサイズ Input: $0.0015 or $0.003 Output: $0.002 or $0.004 4,096 or 16,385 tokens Input: $0.03 Output: $0.06 8,192 tokens Input: $0.06 Output: $0.12 32,768 tokens Input: $0.01 output: $0.03 128,000 tokens

Slide 34

Slide 34 text

（C）PharmaX Inc. 2023 All Rights Reserve 34 JSONモードが完璧ではないとの報告がある JSONモードにはバグがあるとの報告を複数発見 https://x.com/nrryuya_jp/status/1729681573140639979

Slide 35

Slide 35 text

（C）PharmaX Inc. 2023 All Rights Reserve 35 ● DevDayを境にChatGPTは劇的に速くなったと多くの人が言っている ● 遅くなったという見解もある ○ https://community.openai.com/t/is-gpt4-turbo-preview-now-slower-than-gp t-4/555383 ○ https://zenn.dev/yutotakenaka/articles/d70b0e006b3858 ● DevDayでスピードの改善は今後の課題とサム・アルトマンも言及したようだ ○ https://note.com/sayah_media/n/n88f7bd71cc9b GPT-4 Turboの速度について速度についてはいくつかの異なる意見があるので、大幅な改善は次期モデルを待つべしか

Slide 36

Slide 36 text

36 （C）PharmaX Inc. 2023 All Rights Reserve Dev DayでGPT-4 Turbo登場後チャットとチャット以外のタスクの呼び出し精度向上

Slide 37

Slide 37 text

（C）PharmaX Inc. 2023 All Rights Reserve 37 CPT-4 Turboを使ってみての感想・考察 ● コンテキストサイズの拡大により、かなり過去のチャットまで遡って読み込ませる事が可能になった ○ PharmaXのプロダクトのような数ヶ月にも渡って継続的にチャットを行うサービスでは、すぐにコンテキストサイズが数千〜数万 tokenになってしまっており、過去の文脈をすべて含ませることは難しくサマリーするなどの必要があった ● 統計データを取った訳ではないが、 APIでの劇的な応答速度の向上は感じていない ○ 数千〜数万tokenを与えると、200文字程度のチャットの生成にまだ 10秒程度かかるので、さらなる速度の向上を期待したい ● function-callingの精度が向上したことで、チャットだけではなく、チャット以外の管理画面の操作も高精度でサジェストできる可能性が高まった CPT-4 Turboが出たことで、活用の幅が大きく広がった

Slide 38

Slide 38 text

（C）PharmaX Inc. 2023 All Rights Reserve 38 GPT-4 Turboになっての変化 ● 最終的には薬剤師が内容をチェック＆修正して送ることを想定しており、完全な自動化を目指しているわけではない ○ GithubのCopilotのようなイメージで使いたいのだが、 GPT-4ではコストが高すぎてペイしなかった ● 将来的にかなりの精度でサジェストすることができて、値段も安くなれば、薬剤師がほとんど修正しなくてもいいようなレベルまで達すれば、ユーザーとのトーク画面に入った時点でサジェッションを始めるようにすることなどで劇的な生産性の向上を実現したい ○ Copilotのように書いている途中までの内容も読み取ってその続きを生成するということもできるようになると、さらに生産性の向上に寄与しそう CPT-4 Turboが出たことで、ペイするラインに乗ってきた

Slide 39

Slide 39 text

（C）PharmaX Inc. 2023 All Rights Reserve 39 さらなる精度・速度の向上と値段の低下は期待できそう ● さらなる速度の向上と値段の低下は期待できそうで、プロダクションでも活用する事例がさらに増えそう ○ 精度的にはGPT-4が必要だが、コストが高くて使用を断念した企業も使えるように ○ 費用の懸念から無理に精度の低いモデルに押し込めようとする工夫は近い将来あまり意味をなさなくなりそう ● function-callingの精度がさらに向上すると期待しているし、 PharmaXに取ってはインパクトが大きい ○ functionを呼び出せるということは、管理画面上で行うチャット以外の操作も半自動化できる可能性があるということ ● 速度が変われば劇的にUXが改善して遥かに使いやすくなる（速度が改善しないと使われない） CPT-4 Turboの今後の展開予想

Slide 40

Slide 40 text

（C）PharmaX Inc. 2023 All Rights Reserve 40 今後作りたいLLMアプリケーションのイメージ https://speakerdeck.com/masatoto/llmmarutiezientowofu-kan-suru 今後は、ユーザーの対応場面によって、プロンプトや与えるデータを切り替えていく想定

Slide 41

Slide 41 text

（C）PharmaX Inc. 2023 All Rights Reserve 41 このセクションのサマリーサマリー ● GPT-4 Turboの登場により、読み込ませることのできるチャット数が増え、より過去の文脈も正しく取らえたチャットのサジェッションができるようになった ● function-callingの精度向上により、チャット以外のタスクもサジェスト・半自動化できるようになるので、今後の精度向上に期待 ● UX上一番重要なのは速度であり、速度が圧倒的に速くなれば、サジェスト機能はより使われるようになるだろう精度向上、コンテキストサイズの増大、価格の低下インパクトは大きい、後は速度向上に期待

Slide 42

Slide 42 text

（C）PharmaX Inc. 2023 All Rights Reserve 42 評価・実験管理周りについてもまとめている https://speakerdeck.com/pharma_x_tech/llmahurikesiyonnoping-jia-shi-yan-guan-li-nituitenozhi-jian-womatometemita

Slide 43

Slide 43 text

43 （C）PharmaX Inc. 2023 All Rights Reserve LLMで疑義照会を半自動化

Slide 44

Slide 44 text

（C）PharmaX Inc. 2023 All Rights Reserve 44 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業（漢方メインのOTC医薬品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している

Slide 45

Slide 45 text

（C）PharmaX Inc. 2023 All Rights Reserve 45 オンライン薬局サービスの概要サービスのフロー病院・クリニックの受診後、薬局に行くことなく薬局体験がオンラインで完結

Slide 46

Slide 46 text

（C）PharmaX Inc. 2023 All Rights Reserve 46 FAXで送っていただく場合などもあるが今回は対象としないクリニックとオンライン薬局の処方せんのやり取りオンライン薬局の受付業務 Boxに医療機関ごとの共有フォルダ内に日付別に処方せんを格納いただく医師薬剤師オンライン診療オンライン服薬指導

Slide 47

Slide 47 text

（C）PharmaX Inc. 2023 All Rights Reserve 47 疑義照会とは何か？疑義照会とは医師が発行した処方せんの間違いなどを発見し、医師に問い合わせること ● 赤枠の欄にその人に処方される医薬品名や 1日の服用数、服用タイミング、合計の処方量などが記載されており、その内容に従って薬剤師が調剤行う ● 処方内容が間違っていることが多々あるため、医療事故を防ぐために、指摘して処方せん内容を変更してもらうこと（＝疑義照会）薬局・薬剤師の重要な職務 ○ 疑義照会の7、8割ぐらいが、法律に定められている処方量とのズレ（1日の最大容量を超えた量が処方されているなど）や、単純な記載ミス ○ 2割程度は、併用薬などを詳しく聞かないと分からない内容処方情報

Slide 48

Slide 48 text

（C）PharmaX Inc. 2023 All Rights Reserve 48 疑義照会の自動化に必要なステップ疑義照会とは ● ① 処方せん情報をテキストデータ化する ● ② 処方せんのテキストデータから医薬品の処方情報を抜き出して構造化する ● ③ 処方情報からその医薬品の添付文書を取得する ● ④ 処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する今回は①のOCRでDocument AIを、②と④のテキスト抽出&作成でGPT-4を使用していた

Slide 49

Slide 49 text

（C）PharmaX Inc. 2023 All Rights Reserve 49 ステップ①：処方せん情報をテキストデータ化するクリニックから受け取った処方せんから OCR（Document AI）でテキストを抽出する OCRで処方せん画像からテキストを抽出する医師薬剤師オンライン診療オンライン服薬指導ステップ① 処方情報

Slide 50

Slide 50 text

（C）PharmaX Inc. 2023 All Rights Reserve 50 ステップ① 処方情報欄の形式はシステムによって様々であるため意味ある単位での抽出が難しいステップ①：処方せん情報をテキストデータ化する処方情報

Slide 51

Slide 51 text

（C）PharmaX Inc. 2023 All Rights Reserve 51 従来のOCR AIの問題点ステップ① 従来のOCRは構造で情報の塊を捉えるため適切な単位で情報が抽出されないことがある処方情報本来捉えたい情報の塊情報が分割されてしまう情報が上記のように分割されてしまうと、抽出したテキストから、① 薬名・摂取タイミングと② 1日の摂取量と処方量を対応付ける処理をしなければならず、対応付けの間違いが起こる可能性がある

Slide 52

Slide 52 text

（C）PharmaX Inc. 2023 All Rights Reserve 52 ステップ②：処方せんから医薬品の処方情報を抜き出して構造化するステップ② 処方せんのテキストデータから、処方情報を LLMに抽出させる処方情報

Slide 53

Slide 53 text

（C）PharmaX Inc. 2023 All Rights Reserve 53 ステップ③：（AI不要）処方情報からその医薬品の添付文書を取得するステップ③ ● PMDAの情報からスクレイピングなどで医薬品の添付文書情報を取得し事前にDBなどに保存しておく ○ 添付文書は定期的に変更されるので注意 ● ②で構造化した情報の中の医薬品名で DBを検索して、添付文章を取得する事前に保存した添付文書を②で取得した薬名で検索して取得する

Slide 54

Slide 54 text

（C）PharmaX Inc. 2023 All Rights Reserve 54 ● ②と③で取得した情報を埋めて GPT-4 APIに比較させる ● 薬ごとに疑義する（医師に問い合わせる）べき内容を出力するステップ④：処方情報とその医薬品の添付文書を照らし合わせて疑義照会の文章を自動作成する ② ③ ステップ④ 処方情報と医薬品の添付文書を照らし合わせて疑義照会の文章を作成するように GPTに指示

Slide 55

Slide 55 text

（C）PharmaX Inc. 2023 All Rights Reserve 55 最終アウトプットステップ④

Slide 56

Slide 56 text

56 （C）PharmaX Inc. 2023 All Rights Reserve Dev DayでGPT-4Vが登場

Slide 57

Slide 57 text

（C）PharmaX Inc. 2023 All Rights Reserve 57 GPT-4 TurboとGPT-4V GPT-4Vについて ChatGPTでは画像も送れるため勘違いされがちだが、 APIでGPT-4 TurboとGPT-4Vは別物

Slide 58

Slide 58 text

（C）PharmaX Inc. 2023 All Rights Reserve 58 GPT-4VのAPIの使い方 Typeを指定して、テキストも画像（複数枚可）も送ることができる Base64でも送信可能 GPT-4Vについて

Slide 59

Slide 59 text

（C）PharmaX Inc. 2023 All Rights Reserve 59 GPT-4Vの注目すべき注意点 ChatGPTでは画像も送れるため勘違いされがちだが、 APIのGPT-4 TurboとGPT-4Vは別物 ● function-callingやJSONモードは使えない ○ 例えば画像から構造化された情報を取得しようとすると、一度 GPT-4Vで抽出し、もう一度 GPT-4 Turboに投げなければならない ● ChatGPTでは対応しているファイル形式のほとんど（ PDFなど）にAPIは対応していない ○ PNG、JPEG、WEBP、GIFの形式のファイルしか使用することができない ● 日本語は苦手らしい ○ 「日本語や韓国語など、ラテン文字以外のテキストを含む画像を処理する場合、モデルが最適に動作しない可能性がある」と公式ドキュメントに記載 ● その他、アップロードできる画像は 20MBまで、画像のメタデータは解釈できない等 GPT-4Vについて

Slide 60

Slide 60 text

（C）PharmaX Inc. 2023 All Rights Reserve 60 GPT-4Vの注意点下記記事にもまとめているので参考にしてください https://note.com/pharmax/n/n0fc5176c3007 GPT-4Vについて

Slide 61

Slide 61 text

61 （C）PharmaX Inc. 2023 All Rights Reserve Dev Day GPT-4V（GPT-4V with vision）登場後 OCRもGPTシリーズで完結

Slide 62

Slide 62 text

（C）PharmaX Inc. 2023 All Rights Reserve 62 Dev Day以前の処理のフローアプリケーションの処理フロー DocumentAIを使ってOCRを実現していた

Slide 63

Slide 63 text

（C）PharmaX Inc. 2023 All Rights Reserve 63 従来のOCR AIの問題点ステップ① 従来のOCRは構造で情報の塊を捉えるため適切な単位で情報が抽出されないことがある処方情報本来捉えたい情報の塊情報が分割されてしまう情報が上記のように分割されてしまうと、抽出したテキストから、① 薬名・摂取タイミングと② 1日の摂取量と処方量を対応付ける処理をしなければならず、対応付けの間違いが起こる可能性がある

Slide 64

Slide 64 text

（C）PharmaX Inc. 2023 All Rights Reserve 64 従来のOCR AIと比べてGPT-4Vが優れている点ステップ① GPT-4Vは（おそらく）意味の単位で捉えることができるので正しい情報の塊で抽出される GPT-4Vを使えば、処方情報を正しく構造化することまでが可能になる一方で、GPT-4同様にJSON形式であることを担保はしてくれないので、確実にJSONにするにはGPT-4 Turboを挟む必要がある処方情報本来捉えたい情報の塊

Slide 65

Slide 65 text

（C）PharmaX Inc. 2023 All Rights Reserve 65 DevDay後の処理のフロー GPT-4Vでテキストの抽出と構造化は可能だが、 JSONモードのGPT-4 Turboを最後に挟むアプリケーションの処理フロー処方情報の抽出精度が高まり JSONでの出力が担保されたが結局ステップ数は変わっていない

Slide 66

Slide 66 text

（C）PharmaX Inc. 2023 All Rights Reserve 66 GPT-4V & GPT-4 Turboを使ってみての考察・感想 ● 処方せん程度なら元がかなりクリアな画像でも 1枚処理あたり数円程度、疑義照会タスク全体でも 10円程度で薬剤師が1枚チェックするのに10〜20秒かかれば同程度のコスト ● GPT-4Vで意味の単位で情報を抽出することができ、処方情報の抽出・構造化ミスが減少 ○ 一方、処方情報が正しく構造化されていた場合には、疑義照会の指摘ミスは元からかなり少なかったこともあり、エラー率が大幅に減少したわけではない（感想） ● 日本語は苦手という記載が公式ドキュメントにあったが、一定の書式に従っていて手書きでもない処方せんでは問題なくデータを抽出することができた ○ 他の資料でも文字が明瞭な場合は日本語でも十分読み取れたとの報告あり（https://chatgpt-lab.com/n/n9322bab6f6f3） ○ 手書きでは大きく精度が低下するということはありそう（予想） PharmaXのユースケースでは、GPT-4Vを使った画像処理は十分運用に乗る可能性がある

Slide 67

Slide 67 text

（C）PharmaX Inc. 2023 All Rights Reserve 67 OCRにはGPT-4Vを使っていないという事例もある UXの要請が厳しい場合には、GPT-4V & GPT-4 Turboの活用は限界があるのだろうか（中略） https://tech.layerx.co.jp/entry/aiocr-in-llm-2023 ● 非同期対応でOKなオンライン薬局の疑義照会は処理時間が問題にならないが、素早いレスポンスが求められる場合は使用が難しいのだろうか ○ LayerXさんのようにユーザーが請求書をアップロードし、すぐに構造化が必要という場合には、 GPT-4V&GPT-4 Turboでは時間がかかり過ぎるということかもしれない ● また、最悪の場合医薬品情報の調査が必要な疑義照会と比べて、請求書を手打ちするだけなら元からそこまで時間がかかっているわけではないので、もう少しコストが下がる必要もあるのだろうか

Slide 68

Slide 68 text

（C）PharmaX Inc. 2023 All Rights Reserve 68 GPT-4 TurboとGPT-4Vの今後の展開予想 ● GPT-4 Turboそのものがすでにマルチモーダルモデルだとの勘違いも散見されるが、 GPT-4 TurboはText to Text、GPT-4VではText & Image to Textであり、現時点では他の形式特化の複数のAPIを組み合わせることで初めて”真の”マルチモーダルが実現する ○ ちなみにGeminiは組み合わせではなく1つのマルチモーダルモデルだと言われている ● 今後は1つのAPIで複数の入・出力形式を扱えるようになるだろうと予想 ○ OpenAIもあらゆる形式の入力に対応可能な 1つのモデルを構築してくるだろうが、一部 APIの裏側で呼び出すモデルを振り分けるという可能性はありそう ● 各タスク・各入出力形式単体で見ると OpenAIのモデルの群が精度が現時点では優秀だと感じるので、OpenAIのモデルがマルチモーダル化したら、 Geminiなどその他のモデルを超えるだろうと予想 OpenAIは、GPT-4Vから”真の”マルチモーダルモデルへと進んでいくだろう

Slide 69

Slide 69 text

（C）PharmaX Inc. 2023 All Rights Reserve 69 現時点でのGemini Proとの比較今回の要件では現時点では、GPT-4Vに軍配が上がった ● 今回の処方せんのOCR→情報の抽出・構造化タスクでは、 GPT-4Vの方が遥かに高い性能を示した ○ Gemini Proでは、情報が正しく抽出されない、そもそも指示を聞いてくれないというケースが多々見られた ● OCRや日本語の指示によるタスクなど複数の要素が組み合わされているため、タスク単体（文字列の抽出）では異なる結果になるかもしれない ● 今回試したプロンプトがGPTに最適化するように試行したものだったので、 Gemini Pro用に試行を繰り返せば違った結果になった可能性はある ○ 複雑なタスクではプロンプトが長くなるので、プロンプトの最適化による差分は大いはず ○ 将来的にモデルが賢くなれば、プロンプトの書き方による差分はなくなっていく？

Slide 70

Slide 70 text

（C）PharmaX Inc. 2023 All Rights Reserve 70 Gemini Proの日本語性能 https://wandb.ai/wandb-japan/llm-leaderboard/reports/Nejumi-Leaderboard-Neo--Vmlldzo2MTkyMTU0 GPT-4とは日本語性能の差でより差が開いてみえたという可能性もありそう

Slide 71

Slide 71 text

（C）PharmaX Inc. 2023 All Rights Reserve 71 このセクションのサマリーサマリー ● GPT-4Vに処方せん画像から処方情報のテキストの抽出と構造化が同時に行えるようになり、処方情報の抽出・構造化のエラー率は低下した ● JSON形式であることを担保しようとすると、 GPT-4Vからの出力をさらにGPT-4 Turboをかませる必要があるのでステップ数は減っていないが、フロー全体がエラーなく完結する確率は大幅に上がった ○ モデルが統合されたら、ステップ数も減らせるだろう ● GPT-4VのAPIは、現時点では読み込ませられる画像形式に制限がある（ PDFは不可）など、課題も多いので注意が必要現時点ではGPT-4Vを使うことで劇的に改善したわけではないが将来のポテンシャルは感じた

Slide 72

Slide 72 text

72 （C）PharmaX Inc. 2023 All Rights Reserve LLMによる服薬指導音声から薬歴の自動生成PoC

Slide 73

Slide 73 text

（C）PharmaX Inc. 2023 All Rights Reserve 73 服薬指導とは何か？薬剤師が処方薬を販売する際に正しい服薬方法や処方薬についての注意点などを説明すること服薬指導音声例1 服薬指導音声例2 薬剤師：こんにちは患者：こんにちは薬剤師：こんにちは。今日は気分の落ち込みとかですか？患者：そうですね、はい薬剤師：もっと他に具体的にどういった症状が出ておりますか？患者：結構夜眠れなかったりとか、、、（略）薬剤師：はい、上野さんお待たせしました。今日はどうされましたか？患者：えーっと、ちょっと便秘で、あのー病院の先生に薬を出してもらいました薬剤師：はい、ありがとうございます。そうなんですね。はい、では、あのー、今日は 3種類の、、、（略）

Slide 74

Slide 74 text

（C）PharmaX Inc. 2023 All Rights Reserve 74 薬歴とは何か？薬歴とは服薬指導で話した内容や他の薬剤師への引き継ぎ事項などを記載した文章のこと ● 薬歴はSOAP形式でまとめる ○ Subjective (S)（主観的所見）: 患者さん自身が感じている症状や問題を記録する部分 ○ Objective (O)（客観的所見）: 検査結果や観察による客観的なデータを記録する部分 ○ Assessment (A)（評価）: SubjectiveとObjectiveの情報をもとに、患者さんの病状や薬物治療の効果・副作用を評価する部分 ○ Plan (P)（計画）: 評価をもとに、今後の治療方針や薬物療法の変更、患者さんへの指導内容など、具体的なアクションプランを立てる部分

Slide 75

Slide 75 text

（C）PharmaX Inc. 2023 All Rights Reserve 75 薬歴の記入を自動化する意義薬歴とは薬剤師の負担を劇的に軽減できる ● 忙しい薬局だと処方箋の受付が落ち着くまで、薬歴を書くことができないので、今まで自分が受け持った患者さんの薬歴をまとめて記入しなければならないことが多々ある ● その結果、薬歴を書くまでに時間が空いてしまうので、正確な内容を記録できなかったり、残業につながってしまう ● 服薬指導した音声から薬歴が自動で生成できれば、薬剤師の負担を大幅に削減することが可能

Slide 76

Slide 76 text

（C）PharmaX Inc. 2023 All Rights Reserve 76 服薬指導音声から薬歴内容を自動生成する手順 ● ① 処方せん情報をテキストデータ化する ● ② 処方せんのテキストデータから医薬品の処方情報を抜き出して構造化する ● ③ 服薬指導の音声の録音からWhisperで文字起こしする ○ 必要があれば、患者と薬剤師で話者分離する ● ④ ②の処方情報と、③の服薬指導内容の文字起こしから GPTで薬歴の内容を自動生成する

Slide 77

Slide 77 text

（C）PharmaX Inc. 2023 All Rights Reserve 77 ステップ①：処方せん情報をテキストデータ化するクリニックから受け取った処方せんから OCR（Document AI）でテキストを抽出する OCRで処方せん画像からテキストを抽出する医師薬剤師オンライン診療オンライン服薬指導ステップ① 処方情報

Slide 78

Slide 78 text

（C）PharmaX Inc. 2023 All Rights Reserve 78 ステップ②：処方せんから医薬品の処方情報を抜き出して構造化するステップ② 処方せんのテキストデータから、処方情報を LLMに抽出させる処方情報

Slide 79

Slide 79 text

（C）PharmaX Inc. 2023 All Rights Reserve 79 ステップ③：服薬指導の音声の録音からWhisperで文字起こしする Whisper単体では話者分離ができないので、話者の区別なく文字起こしされる今日は薬が2種類出ております咳の症状で受診されたんですかねそうですねはい分かりましたありがとうございますじゃあまず一つ目のアストミンという薬をご説明させていただきますこれは咳を止める薬ですで、埋食後に1回2錠飲んでくださいもし咳が治まってくるようであれば無理に 5日分飲まなくても大丈夫ですので咳に調節して飲んでくださいもう1個目が・・・（中略）・・・他に何か気になられているところはございますかいや大丈夫ですはい承知しましたじゃあのお大事になさってくださいはいありがとうございます。ステップ③

Slide 80

Slide 80 text

（C）PharmaX Inc. 2023 All Rights Reserve 80 ステップ④： ②の処方情報と③の文字起こしからGPTで薬歴を自動生成する S: 患者は咳と喉の痛みの症状で受診。 O: 1. アストミン錠10mg (1日6錠、分3 毎食後、 5日分) 2. SPトローチ0.25mg 「明治」 (外用、医師の指示通り、15錠) A: 咳と喉の痛みの症状に対して、咳止め薬と喉の痛みを取る薬が処方されている。 P: 1. アストミン錠10mgは、毎食後に1回2錠服用するよう指導。咳が治まってくるようであれば、無理に5日分飲まなくても大丈夫と説明した。 2. SPトローチ0.25mgは、1日6回を目安に1 回1錠を口の中に含んで、噛み砕かずに少しずつ溶かすように使うよう指導。症状が良くなったら無理に飲まなくても大丈夫と説明した。話者分離をせず、文字起こししたままの textをGPTに与えても、かなり丁寧な服薬指導内容を生成することが可能ステップ④

Slide 81

Slide 81 text

（C）PharmaX Inc. 2023 All Rights Reserve 81 ステップ③：服薬指導の音声の録音を話者ダイアライゼーションする ● pyannoteで音声ファイルをdiarization→diarizationされたそれぞれのファイルをWhisper 文字起こし ○ pyannoteは音声ファイルから話者ダイアライゼーションされた音声データを作成するのによく使われるライブラリ ○ 話者ダイアライゼーションされた時にデータの欠損などが起こってしまうことやあまり精度が高くないことが欠点話者ダイアライゼーションのアプローチには複数考えられるが、今回は pyannoteを使った方法を共有ステップ③

Slide 82

Slide 82 text

（C）PharmaX Inc. 2023 All Rights Reserve 82 ステップ③パターン1：服薬指導の音声の録音をpyannoteで話者ダイアライゼーションする音声ファイルをpyannoteで処理すると、ラベル付けされて 1つずつのwavファイルに分割されて保存される [ 00:00:04.277 --> 00:00:04.547] C SPEAKER_01 [ 00:00:05.273 --> 00:00:05.982] D SPEAKER_01 [ 00:00:09.947 --> 00:00:16.005] A SPEAKER_00 [ 00:00:16.731 --> 00:00:29.995] E SPEAKER_01 [ 00:00:32.948 --> 00:00:42.837] F SPEAKER_01 [ 00:00:44.102 --> 00:00:47.697] G SPEAKER_01 [ 00:00:48.389 --> 00:00:55.982] H SPEAKER_01 [ 00:01:01.450 --> 00:01:02.985] I SPEAKER_01 [ 00:01:09.955 --> 00:01:11.659] J SPEAKER_01 [ 00:01:12.182 --> 00:01:17.295] B SPEAKER_00 話者は番号で識別される SPEAKER_01: はい SPEAKER_01: ではさあ SPEAKER_00: 便秘で病院の先生に薬を出してもらいました。 SPEAKER_01: 今日は3種類の薬が出ておりますので、お薬の説明させていただきますまず一つ目がモビコール配合内容剤ということでこちらは便秘の薬ですね SPEAKER_01: 便の排出を促す薬ですので、 1日に1回の朝夕食後に飲んでください SPEAKER_01: そのうち朝2方になっているんですけどちゃんと便が出るようだったら夜は飲まなくて大丈夫ですのでよろしくお願いいたします ……（略） GPTで文字起こしステップ③

Slide 83

Slide 83 text

（C）PharmaX Inc. 2023 All Rights Reserve 83 ステップ③パターン1：服薬指導の音声の録音をpyannoteで話者ダイアライゼーションする pyannoteで話者ダイアライゼーションするのはかなり限界があると感じた ● 特に男性&男性の音声では、会話内容の欠落がかなり起こってしまっており、さらにラベリングの間違いも多々発生している ○ 情報の欠落が激しく、話者ダイアライゼーションしない場合と比べても薬歴の生成内容の質が低くなってしまった ● 男性&女性の音声、男性&男性の音声では、音質に大きな違いはないが、男性 &女性の音声の方がきれいに話者ダイアライゼーションされた結果となった ○ 男性と女性の声質は区別しやすいから話者ダイアライゼーションしやすいということがあるのだろうか？ステップ③

Slide 84

Slide 84 text

（C）PharmaX Inc. 2023 All Rights Reserve 84 ステップ③パターン2： GPTを用いてWhisperの出力文章から話者分離文字起こしした会話内容を与える患者: はい薬剤師: みなさんお待たせしました薬剤師: 今日はどうされましたか患者: 便秘で病院の先生に薬を出してもらいました患者: ありがとうございます薬剤師: そうなんですね薬剤師: 今日は3種類の薬が出ておりますので薬剤師: 薬の説明させていただきます薬剤師: まず一つ目がモビコール配合内容剤ということで薬剤師: こちらは便秘の薬ですね薬剤師: 便の排出を促す薬ですので薬剤師: 1日に1回の朝夕食後に飲んでください Whiperから出力された文章を GPTでラベリングすることは可能だが、最終的な薬歴の精度はほぼ変化なしステップ③

Slide 85

Slide 85 text

85 （C）PharmaX Inc. 2023 All Rights Reserve Dev DayでWhisper Large Model-v3が登場

Slide 86

Slide 86 text

（C）PharmaX Inc. 2023 All Rights Reserve 86 Whisper Large Model-v3について精度が上がって対応言語が増えるなど、シンプルに v2からパワーアップしたと考えれば良い ● アクセント、背景ノイズ、専門用語への堅牢性が向上し、これまで以上の複数言語にも対応可能になった ● モデルのインターフェース（入力・出力形式）は変わっていないので、使用方法などの変更は不要

Slide 87

Slide 87 text

87 （C）PharmaX Inc. 2023 All Rights Reserve Dev Day Whisper Large Model-v3 登場後〜文字起こし精度が向上〜

Slide 88

Slide 88 text

（C）PharmaX Inc. 2023 All Rights Reserve 88 Whisper Large Model-v3を使ってみての感想・考察 ● 文字起こし精度は向上したが、元から薬歴生成精度は高かったので、劇的な精度の向上は見られなかった ○ 薬歴はサマリーであるという性質上、 v2で上手く文字起こしできていない箇所もある程度文脈を補って薬歴を生成してくれているので十分精度が高い ○ v3になることでクリティカルな情報を文字起こしし損ねることは減るだろうことを考えるともちろんポジティブ ● GPT-4 Turboで話者分離する精度も向上したように感じたが、こちらも元から薬歴生成精度は高かったため、話者分離が劇的な薬歴生成精度向上に寄与したようには感じられない ○ 元より話者分離すること自体が薬歴生成の精度にそこまでポジティブな影響を与えていないので当然の結果だろう文字起こし精度が向上したところで、元から高い薬歴生成精度の劇的な向上は見られない

Slide 89

Slide 89 text

（C）PharmaX Inc. 2023 All Rights Reserve 89 Whisper Large Model-v3の今後の展開予想 ● 今後は順当にノイズや専門用語への堅牢性もアップし、精度は向上するだろう ● 話者分離の機能はどこかのタイミングでネイティブサポートされると予想 ○ マルチモーダル化したタイミングで、音声情報だけではなく、文脈も理解した話者分離が可能になり、話者分離の精度もかなり高いものが登場すると予想する ○ 複数人の会議等の複雑な場面でも十分な精度のサマリーや重要情報の抽出などが可能になるのではないだろうか Whisper・音声認識AIは今後も順当に精度向上するだろう

Slide 90

Slide 90 text

90 （C）PharmaX Inc. 2022 All Rights Reserve GPTsとAssistant API

Slide 91

Slide 91 text

（C）PharmaX Inc. 2023 All Rights Reserve 91 GPTsとAssistant APIはAI民主化のための施策 AIを作りやすく、使いやすくすることで、多くの人に AIでの成功体験を積ませる https://speakerdeck.com/shunsukeono_am/openai-devdaykarakao-eru-generative-aiye-jie-nochao-liu

Slide 92

Slide 92 text

92 （C）PharmaX Inc. 2022 All Rights Reserve 今後の注目トレンド＆トレンド予想

Slide 93

Slide 93 text

（C）PharmaX Inc. 2023 All Rights Reserve 93 ● 主要なモデルのマルチモーダル化 ○ マルチモーダルになることで各タスクの精度も上がると想定 ● 小さく高精度、高速なモデルがローカルで動く世界がやってきて圧倒的に UXが改善する ○ phi-2などの小さく高精度のモデル研究が増えた ■ 元データを高品質にするとモデルも小さくできるという研究が増えた ○ 究極はスマホやVRデバイス上で動く世界が5年以内にやってくる ● OpenAIは，GPTsやAssitant APIなどのLLMの民主化施策も同時並行で進めるだろう ○ OpenAIが目指すのはデバイス上でAIが動き、人とAIが対話する世界 ○ そのための地慣らしとして、AIの民主化にも布石を打つのではないか今後の注目トレンド＆トレンド予想今後の展開 UXにインパクトを与えるような進化に注目している

Slide 94

Slide 94 text

94 （C）PharmaX Inc. 2022 All Rights Reserve 最後に

Slide 95

Slide 95 text

（C）PharmaX Inc. 2023 All Rights Reserve 95 ● PharmaXの事例では、Dev Dayでの発表はかなりポジティブな影響を受けた ○ チャンスの拡大に気がついている人とそうでない人の格差が広がる一方 ● 今後もモデルの高速化・軽量化・低価格が進み圧倒的に LLMを活用しやすくなるだろう ○ エッジ・ローカルで高速なモデルが動くようになれば UXに革命が起こる ○ 一方で、今各社が作っているアプリケーションの promptがGPTに最適化されている場合、気軽に他のモデルに変更できないという問題は起こりそう ● function-callingやマルチモーダル化をすることで、半 or 完全自動化できるタスクの幅はかなり広がるだろう ○ ビジネスの肝になるところから投資を行い、自動化するタスクをドミノ倒しのように拡げていく必要があるだろうまとめ最後に

Slide 96

Slide 96 text

（C）PharmaX Inc. 2023 All Rights Reserve 96 来月はLLMの評価についての勉強会やります最後に