ChatGPTと医療の現在地 (ver.August-31, 2023)

Transcript

1. ChatGPTと医療の現在地 [⼤切な御共有] 変化が⼤変速い分野です。 下記から1ヶ⽉以上空いている場合には、恐れ⼊りますがご⾃⾝でも最新の情報をご確認ください。 first published on: 2023/7/10, last updated on: 2023/8/31 アイリス株式会社 沖⼭ 翔
2. ChatGPTの出現と⽴ち位置 1 個⼈利⽤の⽅法 2 医学⾯の性能 3 社会的意義の考察 4
3. 3 再配布・2次利⽤は 可 です。 サム・アルトマン、イーロン・マス クらが⽴ち上げた OpenAI社 ChatGPT(3.5)が、2022年11⽉に 無料開放 ChatGPT ChatGPTの出現 images cited on: July. 1, 2023, from: OpenAI - https://openai.com/blog/chatgpt
4. 4 再配布・2次利⽤は 可 です。 ChatGPT以前と、ポストChatGPT 時代の医療 “ChatGPTは、医師にとって 聴診器よりも重要な存在になる” スタンフォード⼤ 医学部教授 Robert M. Pearl （専⾨：組織⾏動論） images cited on: July. 1, 2023, from: Stanford University - https://www.gsb.stanford.edu/faculty-research/faculty/robert-m-pearl
5. 5 再配布・2次利⽤は 可 です。 ChatGPTとUSMLE（⽶国医師国家試験） (2022.12) USMLEで合格のボーダー付近に到達した GPT 3.5モデルでの検証 Harvard MGH, ブラウン⼤学, OpenAIほか 研究チームはオールスター “Potential for AI-Assisted Medical Education” タイトルへの配慮と妙 Kung TH, et al. Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models. medRxiv. 2022:2022.12.19.22283643.
6. 6 再配布・2次利⽤は 可 です。 進化のペースに注意 「古いぞ。2021年までの情報しか学習してない」 ChatGPT その後：「リアルタイム検索できるようになりました」 「本当か嘘か判断できない」 ChatGPT その後：「ソースを表⽰できるようになりました」
7. 7 再配布・2次利⽤は 可 です。 進化のペースに注意 「⽶国医師国家試験には、まだ受かってない」 ChatGPT 「合格しました」 ChatGPT その後： 「トップレベルに近い点数で合格しました」 「・・・」 その後：「Step 1, 2, 3 すべてに合格しました」 ChatGPT
8. 8 再配布・2次利⽤は 可 です。 進化のペースに注意 23 images cited on July. 1, 2023 and edited (graph merged) by presenter (Google Research - https://sites.research.google/med-palm/ ) この間、3ヶ⽉ USMLE 合格ライン
9. 9 再配布・2次利⽤は 可 です。 なお⽇本の医師国家試験にも合格 ⾦沢⼤学 野村先⽣ほか による研究（右図） 2021年度の問題によるプロンプトチューニングの後に、 2022年度の問題で性能評価を⾏った 臨床・⼀般・必修問題すべてに合格。 ChatGPT(3.5)は禁忌肢を多数選択 images cited on: July. 1, 2023, from: 読売新聞 - https://www.yomiuri.co.jp/science/20230509-OYT1T50319/ Tanaka Y, et al. Performance of Generative Pretrained Transformer on the National Medical Licensing Examination in Japan. medRxiv. Published online April 24, 2023:2023.04.17.23288603.
10. 10 再配布・2次利⽤は 可 です。 ChatGPTの医療⽤途 事前問診 患者向け 説明⽂の作成 薬剤飲合せ の確認 禁忌薬剤 の確認 会議の 議事録取り メール の作成 先⾏研究 のまとめ 新規論⽂の ⾃動収集 鑑別診断 の列挙 治療候補 の列挙 献⽴の⽴案 医療記録から のSOAP分離 アイディア 出し 履歴書添削 論⽂の要約 FAQ形式 での要約 電⼦カルテ の記述補助 退院要約・ 診断書の作成 在宅リハビリ 計画の作成 当直シフト 作成 図表の作成 関数・マクロ の作成 ⽂書の翻訳 英⽂校閲 診察・診療 パラメディカル領域 事務作業 情報収集・論⽂執筆
11. 11 再配布・2次利⽤は 可 です。 ChatGPTの医療⽤途（分類） 創造的 （成果への⾃由度が⾼い） 発散的（候補を沢⼭出す） リハビリ計画素案 図表の作成 鑑別診断の列挙 退院要約作成 会議の議事録取り 情報の検索 献⽴の⽴案 アイディア出し 収束的（出⼒は⼀つ） 機械的 （期待成果が明瞭） ⾃由対話 ⽂書の校正 問診 カウンセリング ⽂書の翻訳
12. 12 再配布・2次利⽤は 可 です。 ChatGPT以外の、⼤規模⾔語モデル (LLM = Large Language Models) Zhao WX, et al. A Survey of Large Language Models. arXiv:230318223. Published online June 29, 2023. 2017 Transformer 〜 〜 ⾚枠2箇所は追記。 他は論⽂より引⽤
13. 13 再配布・2次利⽤は 可 です。 モデルと学習データセットの統合（Meta社 “LLaMA” の例） • 緑線：モデルの統合 • ⻘線：学習データ統合 Zhao WX, et al. A Survey of Large Language Models. arXiv:230318223. Published online June 29, 2023.
14. 14 再配布・2次利⽤は 可 です。 3つのワード：AI、⽣成系AI、⼤規模⾔語モデル（LLM）の関係 AI全般 ディープラーニングを⽤いたAI ⽣成系AI LLMとその製品 • ChatGPT • Bard • Bing ではここは？ • 画像の読影AI • ⾃動運転 • 囲碁AI など ⼤規模⾔語モデル (LLM = Large Language Models) （⽣成系AI以外の⾊々）
15. 15 再配布・2次利⽤は 可 です。 様々な「⽣成系AI」 画像の⽣成 動画の⽣成 ⾳楽の⽣成 ⾳声の⽣成 指⽰に応じた画像をAIが⽣成。 「こういう感じの画像を作って」と伝えても 良いし、元となる画像を⽤意して加⼯させる のも可 指⽰に応じた動画をAIが⽣成。 「こういう感じの動画を作って」も可、 元動画を⽤意して変換させるのも可 ⾳楽に欲しい要素を指⽰するとAIが⽣成。 テンポやコードなどの具体的指⽰も良いし、 「明るくて華やかな感じ」なども可 元となる⼈の⾳声をアップロードし、 次にテキストを打ち込むと、 その⼈の声で読み上げをする 例) Midjourney (同), Stable Diffusion (Stability AI) 例) Gen-2 (Runway), Phenaki (Google) 例) Jukebox (OpenAI), Music Gen (Meta) 例) VALL-E (Microsoft), Voicebox (Meta) ChatGPTは元々、上記の並びの⼀つである「テキストの⽣成」に属するAI。 この「テキスト⽣成系のAI」モデルのことを⼤規模⾔語モデル（LLM）と総称する
16. 16 再配布・2次利⽤は 可 です。 ⼤規模⾔語モデル（LLM）の開発プロセス ⼤量の学習データ 「そのへん」から、 ある限りもってくる ⼤規模⾔語モデル 例：GPT, LLaMA, LaMDA, PaLM 事前学習 個別化 (fine tuning) ⼀般会話⽤ ChatGPT Google Bard 医療⽤ Hippocratic AI Glass AI その他にも特化型LLMは沢⼭ … BioGPT PubMedGPT で学習
17. 17 再配布・2次利⽤は 可 です。 LLM（⼤規模⾔語モデル）の学習元データ ウェブサイトが中⼼で、会話データや書籍由来もあり。 ただし会話データや書籍の中⾝、データ由来までは公開されていないものも Zhao WX, et al. A Survey of Large Language Models. arXiv:230318223. Published online June 29, 2023.
18. 18 再配布・2次利⽤は 可 です。 OpenAI社の求⼈情報 “年俸 2億円” （137万ドル）
19. ChatGPTの出現と⽴ち位置 1 個⼈利⽤の⽅法 2 医学⾯の性能 3 社会的意義の考察 4
20. 20 再配布・2次利⽤は 可 です。 Step 1. https://chat.openai.com → [Sign up] からアカウント作成 Step 2. 右図の⾚枠から質問 以上、無料ですぐに利⽤可能 有料オプション • ⽉額20ドルで下記メリット • GPT-3.5より性能の⾼い、GPT-4 の利⽤ • 応答が速くなる • 「プラグイン（※後述）」が使える はじめて ChatGPT を使う⼿順
21. 21 再配布・2次利⽤は 可 です。 ChatGPT のよくある利⽤例とコツ ◯字で要約して ⽇本語に翻訳して メールの返信を書いて アイディアを◯個出して 「箇条書きで」 「⼦供でもわかるように」 「専⾨⽤語には脚注を」 「XXのときは質問して」 ⻑⽂のテキストを与えると、 定められた字数以内に要約 してくれます。 単なる⾔語翻訳でよければ、 Google翻訳やDeepLをおす すめします。 ChatGPTでは「◯字以内 で」や「関⻄弁で」などの 追加注⽂ができます。 メールを貼付する場合、後 述のセキュリティ対策に加 えて、最低でもメールアド レスや固有名詞ほか秘密情 報を削除するなどの対策を 強く推奨します。 「キャッチコピーを100個 出して」などのリクエスト を遠慮なく出せる点は、⼈ 間との明確な差別化要素で す。 アウトプットの体裁も指⽰ することができます。 「結論、理由、具体例の形 式でまとめて」や「表形式 で◯◯と対⽐して」などの 指⽰も可能です。 語彙の選び⽅や⽂体が、く だけて分かりやすくなりま す。 「⼦供」→「10歳」など具 体的に指⽰するほどAIとの 意思疎通が上⼿にできます。 ⼤⼈だが専⾨外の⼈に読ま せる⽂書を作りたいときに は、指⽰すれば脚注をつけ てくれます。 ChatGPTはそのままだと原 則的に単回で答える仕様。 「追加の情報が必要な場合 は質問して」と伝えておく と、最終的に良い成果にた どり着きやすくなります。
22. 22 再配布・2次利⽤は 可 です。 1. Settings（設定）から “OFF” にする（右記 ⾚部） 2. フォームから申請する • “ChatGPT オプトアウト” で検索し、google forms へ • 1-2分で終わる⼿続きです 3. API 経由で利⽤する • エンジニア向け選択肢。詳細略 ⼊⼒データをAIが学習に使わないようにするオプション 個⼈情報を “うっかり” ⼊れてしまったときのため、 セキュリティ対策としていずれかを実施推奨
23. 23 再配布・2次利⽤は 可 です。 「プラグイン」の登場 (2023.3) • OpenAI以外の会社が開発した、「ChatGPT⽤ 機能拡張アプリ」のこと • 「ウェブ検索」や「宿泊施設予約」など、あらゆるアプリが数百個存在 有料版ChatGPTのみで利⽤可能 （事前にSettingsからPluginsを有効化） プラグインストア。ここから選択してインストール
24. 24 再配布・2次利⽤は 可 です。 プラグインの例①：「WebPilot」によるWeb検索 • ここでは PubMed を指定し、時期、テーマを指⽰しての論⽂検索
25. 25 再配布・2次利⽤は 可 です。 プラグインの例②：「Tabelog（⾷べログ）」による店舗検索 • 実際の予約可能状況と⼀致 • AIの⼣⾷どきは18:30-20:00 (???) images cited on July. 1, 2023, from: ⾷べログ - https://tabelog.com/
26. 26 再配布・2次利⽤は 可 です。 プラグインの例③：「Show Me Diagrams」による図⽰ • 2つのプラグイン（検索 + 図⽰）のコンビネーションもChatGPTが⾃⾝で判断
27. 27 再配布・2次利⽤は 可 です。 東京都：全部局にてChatGPTの導⼊と利⽤開始の⽅針を発表 (2023.7) 会議報告書の要約や、資料への想定FAQ作成 ほかを想定 8⽉にも全部局で導⼊を予定 使⽤にあたって機密情報の⼊⼒は禁⽌ & ⼊⼒情報をAIに学習させない設定 セキュリティ対策 「プラス⾯とマイナス⾯を⾒極めながら、 様々な⾏政分野での活⽤を進めていきたい」 デジタルサービス局 images cited on: July. 15, 2023, from: NHK - https://www3.nhk.or.jp/news/html/20230715/k10014130661000.html
28. 28 再配布・2次利⽤は 可 です。 霞が関：機密情報も⽤いたChatGPTの活⽤ (2023.7) マイクロソフトを通じたChatGPTの利⽤契約 政府での活⽤が念頭 データサーバーは⽇本国内のものを利⽤ 機密情報の取り扱い ChatGPTをマイクロソフトが海外展開するのは 欧州に続き⽇本が2番⽬、アジア初の事例 世界で2番⽬、アジアで初 images cited on: August. 3, 2023, from: ⽇本経済新聞 - https://www.nikkei.com/article/DGXZQOUA277M40X20C23A7000000/
29. 29 再配布・2次利⽤は 可 です。 「コード・インタプレター」の登場と衝撃 (2023.7) • OpenAI⾃⾝が開発した、データ分析と可視化に特徴をもった独⾃プラグイン その後 “Advanced Data Analysis” に名称変更 有料版ChatGPTのみで利⽤可能 （事前にSettingsから設定を有効化） • ChatGPTが、プログラミングコードやExcelデータを「読める」 • データを「分析する」。 Python の「コードを書いて⾃動で実⾏する」 • 分析結果を「グラフで説明する」 • ChatGPTが苦⼿だった「計算」が、演繹的にできるようになる • 「分析」も「計算」もブラックボックスではなく、どういうプ ログラミングコードを⽤いたかが可視化され、またコメント （解説⾏）付きで表⽰されるため、ダブルチェックも可能
30. 30 再配布・2次利⽤は 可 です。 データ解析への利⽤例 (1/3) 気象庁のデータベースから、過去5年分の 東京の気象情報をダウンロードしました。 • 13列 × 1800⾏ のデータ です これをChatGPTに⾒せてみます。 images cited on: July. 1, 2023, from: 国⼟交通省 気象庁 - https://www.data.jma.go.jp/obd/stats/etrn/
31. 31 再配布・2次利⽤は 可 です。 データ解析への利⽤例 (2/3)
32. 32 再配布・2次利⽤は 可 です。 データ解析への利⽤例 (3/3)
33. 33 再配布・2次利⽤は 可 です。 • 幻覚 (Hallucination) • ChatGPTを含む⼤規模⾔語モデル (LLM) は、事実無根のことを、あたかもそれらしく述べることが ある • 著作権侵害 • ChatGPTを含む⽣成系AI全般について、AI⽣成物が既存の著作物と酷似していた場合、その利⽤が 著作権侵害と判断される可能性がある（参考：⽂化庁発⾏pdf『AIと著作権 ー 令和5年6⽉』） • 私的使⽤は含まれない • 未成年者の利⽤ • 利⽤規約にて、「18歳以上である」か、または「13歳以上、かつ、親または法定後⾒⼈の許可があ る」ことが必要と明記されている • すなわち、⼩学⽣はたとえ親の許可があっても利⽤が認められていない ChatGPTの注意点
34. ChatGPTの出現と⽴ち位置 1 個⼈利⽤の⽅法 2 医学⾯の性能 3 社会的意義の考察 4
35. 35 再配布・2次利⽤は 可 です。 （スライド再掲）今⽇現在だけの性能を語ることの意味は薄い 23 images cited on July. 1, 2023 and edited (graph merged) by presenter (Google Research - https://sites.research.google/med-palm/ ) この間、3ヶ⽉ USMLE 合格ライン
36. 36 再配布・2次利⽤は 可 です。 AMA（⽶国医師会）：⽣成AIから患者を守る指針発表 (2023.4) 「AIは医療に有⽤。ただし注意して運⽤すべし」 AMAは2018年にも指針 ガイドライン等の作成を準備 研究・啓蒙・患者保護を重要視 AMAは「拡張知能」（×⼈⼯知能）と呼称 AI = Augmented Intelligence images cited on: July. 1, 2023, from: AMA - https://www.ama-assn.org/practice-management/digital/educate-patients-about-misleading-ai-generated-medical-advice
37. 37 再配布・2次利⽤は 可 です。 npj Digital Medicine：医療現場へのAI導⼊研究 (2023.6) AI導⼊の、阻害因⼦と促進因⼦を調査 42編のシステマティックレビュー ⾃⼰決定権喪失への恐れ 阻害因⼦の例： 医療従事者へのAI活⽤トレーニング 促進因⼦の例： Lambert SI, et al. An Integrative Review on the Acceptance of Artificial Intelligence among Healthcare Professionals in Hospitals. npj Digit Med. 2023;6(1):1-14.
38. 38 再配布・2次利⽤は 可 です。 JAMA Network Open：ChatGPTの性能評価 (2023.6) ChatGPTの成績を評価 公衆衛⽣/健康管理の質問23点 いずれも科学的根拠に基づく 適切な回答が得られた割合は91% これらだと適切な回答の割合は 5% に留まる （同⼀質問セットを⽤いた先⾏研究） Siri, Alexa, Google Home等と⽐較 Ayers JW, et al. Evaluating Artificial Intelligence Responses to Public Health Questions. JAMA Netw Open. 2023;6(6):e2317517-e2317517.
39. 39 再配布・2次利⽤は 可 です。 JAMA Intern Med：ChatGPTと医師の⽐較評価 (2023.4) いずれも ChatGPT が医師を上回る 回答の、正確性と共感⼒を評価 ChatGPTが有意に⾼品質（p < 0.001） 回答の質：78.5% vs 22.1% ChatGPTが有意に共感的（p < 0.001） ただしテキストのみでの共感性評価 回答の共感性：45.1% vs 4.6% Ayers JW, et al. Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine. 2023;183(6):589-596.
40. 40 再配布・2次利⽤は 可 です。 JAMA (letter)：NEJMのケース集を元に成績評価 (2023.6) NEJM誌における難解な症例セット (CPC) を⽤いて ChatGPTの性能を評価 出題例：神経ベーチェット病、リステリア起炎⼼筋症、 抗メラノーマ分化関連プロテイン5関連⽪膚筋炎、 エリジペロスリックス感染症、 脳アミロイドアンギオ パチー関連炎症 clinicopathological case conference (CPC) - 27例 (39%) で最終診断が完全に⼀致 - 45例 (64%) で鑑別リストに正解が含まれる 最終成績 Kanjee Z, et al. Accuracy of a Generative Artificial Intelligence Model in a Complex Diagnostic Challenge.JAMA.2023;330(1):78-80. doi:10.1001
41. ChatGPTの出現と⽴ち位置 1 個⼈利⽤の⽅法 2 医学⾯の性能 3 社会的意義の考察 4
42. 42 再配布・2次利⽤は 可 です。 マッキンゼー：⽣成系AIのレポート発⾏ (2023.6) 各ジャンルでAIが⼈間に⽐肩する時期の予想が、 ⽣成系AIの登場によって⼤幅に前倒しに（灰→⻘） images cited on: July. 1, 2023, from: McKinsey Digital - https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-economic-potential-of-generative-ai-the-next-productivity-frontier
43. 43 再配布・2次利⽤は 可 です。 マッキンゼー：⽣成系AIのレポート発⾏ (2023.6) 複雑で⾃動化が無理と思われていた領域ほど、 ⽣成系AIによる恩恵の余地が⼤きい images cited on: July. 1, 2023, from: McKinsey Digital - https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-economic-potential-of-generative-ai-the-next-productivity-frontier
44. 44 再配布・2次利⽤は 可 です。 ⼤規模⾔語モデルの意義を考える 1⼈の書き⼿ の知識 その本の著者ら の知識 世界中のウェブ クリエイター 全ての 電⼦⽂書 元となる情報源 届けられる範囲 ⼤規模 ⾔語モデル 80億⼈ チャット、会話 インター ネット 40億⼈ 検索 活版印刷 100⼈〜1億⼈ 本 ⽂字 1〜10⼈ ⼿紙 対話形式になったおかげで、⾳声⼊⼒を使えば世界の80億⼈全員が利⽤可能
45. 45 再配布・2次利⽤は 可 です。 AIについてより深く学びたい⽅向けの情報源 • 東⼤ 松尾研が提供するロードマップ • ⼈⼯知能学会のAIマップ • twitter（最速の情報源はツイッター） images cited on: July. 1, 2023, from: 松尾研究室 - https://weblab.t.u-tokyo.ac.jp/ and from:⼈⼯知能学会 - https://www.ai-gakkai.or.jp/pdf/aimap/AIMap_JP_20200611.pdf
46. ⼤学/学会/医師会など向けに医療AIの勉強会を開催しています。 お気軽にご連絡ください！ sho.okiyama@aillis.jp 本スライドの作成者：沖⼭ 翔（救急科専⾨医・離島医・AI開発者） 2010 東京⼤学医学部卒業 2010-15 初期研修後、救命救急（⽇⾚医療センター） 2013-14 ドクターヘリ添乗医（単独フライト 22件） 離島医（⽯垣島、波照間島） 2015-17 沖ノ⿃島 船医（国⼟交通省事業） 南⿃島 離島医（気象庁事業） 2017- アイリス株式会社創業 代表取締役 （⽇本におけるAI医療機器治験の第1号を実施） 2018-20 国⽴研究開発法⼈ 産業技術総合研究所 外来研究員（研究課題：医療AI）、 同研究所 AI技術コンソーシアム運営委員、同コンソーシアム医⽤画像ワーキンググループ⻑