医療業界における生成AIソリューションのアーキテクチャ検証と適用可能性

Transcript

1. 医療業界における 生成AIソリューションの アーキテクチャ検証 と適用可能性 Takeru Kashiwagi
2. 柏木 健 / Takeru Kashiwagi 2 経歴 • SRE（ITS）、クラウド活用の戦略策定（Con） • 医療従事者向け生成AIサービス立ち上げ（DS＆Con） • RWDに対する量子アルゴリズムによる解析（DS） • 2023 Japan AWS Jr. Champions 目標 • 2025 Japan AWS All Certifications Engineers • 2025 Japan AWS Top Engineers 好きなAWSサービス • Amazon Bedrock • Amazon Braket 趣味 • 筋トレ • アニメ/音楽 鑑賞
3. アジェンダ • イントロダクション • 生成AIの構成要素 • 検証概要 • 検証結果 • まとめ 3
4. イントロダクション 4
5. 業界動向 近年、大規模言語モデルのヘルスケア領域への適用に対する期待が高まっています。ヘルスケア領域は非常に幅広いですが、製薬 や医療機関の活用事例の現状を解説いたします。 5 現場の課題 取り組み 製薬企業の現状 • 企業の競争力は先進的な医薬品の創出 • 研究開発には長い時間と高コストが伴う • 成功確率も極めて低い 医療従事者の現状 • 医療の高度、複雑化に伴う説明内容の増加 • 同意取得の複雑化に伴う記録業務の増加 • 医療従事者の働き方改革や人手不足 • 業務圧迫による医療研究への参加が難しい 患者さんの思い • 待ち時間の長さや医師による説明不足 創薬にかかる長大な時間とコストを削減 • 候補物質の設計 治験における記録作業を軽減 • 治験報告書の作成 医療現場における記録業務を軽減 • カルテ記録の作成 • 退院、症例サマリーの作成 個人に寄り添った医療サービスの提供 • 対話型の疾患説明
6. 技術動向（１/２） 医療現場において、生成AIは患者に対して質の高い対応が期待できる。 6 出所: While AI won’t replace your doctor, the JAMA Internal Medicine paper suggests physicians working together with technologies l ike ChatGPT may revolutionize medicine
7. 技術動向（２/２） 臨床研究においても、生成AIは医療従事者レベルの質問への回答が期待できる。 7 出所: Towards Expert-Level Medical Question Answering with Large Language Models
8. 生成AIの構成要素
9. 生成AIの構成要素 生成AIの価値を決める要素として、主に3つの要素が挙げられます。 9 プロンプト モデル データソース • Zero-shot prompting • Few-shot prompting • Chain-of-thought prompting • Role-playing prompting • Instruction-based prompting • Persona prompting • Iterative refinement prompting • Self-consistency prompting • GPT • PaLM • Claude • LLaMA • Retrieval-Augmented Generation (RAG) • Fine tuning
10. 生成AIの構成要素 生成AIの価値を決める要素として、主に3つの要素が挙げられます。各要素をモデルを軸にあらためて整理するとデータソースに は、２つの要素が混在します。 10 プロンプト モデル データソース • Zero-shot prompting • Few-shot prompting • Chain-of-thought prompting • Role-playing prompting • Instruction-based prompting • Persona prompting • Iterative refinement prompting • Self-consistency prompting • GPT • PaLM • Claude • LLaMA • Retrieval-Augmented Generation (RAG) • Fine tuning モデル内部要素 モデル外部要素
11. 生成AIの構成要素 生成AIの価値を決める要素として、主に3つの要素が挙げられます。各要素をモデルを軸にあらためて整理するとデータソースに は、２つの要素が混在します。 11 プロンプト モデル データソース • Zero-shot prompting • Few-shot prompting • Chain-of-thought prompting • Role-playing prompting • Instruction-based prompting • Persona prompting • Iterative refinement prompting • Self-consistency prompting • GPT • PaLM • Claude • LLaMA • Retrieval- Augmented Generation (RAG) • Fine tuning
12. RAGとは RAG（Retrieval-Augmented Generation：検索拡張生成）は、Meta 社が2020年に発表した論文で提唱したLLMの最適化手法です。 組織の独自データを活用し、ナレッジベースに格納された多様な情報を参照することで、LLMの性能を向上させます。 12 アプリ ケーション ①クエリ ②情報検索 ⑤応答 ③結果取得 ユーザー ナレッジベース 大規模言語モデル ④統合
13. ファインチューニングとは ファイン・チューニングとは、事前トレーニング済みのモデルを、より小規模で焦点を絞ったトレーニング用データ・セットで再 トレーニングし、ドメイン固有の知識を付与するプロセスです。 13 入力層 中間層 出力層 重みが更新されるパラメータ
14. RAGとファインチューニングの比較 RAGとファインチューニングは、データソースの利用方法の違いから、「データの反映度合い」と「コスト・複雑さ」において トレードオフの関係にあります。 14 RAG 時効性の高いエビデンス ファインチューニング 専門性の高い解釈 データの反映度合い コスト・複雑さ モデルへの入力（プロンプト）との統合 モデル学習の実施 ナレッジベースの作成 アプリケーションロジックの作成 学習用のデータ収集・加工 モデル学習の実施
15. 検証概要
16. 検証概要｜目的 今回の検証では、 RAGを組んだモデルとファインチューニングによって作成したモデルについて、「回答の性質」と「コスト・ 工数」について評価します。 16 回答の性質 コスト・工数 以下の２点をそれぞれベースモデルと比較します。 • RAG：時効性の高いエビデンス • ファインチューニング：専門性の高い解釈 以下の２点をRAGとファインチューニングで比較します。 • 検証における作業工数 • 回答生成にかかるコスト
17. 検証概要｜プロセス 検証のプロセスは、前処理、学習、推論、評価の流れで実施します。 17 • ナレッジベースの作成 3件の生物医学分野の記事 • なし • 最新の取り組みのQAを用意 • RAGの回答生成 • ベースモデルの回答生成 • 回答の比較 • コストの確認 前処理 学習 推論 評価 • 学習データの加工、格納 100件のPubMedQA • ファインチューニングの実施 • カスタムモデルのデプロイ • 43件のPubMedQAの用意 • カスタムモデルの回答生成 • ベースモデルの回答生成 • モデル性能の評価 • コストの確認 RAG ファイン チューニング
18. 検証結果
19. 検証結果｜RAG（１/３） 「幹細胞の最近の取り組みや研究結果を教えてください。」という質問に対しての回答を整理しました。ベースモデルは幹細胞に 関する要素を浅く広く回答しているのに対し、RAGはナレッジベースに登録されたデータに基づいて回答しています。 19 ベースモデル RAG 幹細胞の研究は近年、多くの注目を集めており、様々な分野で画 期的な進展が見られます。以下にいくつかの最近の取り組みと研 究結果を紹介します： 1. 再生医療 - 心臓病や神経疾患の治療に幹細胞を利用する研究が進展 - パーキンソン病患者への幹細胞移植の臨床試験 - 脊髄損傷の回復に向けた幹細胞治療の可能性 2. がん治療 - がん幹細胞を標的とした新たな治療法の開発 - 幹細胞の遺伝子編集による抗がん効果の研究 3. 遺伝子編集技術 - CRISPR-Cas9技術を用いた幹細胞の遺伝子改変 - 遺伝的疾患の治療への応用 4. ・・・ 5. ・・・ これらの研究は医療の革新的な発展に大きく貢献しています。 幹細胞研究は現在、医療における重要な breakthrough となってい ます。幹細胞は、さまざまな組織に存在し、必要な細胞へ変化 （分化）することで組織の恒常性を維持する能力を持っています。 [1] 幹細胞の研究において重要な概念として「幹細胞ニッチ」があ ります。これは幹細胞が存在する特別な微小環境を指し、幹細胞 が自身の性質を維持するために必要な環境条件が整っている場所 です。最近の研究では、この微小環境の特徴を裏づける分子が多 く報告され、幹細胞ニッチをイメージングで同定できるように なってきています。[2] 幹細胞研究の最新の注目点の一つは、異な る幹細胞ニッチが幹細胞の再生能力に与える影響と、免疫細胞か らの攻撃を回避する能力（免疫寛容）の解明です。これらのメカ ニズムの理解は、再生医療や免疫治療の breakthrough につながる 可能性があります。[3][4] ソースの詳細を表示＞
20. 検証結果｜RAG（２/３） 「miRNAの最近の取り組みや研究結果を教えてください。」という質問に対しての回答を整理しました。ベースモデルはmiRNA に関する要素を浅く広く回答しているのに対し、RAGはナレッジベースに登録されたデータに基づいて回答しています。 20 ベースモデル RAG マイクロRNA（miRNA）の研究は近年、急速に進展しており、多 くの興味深い知見が得られています。以下に最近の取り組みと研 究結果をまとめます： 1. 疾患メカニズムの解明 - がん - 神経変性疾患 - 心血管疾患 - 代謝性疾患 におけるmiRNAの役割の解明 2. バイオマーカーとしての応用 - 早期診断 - 予後予測 - 治療効果モニタリング 3. ・・・ 7. ・・・ これらの研究は、miRNAの医学的応用の可能性を大きく広げてい ます。 マイクロRNAは、生物の進化や生理学、さまざまな病気に深い関 わりを持つ重要な遺伝子調節因子として注目されています。ヒト には2000種類以上のマイクロRNAをコードする遺伝子が存在し、 遺伝子調節に重要な役割を果たしています。[1][2] 最新の研究では、 マイクロRNAの遺伝子に変異があると、様々な臓器に疾患や障害 を引き起こす可能性が明らかになっています。今後、マイクロ RNAは病気の診断や治療、新薬開発などに役立つ研究が進むこと が期待されています。[3][4] ソースの詳細を表示＞
21. 検証結果｜RAG（３/３） 「iPS細胞の最近の取り組みや研究結果を教えてください。」という質問に対しての回答を整理しました。ベースモデルはiPS細 胞に関する要素を浅く広く回答しているのに対し、RAGはナレッジベースに登録されたデータに基づいて回答しています。 21 ベースモデル RAG iPS細胞の最近の取り組みと研究結果について、以下にまとめま す： 1. 再生医療分野 - 網膜疾患の治療 - パーキンソン病の細胞治療 - 心臓疾患の再生医療 - 脊髄損傷の治療研究 2. 疾患モデル研究 - アルツハイマー病 - 筋萎縮性側索硬化症（ALS） - 自閉症スペクトラム障害 - 遺伝性疾患のメカニズム解析 3. ・・・ 7. ・・・ これらの研究は医療技術の革新的な発展に貢献しています。 最近の研究で、理化学研究所などのグループがiPS細胞の大量製造 に向けた重要な breakthrough を達成しました。具体的には、2つ の阻害剤を用いて、iPS細胞を未分化状態のまま浮遊培養で大量に 培養することに成功しました。これまでの浮遊培養では、細胞が 不均一になったり、突発的に分化してしまうという課題がありま したが、阻害剤の使用によりこの問題を解決しました。[1][2] この 研究の意義は、再生医療における大量培養技術の確立にあります。 従来の接着培養では細胞の生産量が培養皿の表面積に制限されて いましたが、浮遊培養技術により、この制約を overcome できる 可能性が生まれました。将来的には、自動化や自家細胞治療の実 現も期待されています。[3][4] 研究チームは、京都大学iPS細胞研究 財団、理化学研究所、カネカが共同で取り組み、その成果は2024 年11月に科学誌イーライフの電子版に掲載されました。今後は、 阻害剤を用いた培養の安全性確認と、培養の自動化を進めていく 予定です。[5][6] ソースの詳細を表示＞
22. 検証結果｜ファインチューニング（１/２） ファインチューニング前後の混同行列を用いて、モデルの予測がどのように変化したのかを検討しました。 その結果、ファインチューニング後にはMaybeの予測割合が増加し、モデルがより慎重になったと考えられます。 22 FT前 → FT後 予測 Yes Maybe No 正解 Yes 3 → 3 20 → 21 2 → 1 Maybe 4 → 1 6 → 8 2 → 3 No 0 → 1 4 → 4 2 → 1
23. 検証結果｜ファインチューニング（２/２） ファインチューニングによって、Maybeクラスの識別性能が向上した一方で、Noクラスの識別性能が低下する結果となりました。 全体的な正解率は若干向上したことが確認できました。 23 指標 FT前 FT後 正解率 0.38 0.4 適合率 (Yes) 0.43 0.43 適合率 (Maybe) 0.23 0.24 適合率 (No) 0.33 0.25 再現率 (Yes) 0.12 0.12 再現率 (Maybe) 0.5 0.67 再現率 (No) 0.5 0.33 F値 (Yes) 0.19 0.19 F値 (Maybe) 0.31 0.36 F値 (No) 0.4 0.29
24. 検証結果｜コスト・工数 RAGとファインチューニングのコストおよび作業工数を比較した結果、ファインチューニングはRAGの10倍のコストと工数を要 することが確認されました。 24 RAG $0.244 / 0.009人月 コスト • S3 • Amazon Titan Text Embeddings V2 • Amazon OpenSearch Serverless • Claude 3.5 Haiku 工数 • 検証プロセスにて定義 ファインチューニング $23.507 / 0.09人月 コスト • S3 • プロビジョンドスループット • Claude 3.5 Haiku 工数 • 検証プロセスにて定義 >
25. まとめ
26. まとめ • RAGの検証 • 時効性の高いエビデンス • モデルのリリース時（2024年4月）より新しい情報を引用して、回答可能であることを確認 • ファインチューニングの検証 • 専門性の高い解釈 • ファインチューニングによって、生物医学分野のQAセットに対して精度の改善を確認 • コスト、工数 • RAGの方がコスト、作業工数が共に安価で実施可能なことを確認 26
27. RAGとファインチューニングの適用フロー 検証結果をもとに、各ユースケースの要件に応じて RAG とファインチューニングの適用を検討するためのフローチャートを作成 しました。 27 スタート！ Q1 Q2 RAG PoC！ ベースモデル PoC！ Q3 Q3 RAG ファイン チューニング RAG ベースモデル ファイン チューニング ベースモデル 論文データ解析 による創薬テー マの創出 対話型患者 説明の実施 治験関連文章の 作成効率化 カルテ記録の 作成効率化 Yes No Yes Yes Yes No No No 専門家の確認 Q1：時効性の高いエビデンスを求められるのか？ Q2：そのエビデンスは、既に構造化されており運用中なのか？ （例）電子カルテ Q3：専門家の評価によって、専門性の高い解釈が必要なのか？
28. THANK YOU 28