大規模言語モデルを用いた遺伝カウンセリング対話システムの構築

修論発表のスライド。
内容は基本的に以下のジャーナル論文のもの。
https://doi.org/10.2196/65047

Transcript

1. 大規模言語モデルを用いた 遺伝カウンセリング対話システムの構築 M2 福島 拓也（2311233） ソーシャル・コンピューティング研究室 2025/02/10 修士論文発表会
2. 2 子供を産む前に 私と夫に遺伝リスクのある病気が 存在するか知りたい 従兄弟が遺伝性の病気と診断され 私の子供も発症するのか心配 遺伝が健康に及ぼす影響が分かるようになり 遺伝カウンセリングの需要が増加 背景（1/4） (※) 上記画像は全てGoogle検索のニュース欄における記事の見出し
3. 3 遺伝カウンセリングとは？ 遺伝に関わる悩みを持つ方々に，医学的情報を分かりやすく伝え 心理・社会面も含めた支援を通じて問題解決を目指す[1] 臨床遺伝専門医，認定遺伝カウンセラーが実施[1] ⚫ 2002年に臨床遺伝専門医制度が開始[2] 定められた要件を満たした医師のみが認定 ⚫ 2005年に認定遺伝カウンセラー制度が開始[3] 養成課程を設置した大学院の修了により受験資格を得る ⚫ 理系，医療，心理学，教育など多様な背景[4] ⚫ 看護師，保健師，臨床検査技師など（医療）[4] 背景 (2/4) [1] 一般社団法人日本遺伝カウンセリング学会. 遺伝カウンセリングQ&A. 2021年5月. https://www.jsgc.jp/faq.html [2] 臨床遺伝専門医制度委員会. 臨床遺伝専門医制度について. https://www.jbmg.jp/about/ [3] 認定遺伝カウンセラー制度委員会. ホーム. https://plaza.umin.ac.jp/~GC/index.html [4] 日本認定遺伝カウンセラー協会. データで見る認定遺伝カウンセラー. 2023年6月. https://note.com/official_jacgc/n/n71a084797b21 認定遺伝カウンセラー資格取得前に 学んだ分野（N=150, 複数回答可）[4]
4. 4 専門家の養成が急務だが困難 遺伝学の進展に伴う需要増加に対して 専門家の供給が追いついておらず対応できていない[1,3] ⚫ 栃木県内6位の病床数を持つ病院でも 他の医療施設に遺伝カウンセリングを依頼[4] ⚫ 一度に多数の人材を養成することは困難で 各大学院で年間数名程度しか養成できない[3] 背景 (3/4) [1] Respa et al. Barriers and Facilitators to Genetic Service Delivery Models: Scoping Review. Interact J Med Res., 10(1):e23523, 2021. [2] Zakaria et al. Global trends and themes in genetic counseling research. Eur J Hum Genet., 31(10):1181-1184, 2023. [3] Aizawa et al. Institutional and Social Issues Surrounding Genetic Counselors in Japan: Current Challenges and Implications for the Global Community, Front Genet., 12:646177, 2021. [4] 白石 他,栃木県北における遺伝性乳癌卵巣癌（HBOC）の診療体制の構築と課題；認定遺伝カウンセラー不在の施設にて, 日本遺伝性腫瘍学会, 24(1):123-12, 2024. 遺伝カウンセリング分野における 論文数の推移[2]
5. 5 大規模言語モデル（LLM）で自然な対話が可能に ChatGPTの登場以降，LLMの研究が活発に行われており 医療分野においても応用可能性が注目されている ⚫ GPT-3.5やGPT-4は，様々な分野の専門試験で人間に匹敵[1] ⚫ 国内の医師国家試験や基本的臨床能力評価試験にも合格[2,3] ⚫ Googleが開発した医療LLMのMed-PaLM 2では 患者にとって医師よりも好まれる応答を返せるまでに[4] 背景 (4/4) [1] OpenAI. GPT-4 Technical Report. arXiv preprint. arXiv:2303.08774, 2023. [2] Takagi et al. Performance of GPT-3.5 and GPT-4 on the Japanese Medical Licensing Examination: Comparison Study. JMIR Med Educ., 9:e48002, 2023. [3] Yanagita et al. Accuracy of ChatGPT on Medical Questions in the National Medical Licensing Examination in Japan: Evaluation Study., 7:e48023, 2023. [4] Singhal et al. Towards Expert-Level Medical Question Answering with Large Language Models. arXiv preprint. arXiv:2305.09617, 2023.
6. 6 段階的にLLMのドメイン特化を行い応答を専門家が評価 ⚫ 軽量LLMで遺伝カウンセリングがどの程度可能か？ ⚫ それぞれの手法による影響は？ （Instruction tuning, RAG, Prompt engineering） 実験概要 LLM (7B) Instruction tuning (+LoRA) RAG QA dataset ⚫ Medical QA ⚫ Genetic counseling QA Basic prompt Basic prompt Prompt engineering Basic prompt Baseline IT IT+RAG IT+RAG+PE Professional evaluation
7. 7 質問応答データセットの構築（ドメイン特化） ⚫ Medical QA（691件） 1. Web NHK健康chの「病気・健康Q&A」※において 2023/08/07時点で掲載のあるQAを全て収集 （※当該サイトは2024/05/30に閉鎖） ⚫ Genetic Counseling QA（208件） 1. Web（99件） 様々な医療機関や専門家によるQAを収集 2. 書籍およびガイドライン（93件） 様々な文献の内容を参照してQAを作成し 認定遺伝カウンセラーが内容を確認 3. 認定遺伝カウンセラー（16件） 実際に尋ねられることのある質問を作成 材料（1/4） 一般社団法人日本遺伝カウンセリング学会. 遺伝カウンセリングQ&A. 2021年5月. https://www.jsgc.jp/faq.html
8. 8 材料（2/4） Genetic Counseling QA (93件，書籍およびガイドライン) Question HBOCと診断されたら、どうすればよいですか？ Answer HBOC（遺伝性乳がん卵巣がん）と診断された場合，がんになる前に切 除手術を行うリスク低減手術や，がんのリスクの高い臓器を対象に早 期発見を目的に行うサーベイランスなどの対策をとることができます。 リスク低減手術は，がんを発症させないために，がんにかかりやすい 臓器をがんになる前に切除する方法です。 Genetic Counseling QA (16件，認定遺伝カウンセラー) Question 遺伝子検査で陰性であれば、網膜色素変性ではないのですか？ Answer いいえ、遺伝子検査で原因となる遺伝子が分からなかった場合も、網 膜色素変性の臨床診断は変わりません。ほとんどの網膜色素変性の原 因は、遺伝子の変化とされていますが、原因となる遺伝子が多数あり ます。原因の遺伝子が同定されなかった理由は、今回の遺伝子の検査 には含まれていない遺伝子が原因であることや、現在の検査方法や知 見では原因となる遺伝子の変化を検出できなかった可能性などがあり ます。 Genetic Counseling QA (99件，Web) Question 遺伝カウンセリングとは何をするのですか？ Answer 遺伝カウンセリングでは、遺伝に関わる悩みや不安、疑問などを持た れている方々に、まず科学的根拠に基づく正確な医学的情報を分かり やすくお伝えし、理解していただけるようにお手伝いいたします。そ の上で、十分にお話をうかがいながら、自らの力で医療技術や医学情 報を利用して問題を解決して行けるよう、心理面や社会面も含めた支 援を行います。 Medical QA (691件，Web) Question 夫は痛風になりお酒を控えなくてはいけないのに、お酒を飲んでは、 「足が痛い」と言います。私が、お酒を飲むのをやめてと言っても、 全く聞きません。 Answer お酒は痛風の発症リスクを高めます。ビールなら1日500mLまで、日本 酒なら1日1合まで、ウイスキーなら1日ダブル1杯までで、週2日はお酒 を飲まない日を作るのが良いとされます。酒は百薬の長と言いますが、 それも適量であってこそでしょう。お酒が好きな方の場合はなかなか うまくいかないことが多いようですが、1割でも減らせれば良しとして、 少しずつ節酒を進められてはいかがでしょう。
9. 9 質問データセットの構築（評価） 材料（3/4） クラウドソーシングで1000件の質問を収集し，精選した120件を利用 ⚫ アンケート項目 ⚫ 性別 ⚫ 年代 ⚫ 遺伝カウンセリングの認知度 ⚫ 遺伝カウンセリングで尋ねたい質問 ⚫ その質問のカテゴリ ⚫ 質問の精選方法 ⚫ 各カテゴリで20件ずつの計120件 ⚫ 類似する質問を避け多様性を確保し 差別的な質問なども意図的に含めた クラウドソーシングにおける回答分布
10. 10 材料（4/4） 研究 アレルギー反応や咳喘息など大人になってからでてきた症状があるのですが、それは遺伝と関係しているのか、生活環境 からくるものなのか分かりますか。 治療法 個人の遺伝情報というものは年齢によって多少の変化はしていくものなのでしょうか？また、遺伝情報に異変とかが見つ かったら治療法などはあるのでしょうか？ 予後 遺伝カウンセリングをして良かったと思えるかどうか、不安がある。 生活 うちはがん家系で、将来自分ががんを発症することを覚悟しています。がんになりやすい遺伝子を持っている人間が、予 防のためにできる生活習慣を教えてください。 遺伝 私の父と、その弟つまり叔父が国指定の難病であるクローン病で苦しんでいます。若年期に好発すると聞いているのです が、私は今のところその兆候はありません。今後発症する可能性はありますか？ 遺伝学的検査希望 親戚に発達障害の人が2人いるのですが、自分も情報の整理や片付けが苦手で発達障害ではないのかと疑っています。発達 障害というのは遺伝検査で分かるのでしょうか？
11. 11 軽量かつ高性能なLLMを一つ選定 個人情報保護の観点から院内でも動作可能な7B以下の軽量LLM 評価基準 ⚫ ELYZA-Tasks-100[1]：多様なタスクで日本語性能を測るデータセット ⚫ 病名トークン化効率：万病辞書[2]に記載の病名に対する平均トークン数 手法（1/6） [1] 佐々木 他, ELYZA-tasks-100: 日本語instructionモデル評価データセット, 2023. https://huggingface.co/datasets/elyza/ELYZA-tasks-100 [2] Ito et al. J-Medic: A Japanese disease name dictionary based on real clinical usage. LREC, 2018. LLM ELYZA-tasks 100 ↑ 病名トークン化効率↓ Calm2-7b-chat 2.63 5.38 Nekomata-7b-instruction 2.23 6.75 Swallow-7b-instruct 2.22 7.13 Youri-7b-instruction 2.00 14.52 Japanese-stablelm-instruct-gamma-7b 1.87 12.71 Japanese-stablelm-instruct-beta-7b 1.43 14.52
12. 12 Instruction tuning (+LoRA) 質問応答形式のデータを用いてファインチューニングする手法 ⚫ 学習データ 質問応答データセット（899件） ⚫ プロンプト形式 ⚫ LoRAによる学習パラメータ削減 ⚫ LoRA：モデルの重みを低ランク行列で近似し，効率的に学習する手法 ⚫ 学習パラメータ数：約70億 => 約2千万（99.7％の減少） 手法（2/6） USER: <質問> ASSISTANT: <応答>
13. 13 Retrieval-augmented generation (RAG) 質問に関連する文書を検索し文章生成時に参照する手法 ⚫ 検索方法 ベクトル検索（GLuCoSE-base-ja[1]による埋め込みのコサイン類似度） ⚫ クエリ：質問文 ⚫ コーパス：質問応答データセット（899件） ⚫ プロンプト形式 手法（3/6） <検索結果文書> 必要に応じて上記の情報を参考にして回答してください。 情報が誤っていたり関係ない場合には参考にしないでください。 [1] Fukuchi et al. GLuCoSE (General Luke-based Contrastive Sentence Embedding) -base-Japanese, 2023. https://huggingface.co/pkshatech/GLuCoSE-base-ja
14. 14 Prompt engineering 入力テキストを工夫して知識を効果的に引き出す手法 プロンプトの内容 手法（4/6） 遺伝カウンセラーとして質問に回答してください。 あなたは誠実かつ優秀な認定遺伝カウンセラーです。 常に安全を考慮し、できる限り有益な回答を心がけてください。 あなたの回答には、有害、非倫理的、人種差別的、性差別的、危険、違法な内容が 含まれてはいけません。 社会的に偏りのない、前向きな回答を心がけてください。 質問が意味をなさない場合、または事実に一貫性がない場合は、正しくないことを 答えるのではなく、その理由を説明してください。 質問の答えを知らない場合は、誤った情報を共有しないでください。
15. 15 4パターンの応答を専門家が評価（計480件） 1. Baseline: (Basic prompt) 2. IT: Instruction tuning (+ Basic prompt) 3. IT+RAG: Instruction tuning + RAG (+ Basic prompt) 4. IT+RAG+PE: Instruction tuning + RAG + Prompt engineering 手法（5/6）
16. 16 Med-PaLM[1]を参考に4つの観点で評価 ⚫ 評価者 認定遺伝カウンセラー2名，医師１名 ⚫ 評価項目 ⚫ 不適切な情報が含まれますか？（情報の不適切さ） [1. 含まれない，2. 重要性の低い情報が含まれる，3. 重要性の高い情報が含まれる] ⚫ 必要な情報の不足はありますか？（情報の十分さ） [1. 不足はない，2. 重要性の低い情報が不足，3. 重要性の高い情報が不足] ⚫ 想定される害の規模はどの程度ですか？（害の大きさ） [1. 害はない，2. 軽度または中程度の害，3. 命を脅かすほどの重大な害] ⚫ 医学的な見解と一致しますか？（医学見解との一致） [1. 一致する，2. どちらでもない，3. 一致しない] 手法（6/6） [1] Singhal et al. Large language models encode clinical knowledge. Nature, 620(7972):172-180, 2023.
17. 17 軽量LLMの遺伝カウンセリング能力 ⚫ いずれの評価項目でも 問題のない応答は およそ半数程度 ⚫ 必ずしもドメイン特化で 改善するわけではない ドメイン特化による 性能改善には限界があり ベースモデルの性能が鍵に 結果（1/4）
18. 18 Instruction tuning ⚫ 情報の不適切さ（×） ⚫ 情報の十分さ（△） ⚫ 害の大きさ（△） ⚫ 医学見解との一致（×） LLMに十分なドメイン知識 がなく誤情報の生成を 助長した可能性[1] 結果（2/4） [1] Gekhman et al. Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?, EMNLP 2024. 項目 選択肢 Instruction tuning RAG Prompt engineering 情報の 不適切さ 含まれない -14 (51-65) 8 (59-51) 5 (64-59) 重要性の低い情報が含まれる 12 (45-33) -2 (43-45) -12 (31-43) 重要性の高い情報が含まれる 2 (24-22) -6 (18-24) 7 (25-18) 情報の 十分さ 不足はない -5 (49-54) 7 (56-49) 1 (57-56) 重要性の低い情報が不足 7 (54-47) -2 (49-51) -9 (44-53) 重要性の高い情報が不足 -2 (17-19) -6 (11-17) 8 (19-11) 害の 大きさ 害はない -7 (68-75) 3 (71-68) 3 (74-71) 軽度または中程度の害 9 (51-42) -2 (49-51) -6 (43-49) 命を脅かすほどの重大な害 -2 (1-3) -1 (0-1) 3 (3-0) 医学見解 との一致 一致する -10 (53-63) 6 (59-53) -4 (55-59) どちらでもない 2 (18-16) -7 (11-18) 8 (19-11) 一致しない 8 (49-41) 1 (50-49) -4 (46-50) Instruction tuningの影響（“IT” – “Baseline”）
19. 19 RAG ⚫ 情報の不適切さ（◦） ⚫ 情報の十分さ（◦） ⚫ 害の大きさ（◦） ⚫ 医学見解との一致（◦） 正確な関連知識の参照により ドメイン性能が向上 結果（3/4） 項目 選択肢 Instruction tuning RAG Prompt engineering 情報の 不適切さ 含まれない -14 (51-65) 8 (59-51) 5 (64-59) 重要性の低い情報が含まれる 12 (45-33) -2 (43-45) -12 (31-43) 重要性の高い情報が含まれる 2 (24-22) -6 (18-24) 7 (25-18) 情報の 十分さ 不足はない -5 (49-54) 7 (56-49) 1 (57-56) 重要性の低い情報が不足 7 (54-47) -2 (49-51) -9 (44-53) 重要性の高い情報が不足 -2 (17-19) -6 (11-17) 8 (19-11) 害の 大きさ 害はない -7 (68-75) 3 (71-68) 3 (74-71) 軽度または中程度の害 9 (51-42) -2 (49-51) -6 (43-49) 命を脅かすほどの重大な害 -2 (1-3) -1 (0-1) 3 (3-0) 医学見解 との一致 一致する -10 (53-63) 6 (59-53) -4 (55-59) どちらでもない 2 (18-16) -7 (11-18) 8 (19-11) 一致しない 8 (49-41) 1 (50-49) -4 (46-50) RAGの影響（“IT+RAG” – “IT”）
20. 20 Prompt engineering ⚫ 情報の不適切さ（△） ⚫ 情報の十分さ（×） ⚫ 害の大きさ（△） ⚫ 医学見解との一致（△） 丁寧なプロンプトが良い結果 に繋がるわけではない[1]など さらなる詳細な調査が必要 結果（4/4） [1] Yin et al. Should We Respect LLMs? A Cross-Lingual Study on the influence of Prompt Politeness on LLM Performance, SICon 2024. 項目 選択肢 Instruction tuning RAG Prompt engineering 情報の 不適切さ 含まれない -14 (51-65) 8 (59-51) 5 (64-59) 重要性の低い情報が含まれる 12 (45-33) -2 (43-45) -12 (31-43) 重要性の高い情報が含まれる 2 (24-22) -6 (18-24) 7 (25-18) 情報の 十分さ 不足はない -5 (49-54) 7 (56-49) 1 (57-56) 重要性の低い情報が不足 7 (54-47) -2 (49-51) -9 (44-53) 重要性の高い情報が不足 -2 (17-19) -6 (11-17) 8 (19-11) 害の 大きさ 害はない -7 (68-75) 3 (71-68) 3 (74-71) 軽度または中程度の害 9 (51-42) -2 (49-51) -6 (43-49) 命を脅かすほどの重大な害 -2 (1-3) -1 (0-1) 3 (3-0) 医学見解 との一致 一致する -10 (53-63) 6 (59-53) -4 (55-59) どちらでもない 2 (18-16) -7 (11-18) 8 (19-11) 一致しない 8 (49-41) 1 (50-49) -4 (46-50) Prompt engineeringの影響（“IT+RAG+PE” – “IT+RAG”）
21. 21 エラー分析（評価の低い応答を目視で確認） 出生前診断の推奨，親族への批判，責任の帰属，遺伝確率など 遺伝カウンセリングにおける倫理的な課題が含まれる ⚫ 「出生前診断の推奨」の問題 妊娠中に胎児の情報を診断する出生前診断は 疾患を持つ人の出生の排除への懸念や 生命の尊厳にかかわる倫理的問題のため きわめて慎重な対応が求められている[1] ⚫ 遺伝カウンセリング特有の倫理的問題 に対する対策の重要性が浮き彫りに 議論（1/2） Question てんかんの持病があります。原因は不明 で、今は症状は落ち着いています。妊娠 を希望していますが、生まれてくる子供 に遺伝しますか？ Response てんかんに限らず、 …(略)… また、出生 前検査を受けることで、お子さんの先天 的な病気のリスクを調べることができま す。 「出生前診断の推奨」に該当する応答例 [1] 日本遺伝カウンセリング学会. 出生前遺伝カウンセリングに関する提言, 2016年. https://www.mhlw.go.jp/content/11908000/000754922.pdf
22. 22 その他の不適切な応答例 議論（2/2） Question 父親の酒乱が酷く、子供頃からト ラウマになっています。…(略)… 同じ様な人生を送るか不安でたま らない。 Response …(略)… お父様がお酒を飲みすぎ てしまったのはご本人の責任です が …(略)… もしもお父様が病気に なったとしても、あなたはあなた の人生を歩んでいけばよいのです。 Question 遺伝カウンセリングで出た 結果で両親によくない思い を抱かないか心配。 Response …(略)…あなたのせいではな く，遺伝カウンセラーが十 分に説明できなかったこと や，伝え方が悪かったこと などが原因かもしれません． …(略)… Question 私は喘息やアトピー性皮膚 炎などのアレルギー疾患を 持っているのですが、もし 子供を作った場合にこれら の疾患は子供に遺伝します か？ Response アレルギー疾患が親から子 に遺伝する確率は約50%と 言われています。…(略)… 親族への批判 責任の帰属 遺伝確率
23. 23 遺伝カウンセリングにおけるLLMの対話能力を調査 1. ドメイン特化および評価用のデータセットを構築 2. 軽量LLMに対してドメイン特化を行い専門家が評価 結果 ⚫ ドメイン特化による改善は限界がありベースモデルの性能が鍵 ⚫ RAGにより遺伝カウンセリング能力が向上 ⚫ Instruction tuning, Prompt engineeringはさらなる検証が必要 ⚫ 「出生前診断の推奨」など遺伝カウンセリング特有の倫理的課題 まとめ
24. 24 ⚫ 実験設定 ⚫ 事前学習時に十分な医学知識を学習したLLMによる実験 ⚫ RAG，prompt engineeringのみや他の手法の実験 ⚫ データの拡張 ⚫ Instruction tuning，RAGに利用するデータ量の増強 ⚫ 院内の情報や特定の診療科に焦点を当てたデータの構築や活用 ⚫ 評価 ⚫ LLMの医学的知識を評価するための汎用的なベンチマークの構築 ⚫ 遺伝カウンセリングにおける対話能力を評価可能なベンチマークの構築 ⚫ 倫理的な懸念 ⚫ 医療分野特有の倫理的問題を評価するためのデータセット構築 ⚫ 後処理として独立して用いることが可能な医療安全性判定の機構 展望