放射線分野の問題をLLMに解かせてみた

2024年3月29日に開催された「放射線治療と生成系AIの専門家が語る医療系LLMの未来」で森 大輝氏によって発表された登壇資料です。

現在注目を集めている大規模言語モデル(LLM)を用いて、医学物理士試験の問題100問を解かせてみました。使用したモデルはAnthropicのClaude2とOpenAIのGPT-4で、問題に対して単に答えを出力させるだけでなく、回答の理由も説明させることで、モデルの思考プロセスを可視化しました。

Transcript

1. 放射線分野の問題をLLMに解かせてみた
2. 自己紹介 名前 : 森 大輝 年齢: 25才 出身: 徳島県 専門分野: 音声認識, 自然言語処理 趣味: 野球観戦, 猫と遊ぶ
3. 自己紹介
4. 概要 医学物理士試験を、LLMに解かせる
5. 今回使用するLLM Claude2 ・Anthropic社によって開発されたLLM (Anthropic社はOpenAIの元研究者が立ち上げたスタートアップ企業) ・Googleが450億円、Amazonが6000億円出資して開発したモデル ・Claude3がリリースされ期待大 　claude2公式: 　　https://www.anthropic.com/index/claude-2 　モデルカード: 　　https://www-files.anthropic.com/production/images/ModelCardClaude2_with_appendix.pdf?dm=1700589594
6. 今回使用するLLM Claude2 ・最大10万トークンの処理が可能 (claude2.1は20万トークン) - GPT-4は32,768 - GPT-4 Turboは最大12万8千トークン ・Amazon bedrockで使用可能 (セキュアに使用可能) - 医療個人情報も扱い可能 https://aws.amazon.com/jp/bedrock/security-compliance/ https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/data-protection.html
7. 今回使用するLLM Claude2 ・料金 (東京リージョン, 1USD=150.425 JPY) - Claude(2 or 2.1) : 入力1000トークンあたり1.20円 出力1000トークンあたり3.61円
8. 今回使用するLLM GPT-4 ・OpenAI社によって開発されたLLM - 有料版ChatGPTで使用可能なモデル ・Azure AIで利用可能 (セキュアに使用可能) - 医療個人情報も扱い可能 https://www.microsoft.com/ja-jp/industry/blog/health/2023/11/30/directions_for _ai_application-in-hospitals/ ・処理可能なトークン数は32,768 - GPT-4 Turboは最大12万8千トークン
9. 今回使用するLLM GPT-4 ・料金 (東京リージョン, 1USD=142.235JPY) - gpt-4 (32k) : 入力1000トークンあたり9.03円 出力1000トークンあたり18.1円
10. 検証実験 概要 ・医学物理士試験問題をLLMに解かせる - 問題数: 100問 - 選択肢 : a~e (複数選択あり) ・評価手法として、単純な正解率を採用
11. 検証実験 検証データ例
12. 検証実験 検証手法 LLM プロンプト 問題 選択肢 回答 回答理由 回答と、回答理由を出力することで、 モデルがどのような原因でミスを犯したのかを特定しやすい
13. 検証実験 出力例
14. 検証実験 検証結果
15. おわりに ・医学物理士試験問題をLLMに解かせてみた ・GPT-4を用いた結果、正解率78%を達成した ・医療従事者の方と協力しながらモデルをチューニングし、 精度および理由の妥当性を上げていきたい