放射線分野の問題をLLMに解かせてみた

自己紹介 名前 : 森 大輝 年齢: 25才 出身: 徳島県 専門分野: 音声認識, 自然言語処理 趣味: 野球観戦, 猫と遊ぶ

自己紹介

概要 医学物理士試験を、LLMに解かせる

今回使用するLLM Claude2 ・Anthropic社によって開発されたLLM (Anthropic社はOpenAIの元研究者が立ち上げたスタートアップ企業) ・Googleが450億円、Amazonが6000億円出資して開発したモデル ・Claude3がリリースされ期待大 　claude2公式: 　　https://www.anthropic.com/index/claude-2 　モデルカード: 　　https://www-files.anthropic.com/production/images/ModelCardClaude2_with_appendix.pdf?dm=1700589594

今回使用するLLM Claude2 ・最大10万トークンの処理が可能 (claude2.1は20万トークン) - GPT-4は32,768 - GPT-4 Turboは最大12万8千トークン ・Amazon bedrockで使用可能 (セキュアに使用可能) - 医療個人情報も扱い可能 https://aws.amazon.com/jp/bedrock/security-compliance/ https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/data-protection.html

今回使用するLLM Claude2 ・料金 (東京リージョン, 1USD=150.425 JPY) - Claude(2 or 2.1) : 入力1000トークンあたり1.20円 出力1000トークンあたり3.61円

今回使用するLLM GPT-4 ・OpenAI社によって開発されたLLM - 有料版ChatGPTで使用可能なモデル ・Azure AIで利用可能 (セキュアに使用可能) - 医療個人情報も扱い可能 https://www.microsoft.com/ja-jp/industry/blog/health/2023/11/30/directions_for _ai_application-in-hospitals/ ・処理可能なトークン数は32,768 - GPT-4 Turboは最大12万8千トークン

今回使用するLLM GPT-4 ・料金 (東京リージョン, 1USD=142.235JPY) - gpt-4 (32k) : 入力1000トークンあたり9.03円 出力1000トークンあたり18.1円

検証実験 概要 ・医学物理士試験問題をLLMに解かせる - 問題数: 100問 - 選択肢 : a~e (複数選択あり) ・評価手法として、単純な正解率を採用

検証実験 検証データ例

検証実験 検証手法 LLM プロンプト 問題 選択肢 回答 回答理由 回答と、回答理由を出力することで、 モデルがどのような原因でミスを犯したのかを特定しやすい

検証実験 出力例

検証実験 検証結果

おわりに ・医学物理士試験問題をLLMに解かせてみた ・GPT-4を用いた結果、正解率78%を達成した ・医療従事者の方と協力しながらモデルをチューニングし、 精度および理由の妥当性を上げていきたい