文献紹介201901_Learning to Summarize Radiology Findings

Transcript

1. - 文献紹介 2019/1/23 - Learning to Summarize Radiology Findings 長岡技術科学大学 自然言語処理研究室 多田太郎
2. About the thesis 2 Authors： Yuhao Zhang, Daisy Yi Ding, Tianpei Qian,Christopher D. Manning, Curtis P. Langlotz Stanford University Conference： Proceedings of the 9th International Workshop on Health Text Mining and Information Analysis (LOUHI 2018), pages 204–213
3. Abstract 　・実際の病院で収集された放射線科レポートから要約を生成 　・既存の非ニューラルおよびニューラルモデルよりもROUGEで高スコア 　・67%の出力で少なくとも人間と同程度の質の要約を実現 　・このタスクに対する最初の取り組み 3
4. 4 Introduction -about radiology report-
5. Introduction 　・放射線科の報告書のImpressionのセクションは要約 　・Impression は概要を医師に伝える際に用いられる 　・Impression の作成は時間がかかり医師にとって負担,間違いも起こりやすい 　モデルの提案 　　→Neural Sequence-to-Sequence Model 　　　Pointer-Generator Network　　 　を用い Impressionを自動生成する 　　→要約を正確に行うために検査のBackground の情報を適切に使用できる様にする 5
6. Introduction 　・放射線科の報告書のImpressionのセクションは要約 　・Impression は概要を医師に伝える際に用いられる 　・Impression の作成は時間がかかり医師にとって負担,間違いも起こりやすい 　モデルの提案 　　→Neural Sequence-to-Sequence Model 　　　Pointer-Generator Network　　 　を用い Impressionを自動生成する 　　→要約を正確に行うために検査のBackground の情報を適切に使用できる様にする 6 　検査の目的、関係する身体の部分、患者の状態などの重要な情報 →Bankgroundでしか触れられないことがある 　Backgroundを別のアテンションエンコーダに入力 　　→放射線科レポートの要約の質の向上
7. Models 7
8. Experiments -data- 　・2010〜2014のスタンフォード病院の放射線科検査データ 　・Stanford CoreNLPでトークン化 　以下の条件のレポートはデータから除外 1. FindingやImpressionのない場合 2. 複数のFindingやImpressionがあるがアラインできない 3. Findingが10語未満、またはImpressionが2語未満 8
9. Experiments -data- 　データセット：合計87,127のレポート 学習： 70％（60,990） 開発： 10％（8,712） テスト： 20％（17,425）　にランダム分割 　・アーカイブシステムの上位12の部位のレポートを使用 　・10ｋを超える部位については、それらから10ｋのレポートをサブサンプリング 9
10. Experiments -data- 10
11. Experiments -Experimental Setup- 　ベースラインモデル 1.S&J-LSA: Steinberger and Jezek (2004) 2.LexRank: Erkan and Radev（2004） 3.Pointer-Generator:　See et al. (2017) (3.のみfindings section,background sectionsとfindings sectionを使う2通り) 　評価 ROUGE-1, ROUGE-2, ROUGE-L 　単語ベクトル Glove 4.5 million レポート, 100 dim 11
12. Results & Analysis 12
13. Results & Analysis 　さらなる評価のために以下４点を確認 ・生成したレポートの有用性 ・別の医療機関のレポートでも要約が行えるか ・学習データに特定の部位がない場合は ・提案モデル出力で出来ていないこと 13
14. Results & Analysis -Clinical Validity with Radiologist Evaluation- 14
15. Results & Analysis 15
16. Results & Analysis -Does the model transfer to reports from another organization?- 　・トレーニングデータの提供元とは異なる組織で使用できるか 　・レポートを書く医師は異なる訓練を受け、異なるテンプレートまたはスタイルに従う 　・インディアナ大学の胸部X線データセットDemner-Fushmanら(2015)を使用 前述の一連の規則でレポートをフィルタリング 2,691レポートをテストデータとして使用 16
17. Results & Analysis -Does the model transfer to reports from another organization?- 17
18. Results & Analysis -Does the model transfer to body parts unseen during training?- 　　・トレーニングデータになかった部位については対応できるか 　　・特定の部位がトレーニングデータに存在しない条件で実験 　　・特定の部位に対応するデータセットをテストデータとする 　　　→データセット全体から特定部位を除いたものを学習（90％）および検証（10％） 18
19. 19 Results & Analysis -Does the model transfer to body parts unseen during training?-
20. Results & Analysis -What is the model missing on?- 　　100個のサンプルされた例を用いてエラーを分析 　　以下4つのタイプのエラーに焦点を当てる。 　　　1. 臨床的に重要な情報が含まれていない 　　　2. 不正確な、または検査結果に存在しない情報が含まれる 　　　3. 反復的または冗長すぎる場合 　　　4. 文法的誤りを含む 　　それぞれの例について、リファレンスと比較して、エラーがあるかどうか確認 　　 →上記エラーに当てはまらなければ良い要約として分類 20
21. 21 Results & Analysis -What is the model missing on?-
22. 22 Results & Analysis -What is the model missing on?-
23. Conclusion 　・放射線科レポートからのImpressionを生成 　・Background情報を用いるカスタマイズされたニューラルモデルを提案 　・実際の病院研究からデータセットを集め、提案モデルはベースラインより優れる 　・有意な臨床的妥当性および組織間の移動性を有する要約を生み出せた 23
24. 24 Results & Analysis -Does the model transfer to reports from another organization?-
25. 25 Results & Analysis -Does the model transfer to body parts unseen during training?-