文献紹介_202002_Is artificial data useful for biomedical Natural Language Processing algorithms?

Transcript

1. - 文献紹介 2020 Feb. 10 - Is artificial data useful for biomedical Natural Language Processing algorithms? 長岡技術科学大学 自然言語処理研究室 多田太郎
2. About the paper 2 Authors： Conference：
3. ・Biomedical領域NLPの開発の主要な障害は、データへのアクセシビリティ ・臨床テキストの疑似データ生成方法を提案 ・生成したデータを使用し、テキスト分類と時間踏まえた関係抽出タスクで実験 ・疑似データによるNN手法の精度向上の可能性を示す ・擬似データのみをトレーニングデータに用いて有用性を確認 3 Abstract
4. ・データ不足は、biomedical領域でのより強力な手法を用いるのに障害 ・疑似データによるデータセットの拡張は、biomedical領域のNLPでも注目される ▷通常の擬似データによる拡張は、20トークン以下の文での取り組みが多い 　　▷医療テキストを対象とする試みはほとんどない ・キーフレーズを使用して、疑似データを生成 ・生成されたデータのみをトレーニングデータに用い、擬似データの有用性を調査 4 Introduction
5. ・擬似データの生成 １． 段落毎にでキーフレーズ抽出 　　２． 文レベルで、生成モデルへの入力 　　　　Transformerモデルを使用 　　３． 擬似データ生成 ・擬似データの評価 ▷内部評価 　　ROUGE-L, BLEU ▷外部評価 　　２タスクで実験（後述） 5 Methodology
6. 外部評価１：3つの方法で実験（classification task,temporal relation extraction task） １．オリジナルデータのみ ２．オリジナルと生成したデータ ３．オリジナルのデータをアップサンプリング 　　良くない生成データを想定 外部評価２： 　生成データのみで実験 （classification task） 6 Methodology
7. ・MIMIC-IIIデータベースからのEHRを使用 ・ICUでの成人患者約5万人の匿名化された臨床データ テキスト生成のデータセット 退院サマリを使用　開発データ：126人の記録をランダムに選定 5ワード未満の長さの文は削除 7 Experimental Setup -Data-
8. 表現型データセット 　1,561人の患者の1,600件の退院サマリー（約180K文） 　患者が病状を患っているか、発症するリスクがあるかを判断するタスク 　データセットには、13の表現型（例、進行がん、進行心臓病、進行肺疾患など） 　テスト：20% (test-pheno)、開発10% (dev-pheno)、 　70%をトレーニングと疑似データ生成のテストに使用 (test-gen-pheno) 8 Experimental Setup -Data-
9. 時間関係データセット　2012 i2b2 temporal relations shared task (Sun et al., 2013b) 　190文書の退院サマリ　開発：10%(dev-temp)、 　残りは疑似データのテストとトレーニングに使用(test-gen-temp) 　テスト：元々のデータのテスト 時間表現に関する病歴のイベントの相対的な順序を決定するタスク 　　イベント(EVENT)、時間表現(TIMEEX3)、それらの時間的関係(TLINK)が注釈 　　この研究ではイベントが同時に起きているか(注釈された関係性の33%)を予測 　　頻度１の単語はプレースホルダーに 9 Experimental Setup -Data-
10. 10 Experimental Setup -Text Generation Models- ・Transformerモデルを使用し、文生成 OpenNMTツールキット（Klein et al.,2017） ・抽出されたキーフレーズを用いて生成（キーフレーズはtrain-genから抽出） Rakeアルゴリズム(Rose et al., 2010)を使用 　　段落ごとに高いスコアから50%取得 ・各文から抽出されたキーフレーズを入力に 　　一文当たり平均2.4キーフレーズ、平均の長さ1.7語
11. 11 Experimental Setup -Text Generation Models-
12. 12 表現型分類タスク(binary classification task) 以下モデルで実験 ・CNN ・Naive Bayes classifier (ワードレベルのBoW) Experimental Setup -Models for Phenotype Classification-
13. 時間関係抽出 ・BiLSTM classifier pre-trained GloVe word embeddings ・Naive Bayes classifier (ワードレベルのBoW) イベントとイベントごとにoverlapしているか否かの2値分類 13 Experimental Setup -Models for Temporal Relations Extraction-
14. 14 Experimental Results -Intrinsic Evaluation- 人手でも確認 　ほとんどの文では、主な意味は保持し、詳細な部分に変更が加わった 　理解できない文はまれであった
15. 15 Experimental Setup -Text Generation Models-
16. 16 Experimental Results -Extrinsic Evaluation- Phenotype Classification
17. 17 特にCNNモデルで精度の向上を確認 Experimental Results -Extrinsic Evaluation- Phenotype Classification
18. ・i2b2 dataset での実験結果 18 Experimental Results -Extrinsic Evaluation- Phenotype Classification
19. ・人手の分析から、生成されたテキストではほとんどの意味が保持 ・疑似データのみを使用した結果は、実際のデータのみを使用した結果と同等 ・本研究は、より長い臨床テキストを生成する問題を検討する最初の研究 ・疑似データを他の下流のタスクに使用する場合、生成されたテキストの臨床的 　妥当性を評価するには、さらなる分析が必要 　　　▷特に臨床研究環境での二次利用をサポートすることを目的としたもの ・テキスト生成モデルを設計するための他のアプローチが必要 19 Discussion
20. ・臨床テキストの疑似データ生成方法を提案 ・生成したデータを使用し、テキスト分類と時間関係抽出タスクで実験 ・疑似データによるNN手法の精度向上の可能性を示す ・擬似データのみをトレーニングデータに用いて有用性を確認 ・データのアクセシビリティの問題を解決するアプローチとなる可能性 20 Conclusion
21. ・Rakeアルゴリズムの元論文 Automatic Keyword Extraction from Individual Documentshttps://www.researchgate.net/publication/227988510_Automatic_ Keyword_Extraction_from_Individual_Documents 21 参考
22. ・gen-key の説明 22 Experimental Results -Extrinsic Evaluation- Phenotype Classification
23. ・NBモデルでの重要単語 23 Experimental Results -Extrinsic Evaluation- Phenotype Classification