保険関連文書の自動校正支援

丹治 広樹. 保険関連文書の自動校正支援. 長岡技術科学大学修士論文 (2011.3)

Transcript

1. 保険関連文書の 自動校正支援 電気系 山本研究室 07316982 丹治 広樹
2. 背景 金融庁 保険会社 基礎書類 事業方法書 算出方法書 標準約款 派生書類 規定集 マニュアル 印刷約款 契約概要 流用 社員・代理店 契約者 申請 認可 etc. ２ 各種保険協会 ガイドライン 遵守 人手入力 人手校正
3. 使用する文書（基礎書類） ３ 第１章 賠償責任条項 第１条 （用語の定義） この賠償責任条項において、 ～ ・ ・ ・ 第２条 （保険金を支払う場合‐対人賠償） ・ ・ ・
4. 使用する文書（派生書類） ４ Ⅰ 契約概要のご説明 ・ ・ ・ （２） 補償内容 主な補償内容は ～ 補償項目 保険金をお支払する場合 相手方 への賠償 対人賠償 対物賠償 自動車事故により、 ～ ・ ・ ・ ・ ・ ・ ・ ・ ・
5. 使用する文書（派生書類） ４ Ⅰ 契約概要のご説明 ・ ・ ・ （２） 補償内容 主な補償内容は ～ 補償項目 保険金をお支払する場合 相手方 への賠償 対人賠償 対物賠償 自動車事故により、 ～ ・ ・ ・ ・ ・ ・ ・ ・ ・ 基礎書類と対応
6. 背景 金融庁 保険会社 基礎書類 事業方法書 算出方法書 標準約款 派生書類 規定集 マニュアル 印刷約款 契約概要 流用 社員・代理店 契約者 申請 認可 etc. ５ 各種保険協会 ガイドライン 遵守 人手による 校正が困難 人手入力 人手校正 数万ページ
7. 目的 1. 派生書類と基礎書類の自動対応付けに より、人手による検索等の労力を削減 ６ 2. 自動で矛盾認識することにより、人手で 校正する派生書類の文書量を削減
8. 目的 1. 派生書類と基礎書類の自動対応付けに より、人手による検索等の労力を削減 ６ 2. 自動で矛盾認識することにより、人手で 校正する派生書類の文書量を削減
9. 対応付けの手法（１／３）  関連手法（頻度情報を用いた手法） ７ 派生書類 基礎書類 単語TF・IDF or 単語のIDF 単語TF・IDF or 単語のIDF 単語ベクトル 単語ベクトル 内積 or コサイン類似度 類似度
10. 対応付けの手法  人手により校正するとき、何を参考にするか？ 1. 派生書類の文中から手がかりとなる語を選定 2. 基礎書類でその語を検索し、対応を判断 例） ①お車の入替の場合（自動車を新たに取得し ～ ②お車の譲渡の場合（ご契約に適用される ～ 約款 第７章 第８条（被保険自動車の入替） 約款 第７章 第７条（被保険自動車の譲渡） ８ １語で対応付け可能！
11.  提案手法１（基礎書類の語を用いた手法） 対応付けの手法（２／３） ９ 派生書類 基礎書類 手がかり語のヒット数 章のタイトル 条のタイトル 用語の定義 定義文 手がかり語 第１章 ： 第２章 ： 章のタイトル ・ ・ ・
12. 対応付けの手法（３／３）  提案手法２（派生書類の語を用いた手法） １０ 派生書類 基礎書類 単語のIDF 手がかり語 手がかり語のヒット数
13. 対応付けの実験  実験条件 損害保険に関する資料 基礎書類 （保険約款、特約） ： 3,868文 派生書類 （重要事項説明書） ： 964文 １１ 対応なし １対１で対応 453文 対約款：215文 対特約：272文 （重複あり487文） １対多 80文
14. 対応付けの実験  実験結果 １２ 重み 尺度 IDF 内積 正解率 69.2％ TF・IDF コサイン類似度 56.9％ 内積 コサイン類似度 39.2％ 57.3％ 基礎書類の語 42.5％ 派生書類の語 39.2％ 関連手法 提案手法１ 提案手法２ － － 手法
15. 対応付けの実験  実験結果 １２ 重み 尺度 IDF 内積 正解率 69.2％ TF・IDF コサイン類似度 56.9％ 内積 コサイン類似度 39.2％ 57.3％ 基礎書類の語 42.5％ 派生書類の語 39.2％ 関連手法 提案手法１ 提案手法２ － － 手法 正解率約７割で 派生書類の文を対応付けできた
16. 対応付けの考察  人手で手がかり語を抽出した場合 派生書類から人手で手がかり語を抽出 基礎書類で手がかり語が最も多くヒットした章を提示  複数の語を用いた場合 派生書類の文に出現した全内容語を基礎書類と照合 派生書類の語を最も網羅していた章を提示 １３ 正解 不正解 全内容語＼手がかり語 正解 不正解 20語 (9.3％) 67語 (31.2％) 81語 (37.7％) 47語 (21.9％)
17. 対応付けの考察  人手で手がかり語を抽出した場合 派生書類から人手で手がかり語を抽出 基礎書類で手がかり語が最も多くヒットした章を提示  複数の語を用いた場合 派生書類の文に出現した全内容語を基礎書類と照合 派生書類の語を最も網羅していた章を提示 １３ 正解 不正解 全内容語＼手がかり語 正解 不正解 20語 (9.3％) 67語 (31.2％) 81語 (37.7％) 47語 (21.9％) １語で対応付けできる場合と 複数の語を見るべき場合の 判別が重要！
18. 目的 1. 派生書類と基礎書類の自動対応付けに より、人手による検索等の労力を削減 １４ 2. 自動で矛盾認識することにより、人手で 校正する派生書類の文書量を削減
19. １５ 本研究における矛盾  数値の間違い  否定表現の間違い  使用している語の不統一 事故の日から180日以内に～ ⇔ 事故の日から188日以内に～ 以下に該当しない場合 ⇔ 以下に該当する場合 等 ＋ 契約者ご自身 ⇔ 契約者本人
20. 矛盾認識の手法 1. 派生書類特有の単語を辞書に登録 2. 基準を用いて矛盾を含む文を認識 ”False Entailment Recognition”(Li et al. 2008) を参考に基準を作成 商品 本書 別紙 下表 等 １６
21. 使用した基準  数値の不一致  派生書類に出現した数値が基礎書類に存在しない  時間や日付の不一致  派生書類に出現した時間や日付が基礎書類に存在しない  単語の不一致  派生書類に出現した単語が基礎書類に存在しない  「すべて／いずれか」の不一致  派生書類に「すべて／いずれか」という表現が出現したとき、 同様の表現が基礎書類に存在しない  否定表現の不一致  派生書類に「～ない」等の否定表現が出現したとき、 同様の否定表現が基礎書類に存在しない １７
22. 矛盾認識の実験  実験条件 生命保険に関する資料 基礎書類 （保険約款、特約） ： 794文 派生書類 （契約概要、注意喚起情報） ： 224文 （うち矛盾を含む文 ： 82文）  実験結果 再現率 適合率 圧縮率 0.85 0.69 0.46 224→102 １８
23. 矛盾認識の実験  実験条件 生命保険に関する資料 基礎書類 （保険約款、特約） ： 794文 派生書類 （契約概要、注意喚起情報） ： 224文 （うち矛盾を含む文 ： 82文）  実験結果 再現率 適合率 圧縮率 0.85 0.69 0.46 224→102 再現率0.85で 文書量を半分以下に削減できた １８
24. 矛盾認識の考察  極性が定まっていない否定表現  具体例等を含んだ文 保険料をお支払いしない場合 等 共起語等を用いて場面を特定する必要がある １９ 国内や海外旅行中に足を骨折した。 スカイダイビング、ハンググライダー搭乗等、 関連度等により具体例を除外する必要がある 等
25. まとめ（対応付け）  人手による校正を支援するために、基礎書類と 派生書類の自動対応付けを行った  IDF と内積を用いた手法により、正解率約7割で 対応付けすることができた  手がかり語による手法は正解率約４割であった  複数の語を見るべき場合との判別が必要 ２０
26. まとめ（矛盾認識）  基礎書類と派生書類の間にある矛盾を認識した  ５つの基準を用いた手法により、再現率0.85で 文書量を半分以下に削減できた  極性が定まらない否定表現の判別や具体例の 除去が課題である ２１
27. ご清聴ありがとうございました
28. 対応付けの考察  IDFおよび内積を用いた手法が最良 派生書類の文中で繰り返し使用する語は 「保険」「補償」等、対応付けの参考にならない 基礎書類の複数章に言及する文もある ２１  基礎書類との対応が文の長さに依存しないた め、文の長さで正規化するコサイン類似度より 内積の方が適している  １文中での語の出現回数は意味をもたない
29. 対応付けの考察  頻度情報を用いた手法 文の類似度で判断するため、 「人身」「搭乗者」等の重要語を考慮できていない  基礎書類および派生書類の語を用いた手法 主に単語で判断するが重要語が不適切なため、 誤った対応をとった ２２ 重要語抽出の手法を適用して重み付け 周辺文脈も考慮
30. 矛盾認識の成功例  基礎書類にそろえるべき表現  基礎書類と一致しない数値  極性が一意な場合の否定表現 ケガ（傷害） ご自身（本人） クーリング・オフ 等 １８８日（１８０日） ８８％（ ） 等 委託先に取扱いを委託しない場合 等 ２３
31. 残された課題 1. 矛盾認識手法における再現率の向上  場面や極性の判定  具体例の除去 2. 対応付けの精度向上  重要語の検討 3. 対応のない文の判定および1対多の対応付け 4. 各種校正支援システムの実用化 ２４