構文片を用いた日報からの障害情報抽出

Transcript

1. 構文片を用いた 日報からの障害情報抽出 長岡技術科学大学 電気系 柿元 芳文 , 山本 和英

2. はじめに 日々の報告を電子文書で提出 管理職による閲覧 問題があれば対応 非常に高コスト 問題のある表現を自動的に抽出したい

3. 障害情報の定義 ある日報の中で何らかの障害を報告 している表現 障害の内容を把握できる単位が必要 係り受けの対を基とした構文片を用いた [Aoki et al. 07] 障害情報例

   サーバーが → 壊れる 椅子が → 壊れる

4. 手法概要 Livedoor Blog 価格.com 障害 日報 非障害 日報 学習データ 辞書の

   拡張 障害情報辞書 新規入力日報 入力構文片 入力日報の 障害情報抽出 構文片のスコアリング マッチング A B C

5. 学習データ 収集ルールは人手により設定 Livedoor Blog „ 障害日報 2,410件 „ 非障害日報 3,651,242件

   価格.com クチコミ掲示板 „ 障害日報 30,000件 „ 非障害日報 1,712,999件 A

6. 障害情報辞書の作成 構文片にスコアを付与する „ 障害日報と非障害日報での出現の偏りを 用いた „ -１～+１のスコアを付与 出現頻度による信頼性を考慮 „ 確率の信頼区間推定法を用いた

   [藤村ら 04] [Alan et al. 98] 正のスコアとなった構文片を辞書へ登録 B

7. 辞書をそのまま用いると „ 学習データ中の障害情報しか抽出 できない 未知の障害への対応が必要 辞書の拡張概要 動作が遅い 検索が 表示が 対応が

   ・・・ 検索が遅い 表示が遅い 対応が遅い ・・・ 類似したサ変名詞 を検索 辞書へ追加 C

8. Webコーパス 構文片 辞書中の構文片の拡張 „サ変名詞が対象 „前項、後項双方に行う 係り先の類似性を基に拡張

9. 評価実験 ２つの評価 „ 辞書を用いた二値分類精度の評価 „ 抽出された障害情報の評価 評価データ „ 被験者３人により作成 „

   障害日報、非障害日報に分類 „ ３人一致の日報のみ使用 „ 障害日報、非障害日報 133件、 133件

10. 評価：辞書を用いた二値分類精度 F値の最大値 0.772 適合率 0.724 再現率 0.827

11. 評価基準 基準（１） „ 何らかの障害を表している 基準（２） „ 直接的に障害を表してはいないが、 何らかの障害を連想することができる 基準（３） „

    障害を表しておらず、連想することも できない

12. 考察：二値分類時の誤抽出 傾きが一定 → どの閾値帯でも同程度の誤りを含んでいる 障害らしい構文片を得られるが最適とは言えない

13. 評価：得られた障害情報 基準 障害情報 （１） 画面が ⇒ 表示されない 遅延が ⇒ 発生する

    音が ⇒ 途切れる （２） サポートに ⇒ 電話する 販売店に ⇒ 返品する 原因を ⇒ 特定する （３） コンセントを ⇒ 抜く 電源を ⇒ 入れる 一度も ⇒ 繋がる

14. 評価：拡張で得られた障害情報 基準 拡張元 拡張先 （１） 悪い⇒サービス 悪い⇒イメージ 検索が⇒出来ない 表示が⇒出来ない （２）

    サポートに⇒連絡する サポートに⇒相談する エラーが⇒出る マークが⇒出る （３） 連絡を⇒くれる 返事を⇒くれる 基準（１）まで正解 ： 適合率 0.30 基準（２）まで正解 ： 適合率 0.40

15. 終わりに 日報から障害情報を自動的に抽出す る手法を提案 構文片を用いて辞書を自動構築 二値分類器としての評価でF値0.772 抽出された障害情報の評価で 適合率0.40

16. スコア算出式 P（w i ） : ある構文片w i が出現した障害日誌の数 N（w i

    ） : ある構文片w i が出現した障害日誌の数 P doc : 障害日報の総数 N : 非障害日報の総数

17. 信頼区間推定法

18. 学習データ Livedoor Blog „ 障害情報 Šタグに「トラブル」が入っている Šタイトルに「トラブル」が入っている „ 非障害情報 Šタイトル及び本文に「トラブル」が入っていな

    い 価格.com クチコミ掲示板 „ 障害情報 Šタグが「悪い」に設定されている „ 非障害情報 Šタグが「悪い」「質問」以外に設定されている

19. 拡張の概要