Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
構文片を用いた日報からの障害情報抽出
Search
自然言語処理研究室
March 31, 2008
Research
0
88
構文片を用いた日報からの障害情報抽出
柿元 芳文, 山本 和英. 構文片を用いた日報からの障害情報抽出. 言語処理学会第14回年次大会, pp.923-926 (2008.3)
自然言語処理研究室
March 31, 2008
Tweet
Share
More Decks by 自然言語処理研究室
See All by 自然言語処理研究室
データサイエンス14_システム.pdf
jnlp
0
330
データサイエンス13_解析.pdf
jnlp
0
370
データサイエンス12_分類.pdf
jnlp
0
290
データサイエンス11_前処理.pdf
jnlp
0
400
Recurrent neural network based language model
jnlp
0
100
自然言語処理研究室 研究概要(2012年)
jnlp
0
98
自然言語処理研究室 研究概要(2013年)
jnlp
0
66
自然言語処理研究室 研究概要(2014年)
jnlp
0
62
自然言語処理研究室 研究概要(2015年)
jnlp
0
110
Other Decks in Research
See All in Research
First Authorに俺はなるっ!! IROS’23 CCC2023 FY
shota_nishiyama
0
150
People Driven Transformation / 人が起点の、社会の変え方
dmattsun
0
130
[ICLR'24] Towards Assessing and Benchmarking Risk-Return Tradeoff of OPE
harukakiyohara_
0
120
説明可能AI:代表的手法と最近の動向
yuyay
1
510
IRではデータ収集がどのように実施・認識されてきたのか
gmoriki
0
340
株式会社リクルートホールディングス 企業分析
frandle256
0
110
脳卒中患者・家族からみた循環器病対策推進基本計画の進捗に関する調査
japanstrokeassociation
0
510
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
300
クロスモーダル表現学習の研究動向: 音声関連を中心として
ryomasumura
3
510
Breaking Tradeoffs: Extremely Scalable Multi-Agent Pathfinding Algorithms
kei18
0
120
Target trial emulationの概要
shuntaros
2
1.1k
Image generation with Shortest Path Diffusion
dasayan05
0
180
Featured
See All Featured
Side Projects
sachag
451
41k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
Designing the Hi-DPI Web
ddemaree
275
33k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
18
1.7k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
242
20k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Designing on Purpose - Digital PM Summit 2013
jponch
109
6.4k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
28
5.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
67
38k
Practical Orchestrator
shlominoach
180
9.7k
Designing for Performance
lara
601
67k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
1
3.3k
Transcript
構文片を用いた 日報からの障害情報抽出 長岡技術科学大学 電気系 柿元 芳文 , 山本 和英
はじめに 日々の報告を電子文書で提出 管理職による閲覧 問題があれば対応 非常に高コスト 問題のある表現を自動的に抽出したい
障害情報の定義 ある日報の中で何らかの障害を報告 している表現 障害の内容を把握できる単位が必要 係り受けの対を基とした構文片を用いた [Aoki et al. 07] 障害情報例
サーバーが → 壊れる 椅子が → 壊れる
手法概要 Livedoor Blog 価格.com 障害 日報 非障害 日報 学習データ 辞書の
拡張 障害情報辞書 新規入力日報 入力構文片 入力日報の 障害情報抽出 構文片のスコアリング マッチング A B C
学習データ 収集ルールは人手により設定 Livedoor Blog 障害日報 2,410件 非障害日報 3,651,242件
価格.com クチコミ掲示板 障害日報 30,000件 非障害日報 1,712,999件 A
障害情報辞書の作成 構文片にスコアを付与する 障害日報と非障害日報での出現の偏りを 用いた -1~+1のスコアを付与 出現頻度による信頼性を考慮 確率の信頼区間推定法を用いた
[藤村ら 04] [Alan et al. 98] 正のスコアとなった構文片を辞書へ登録 B
辞書をそのまま用いると 学習データ中の障害情報しか抽出 できない 未知の障害への対応が必要 辞書の拡張概要 動作が遅い 検索が 表示が 対応が
・・・ 検索が遅い 表示が遅い 対応が遅い ・・・ 類似したサ変名詞 を検索 辞書へ追加 C
Webコーパス 構文片 辞書中の構文片の拡張 サ変名詞が対象 前項、後項双方に行う 係り先の類似性を基に拡張
評価実験 2つの評価 辞書を用いた二値分類精度の評価 抽出された障害情報の評価 評価データ 被験者3人により作成
障害日報、非障害日報に分類 3人一致の日報のみ使用 障害日報、非障害日報 133件、 133件
評価:辞書を用いた二値分類精度 F値の最大値 0.772 適合率 0.724 再現率 0.827
評価基準 基準(1) 何らかの障害を表している 基準(2) 直接的に障害を表してはいないが、 何らかの障害を連想することができる 基準(3)
障害を表しておらず、連想することも できない
考察:二値分類時の誤抽出 傾きが一定 → どの閾値帯でも同程度の誤りを含んでいる 障害らしい構文片を得られるが最適とは言えない
評価:得られた障害情報 基準 障害情報 (1) 画面が ⇒ 表示されない 遅延が ⇒ 発生する
音が ⇒ 途切れる (2) サポートに ⇒ 電話する 販売店に ⇒ 返品する 原因を ⇒ 特定する (3) コンセントを ⇒ 抜く 電源を ⇒ 入れる 一度も ⇒ 繋がる
評価:拡張で得られた障害情報 基準 拡張元 拡張先 (1) 悪い⇒サービス 悪い⇒イメージ 検索が⇒出来ない 表示が⇒出来ない (2)
サポートに⇒連絡する サポートに⇒相談する エラーが⇒出る マークが⇒出る (3) 連絡を⇒くれる 返事を⇒くれる 基準(1)まで正解 : 適合率 0.30 基準(2)まで正解 : 適合率 0.40
終わりに 日報から障害情報を自動的に抽出す る手法を提案 構文片を用いて辞書を自動構築 二値分類器としての評価でF値0.772 抽出された障害情報の評価で 適合率0.40
スコア算出式 P(w i ) : ある構文片w i が出現した障害日誌の数 N(w i
) : ある構文片w i が出現した障害日誌の数 P doc : 障害日報の総数 N : 非障害日報の総数
信頼区間推定法
学習データ Livedoor Blog 障害情報 タグに「トラブル」が入っている タイトルに「トラブル」が入っている 非障害情報 タイトル及び本文に「トラブル」が入っていな
い 価格.com クチコミ掲示板 障害情報 タグが「悪い」に設定されている 非障害情報 タグが「悪い」「質問」以外に設定されている
拡張の概要