Slide 1

Slide 1 text

「会社名」の抽出 @lamrongol

Slide 2

Slide 2 text

 「~社」などの表現から会社名を判断する方法には限界 がある  切れ目の判断が難しい(「・」は切れ目か否か、など)  「オラクル」のように「~社」の形になってないものは社名と判 断できない  「東電」などの略称もある  あらかじめどのような会社名があるか登録しておけばよ い

Slide 3

Slide 3 text

Wikipedia の利用  Wikipediaの特徴  各項目には多くの場合「千葉県の会社」などカテゴリが 付与されている  一定の規則に基づいた文書が大量にある  人手による更新・訂正が行われるので正確性がある程 度保証されている  大量の「会社名」データを手に入れることができる (Wikipediaのデータベース・ダンプを利用)

Slide 4

Slide 4 text

略称の取得  略称と正式名称の関連も取得できる  例)「日立」というリンクから「日立製作所」につな がっている場合  「日立」=「日立製作所」と関連付けられる

Slide 5

Slide 5 text

Wikipedia以外からの取得  Web上にはWikipedia以外の文書も大量にある  しかし、それらはWikipediaのように「企業」であることが 明記されてるわけではない  だが、量は圧倒的に多いのでなんとか活用したい  周りの文章から「会社名」であることを判断できな いか?  「〇〇は東証一部に上場した~」  「〇〇は1997年に創業した~」

Slide 6

Slide 6 text

構造化されてない文章からの会社名の取得  まず、Wikipediaなど構造化されているデータを「訓 練データ」として用いる  前後の単語から、会社名を判断する確率モデルを作 る  構造化されてないデータ(ブログの文章等)に対して これを適用し、会社名を取り出す P(会社名|創業)= N(会社名∧創業) N(創業)

Slide 7

Slide 7 text

関連研究の応用  Support Vector Machineを用いた日本語固有表 現抽出[山田 et al]  前後の単語の素性(単語自体だけでなく、品詞の 種類なども含む)ベクトルの集合に対してSVMを行 い、学習させる