Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストメディア特論 「会社名」の抽出
Search
Lamron
October 01, 2023
Research
0
61
テキストメディア特論 「会社名」の抽出
Lamron
October 01, 2023
Tweet
Share
More Decks by Lamron
See All by Lamron
テキストメディア特論 類似した「名前」の同一性の判定
lamrongol
0
50
Blueskyでは何が話し合われているか。「情報技術は民主主義を生み、今は殺そうとしている」
lamrongol
0
4.3k
要約: Formal Approaches in Categorization: Chapter.5 Semantics without categorization
lamrongol
0
2.5k
Blueskyの「今」がわかる!Bot
lamrongol
0
1.6k
Other Decks in Research
See All in Research
MIRU2024_招待講演_RALF_in_CVPR2024
udonda
1
320
初めての研究発表を成功させよう! スライド作成の基本
ayaco0
11
4.5k
Weekly AI Agents News! 6月号 プロダクト/ニュースのアーカイブ
masatoto
0
130
SNLP2024:Planning Like Human: A Dual-process Framework for Dialogue Planning
yukizenimoto
1
270
自動運転・AIシステムの問題を賢く探す・賢く直す / Smart Search & Repair Techniques for Automated Driving Systems and AI Systems
ishikawafyu
0
200
大規模言語モデル (LLM) の技術と最新動向
ikuyamada
33
19k
システムから変える 自分と世界を変えるシステムチェンジの方法論 / Systems Change Approaches
dmattsun
3
730
Weekly AI Agents News! 7月号 論文のアーカイブ
masatoto
1
180
授業評価アンケートのテキストマイニング
langstat
1
340
Как стать 10x экспертом
ikurochkin
1
120
大規模言語モデルを用いた日本語視覚言語モデルの評価方法とベースラインモデルの提案 【MIRU 2024】
kentosasaki
2
450
最近のVisual Odometryと Depth Estimation
sgk
1
160
Featured
See All Featured
How to Ace a Technical Interview
jacobian
274
23k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Navigating Team Friction
lara
183
14k
How To Stay Up To Date on Web Technology
chriscoyier
786
250k
The Pragmatic Product Professional
lauravandoore
31
6.2k
We Have a Design System, Now What?
morganepeng
48
7.1k
How GitHub (no longer) Works
holman
310
140k
Code Reviewing Like a Champion
maltzj
518
39k
Building a Scalable Design System with Sketch
lauravandoore
458
32k
Intergalactic Javascript Robots from Outer Space
tanoku
268
27k
For a Future-Friendly Web
brad_frost
174
9.3k
Transcript
「会社名」の抽出 @lamrongol
「~社」などの表現から会社名を判断する方法には限界 がある 切れ目の判断が難しい(「・」は切れ目か否か、など) 「オラクル」のように「~社」の形になってないものは社名と判 断できない 「東電」などの略称もある
あらかじめどのような会社名があるか登録しておけばよ い
Wikipedia の利用 Wikipediaの特徴 各項目には多くの場合「千葉県の会社」などカテゴリが 付与されている 一定の規則に基づいた文書が大量にある
人手による更新・訂正が行われるので正確性がある程 度保証されている 大量の「会社名」データを手に入れることができる (Wikipediaのデータベース・ダンプを利用)
略称の取得 略称と正式名称の関連も取得できる 例)「日立」というリンクから「日立製作所」につな がっている場合 「日立」=「日立製作所」と関連付けられる
Wikipedia以外からの取得 Web上にはWikipedia以外の文書も大量にある しかし、それらはWikipediaのように「企業」であることが 明記されてるわけではない だが、量は圧倒的に多いのでなんとか活用したい 周りの文章から「会社名」であることを判断できな
いか? 「〇〇は東証一部に上場した~」 「〇〇は1997年に創業した~」
構造化されてない文章からの会社名の取得 まず、Wikipediaなど構造化されているデータを「訓 練データ」として用いる 前後の単語から、会社名を判断する確率モデルを作 る 構造化されてないデータ(ブログの文章等)に対して これを適用し、会社名を取り出す
P(会社名|創業)= N(会社名∧創業) N(創業)
関連研究の応用 Support Vector Machineを用いた日本語固有表 現抽出[山田 et al] 前後の単語の素性(単語自体だけでなく、品詞の
種類なども含む)ベクトルの集合に対してSVMを行 い、学習させる