Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
シソーラスを組み込んだ意味解析システム
Search
katsutan
April 27, 2017
Technology
0
240
シソーラスを組み込んだ意味解析システム
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田哲弘
katsutan
April 27, 2017
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
240
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
220
Simple task-specific bilingual word embeddings
katsutan
0
210
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
270
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
220
Improving Word Embeddings Using Kernel PCA
katsutan
0
230
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
320
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
270
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
300
Other Decks in Technology
See All in Technology
Claude Code のコード品質がばらつくので AI に品質保証させる仕組みを作った話 / A story about building a mechanism to have AI ensure quality, because the code quality from Claude Code was inconsistent
nrslib
12
5.6k
白金鉱業Meetup_Vol.22_Orbital Senseを支える衛星画像のマルチモーダルエンベディングと地理空間のあいまい検索技術
brainpadpr
2
290
わたしがセキュアにAWSを使えるわけないじゃん、ムリムリ!(※ムリじゃなかった!?)
cmusudakeisuke
1
500
JAWS DAYS 2026 楽しく学ぼう!ストレージ 入門
yoshiki0705
2
140
「ストレッチゾーンに挑戦し続ける」ことって難しくないですか? メンバーの持続的成長を支えるEMの環境設計
sansantech
PRO
3
630
20260311 ビジネスSWG活動報告(デジタルアイデンティティ人材育成推進WG Ph2 活動報告会)
oidfj
0
260
AIエージェント、 社内展開の前に知っておきたいこと
oracle4engineer
PRO
2
100
Claude Codeの進化と各機能の活かし方
oikon48
21
12k
Abuse report だけじゃない。AWS から緊急連絡が来る状況とは?昨今の攻撃や被害の事例の紹介と備えておきたい考え方について
kazzpapa3
1
450
vLLM Community Meetup Tokyo #3 オープニングトーク
jpishikawa
0
320
楽しく学ぼう!ネットワーク入門
shotashiratori
3
2.8k
生成AIの利用とセキュリティ /gen-ai-and-security
mizutani
1
1.6k
Featured
See All Featured
Navigating Weather and Climate Data
rabernat
0
130
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
1
2.4k
Keith and Marios Guide to Fast Websites
keithpitt
413
23k
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.1k
Faster Mobile Websites
deanohume
310
31k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Principles of Awesome APIs and How to Build Them.
keavy
128
17k
Rebuilding a faster, lazier Slack
samanthasiow
85
9.4k
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
62
51k
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
1
140
Lessons Learnt from Crawling 1000+ Websites
charlesmeaden
PRO
1
1.1k
The Pragmatic Product Professional
lauravandoore
37
7.2k
Transcript
文献紹介: シソーラスを組み込んだ意味解析シ ステム 国分 芳宏, 梅北 浩二, 松下 栄一, 末岡
隆史 自然言語処理 Vol. 17 (2010) No. 4 P 4_43-4_57 長岡技術科学大学 自然言語処理研究室 学部4年 勝田哲弘 2017/4/28 図、表などは論文中から引用しています。
概要 • 用語の異なり、構文構造の異なりに対処し、解 析精度を向上させる • 対策としては、シソーラスを用いて用語間の意 味的な距離を決定する ▫ 用語の標準化や係り受けの正規化、省略された主 語の復元、文節意図を付与する
• 0.9ポイントの向上
構文構造の決定 • シソーラスを用いて用語同士の意味的な距離の 近いところに係るという方式
構文構造の決定 <P>は並列の意味
意味的な距離の定義 • 例 ネットで -調べる -行く 意味的な距離 1 ∞
意味的な距離の定義 • 未定義のものは関係ごとの意味的な距離を加算 する 狭義語のさらに狭義語は1+1で2と定義される • 同じ言葉でも異なる意味のものは別の言葉とし て管理する
係り受けデータの整理 • シソーラスを用いて用語の標準化
係り受けデータの整理 • 係り受けの正規化 ▫ 限定用法を叙述用法に統一 例 青、い、リンゴ → リンゴ、が、青、い •
間に挟む助詞は4種類に限定
情報の付与 • 文節意図 ▫ 係り受けの語幹までで区切りそれ以降の「付属語 の並び」を管理 • 例 お酒を飲 んでください
係り受け 付属語の並び
情報の付与 このシステムでは130万 行の解析辞書を使用
情報の付与
主語の推定 • 待遇表現による推定 ▫ 謙譲語が使われている動詞は一人称 ▫ 尊敬語は二人称又は三人称 • 文節意図による推定
辞書-シソーラス
解析辞書 • 各用語に付与されている情報 • 名詞の意味
解析辞書 • 用言()内は活用語尾
解析辞書 • 動詞の性質 • 付属語の並び
実験 • Yahoo!知恵袋データ2004年4月の質問記事 (5957記事、15883文)を用いて、 cabochaとの解析精度を比較 • また、シソーラスをシステムに組み込んだ場合 とそうでない場合を比べる
結果 • 13.8ポイント上回っている • シソーラスの有無では全体の15883文に対 して0.9%向上している
結果 • 成功例 「音楽がいつまでたっても始まりません」 • 失敗例 「警察の方に話がいっているかわからない」
まとめ • シソーラスによる意味的な距離を考慮すると、 0.9%向上した • 係り受け語の規模が小さかったため対応が取れ なかった • 会話体の文章を扱うため、用語をうまくまとめ られなかった