Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
商品の属性値抽出タスクにおけるエラー分析
katsutan
February 16, 2017
Technology
0
100
商品の属性値抽出タスクにおけるエラー分析
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田哲弘
katsutan
February 16, 2017
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
120
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
96
Simple task-specific bilingual word embeddings
katsutan
0
110
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
120
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
89
Improving Word Embeddings Using Kernel PCA
katsutan
0
120
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
120
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
140
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
180
Other Decks in Technology
See All in Technology
ISUCON で使えるツールを作った
shotakitazawa
0
350
tfcon-2022-cpp
cpp
5
4.4k
220428event_ogura_part
caddi_eng
0
170
Understanding Python attributes
reuven
0
550
msal.jsのあれこれ
takas0522
0
1.3k
~スタートアップの人たちに捧ぐ~ 監視再入門 in AWS
track3jyo
PRO
30
8.3k
僕の Microsoft Teams (+α) 便利技紹介 2022年春
taichinakamura
0
2.2k
The Real MVP: Going from idea to users' hands
adavis
0
560
LINEのData Platform室が実践する大規模分散環境のCapacity Planning
line_developers
PRO
0
200
ここらでGPSマルチユニットが如何に使いやすいか本気で説明するから聞きなさい
mitsuzono
0
350
Power BI Premiumでデータ準備!
hanaseleb
1
170
220428event_overview
caddi_eng
2
200
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
314
19k
BBQ
matthewcrist
74
7.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
498
130k
10 Git Anti Patterns You Should be Aware of
lemiorhan
638
52k
Stop Working from a Prison Cell
hatefulcrawdad
261
17k
Producing Creativity
orderedlist
PRO
333
37k
Fantastic passwords and where to find them - at NoRuKo
philnash
25
1.4k
Clear Off the Table
cherdarchuk
79
280k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
3
420
Infographics Made Easy
chrislema
233
17k
How GitHub Uses GitHub to Build GitHub
holman
465
280k
Testing 201, or: Great Expectations
jmmastey
21
5.4k
Transcript
文献紹介: 商品の属性値抽出タスクにおける エラー分析 新里 圭司, 関根 聡, 村上 浩司 自然言語処理
Vol.23(2016) No.1 p.37-58 長岡技術科学大学 自然言語処理研究室 学部3年 勝田哲弘 2017/2/16 図、表などは論文中から引用しています。
概要 • 属性値辞書を用いた単純な辞書マッチに基づく 属性抽出システムを構築し、人手によって属性 値がアノテーションされたコーパスに対してシ ステムを適用することで明らかとなる False-positive, False-negative 事例の分析 •
誤り事例を無くすために必要な処理・データに ついて検討
概要 • エラー分析は実際のオンラインショッピングサ イトで用いられる5つの商品カテゴリから抽出 した100商品のページに対して • 属性値辞書は商品説明文に含まれる表や箇条書 きなどの半構造化データから自動構築したもの
はじめに • 商品説明文から商品の属性-属性値を抽出 例 「フランス産のシャルドネを配した辛口ワイン」 生産地-フランス ブドウ品種-シャルドネ タイプ-辛口
目的 • 属性値辞書に基づく単純なシステムで抽出した 結果のFalse-positive, False-negative 事例の分析 から抽出タスクに内在する課題を明らかにする。 • エラー分析という観点では、100件を対象に 分析し、各事例を分類によってカテゴリ化する。
分析対象データ • 楽天から配布されている商品データから
分析対象データ • 各商品ページのタイトル、商品説明文、販売方 法別説明文に含まれる属性値 • 「フランスのブルゴーニュ産」などは「フラン ス」と「ブルゴーニュ」にするのではなく「フ ランスのブルゴーニュ産」をアノテーションす る。
分析対象データ • 「フランス・ブルゴーニュ産」のように記号を 挟んで属性値が列挙されている場合は別々にア ノテーションする。 ただし固有名詞、数値、サイズ、数値の範囲の場 合は例外とする。 • 括弧の直前、中にある表現が共に属性値と見な せる場合は別々にアノテーションする。
ブルゴーニュ(フランス)
抽出システム • 属性-属性値の抽出 以上のパターンから[ANY]にマッチした表現を [ATTR]に対応する属性として抽出する。 P4においては[ANY]は最初に出現した[ATTR]の 値とする。 [ATTR] 事前に獲得した属性を表す文字列 [ANY]
任意の文字列 [P] ◦•◎□▪・☆★【<[のいずれか [S] :/】>]のいずれか
抽出システム • 同じ意味を持つ属性の集約 「属性a,bが同一の半構造化データに出現してお らず、a,b が店舗頻度の高い同一属性値を取る場 合、a,bは同義である」 という仮説を用いて表記の揺れた属性の認識・集 約を行う。
抽出システム Tシャツの例 「55cm」は「身幅」「着丈」の どちらにもなりえる。 しかし、頻度の高い「身幅」に集約されている。
エラー分析
False-positiveの分析
False-positiveの分析
False-negativeの分析 • 異表記すら辞書に含まれないもの • 異表記は辞書に含まれるもの • 抽出の問題
False-negativeの分析 • 異表記すら辞書に含まれないもの
False-negativeの分析 • 異表記は辞書に含まれるもの
まとめ • より高い精度で属性値を抽出するには ▫ 質とカバレージの高い属性-属性値辞書 ▫ 適切でない商品カテゴリの検出 ▫ 固有表現の認識 ▫
説明文の主題の認識 ▫ 属性値を抽出する際の多義性解消 ▫ メトニミーの認識 ▫ 辞書とテキスト中の表現の柔軟なマッチング