Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
商品の属性値抽出タスクにおけるエラー分析
Search
katsutan
February 16, 2017
Technology
0
140
商品の属性値抽出タスクにおけるエラー分析
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田哲弘
katsutan
February 16, 2017
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
210
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
190
Simple task-specific bilingual word embeddings
katsutan
0
200
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
240
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
190
Improving Word Embeddings Using Kernel PCA
katsutan
0
210
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
300
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
250
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
280
Other Decks in Technology
See All in Technology
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
5
610
VGGT: Visual Geometry Grounded Transformer
peisuke
1
620
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
4
830
microCMSではじめるAIライティング
himaratsu
0
120
アクセスピークを制するオートスケール再設計: 障害を乗り越えKEDAで実現したリソース管理の最適化
myamashii
1
330
NewSQLや分散データベースを支えるRaftの仕組み - 仕組みを理解して知る得意不得意
hacomono
PRO
3
230
[ JAWS-UG千葉支部 x 彩の国埼玉支部 ]ムダ遣い卒業!FinOpsで始めるAWSコスト最適化の第一歩
sh_fk2
2
150
Operating Operator
shhnjk
1
650
Enhancing SaaS Product Reliability and Release Velocity through Optimized Testing Approach
ropqa
1
250
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
3
980
20250708オープンエンドな探索と知識発見
sakana_ai
PRO
4
860
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.8k
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
140
7k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Six Lessons from altMBA
skipperchong
28
3.9k
How STYLIGHT went responsive
nonsquared
100
5.6k
How to Ace a Technical Interview
jacobian
278
23k
Being A Developer After 40
akosma
90
590k
Faster Mobile Websites
deanohume
307
31k
Speed Design
sergeychernyshev
32
1k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Docker and Python
trallard
45
3.5k
Transcript
文献紹介: 商品の属性値抽出タスクにおける エラー分析 新里 圭司, 関根 聡, 村上 浩司 自然言語処理
Vol.23(2016) No.1 p.37-58 長岡技術科学大学 自然言語処理研究室 学部3年 勝田哲弘 2017/2/16 図、表などは論文中から引用しています。
概要 • 属性値辞書を用いた単純な辞書マッチに基づく 属性抽出システムを構築し、人手によって属性 値がアノテーションされたコーパスに対してシ ステムを適用することで明らかとなる False-positive, False-negative 事例の分析 •
誤り事例を無くすために必要な処理・データに ついて検討
概要 • エラー分析は実際のオンラインショッピングサ イトで用いられる5つの商品カテゴリから抽出 した100商品のページに対して • 属性値辞書は商品説明文に含まれる表や箇条書 きなどの半構造化データから自動構築したもの
はじめに • 商品説明文から商品の属性-属性値を抽出 例 「フランス産のシャルドネを配した辛口ワイン」 生産地-フランス ブドウ品種-シャルドネ タイプ-辛口
目的 • 属性値辞書に基づく単純なシステムで抽出した 結果のFalse-positive, False-negative 事例の分析 から抽出タスクに内在する課題を明らかにする。 • エラー分析という観点では、100件を対象に 分析し、各事例を分類によってカテゴリ化する。
分析対象データ • 楽天から配布されている商品データから
分析対象データ • 各商品ページのタイトル、商品説明文、販売方 法別説明文に含まれる属性値 • 「フランスのブルゴーニュ産」などは「フラン ス」と「ブルゴーニュ」にするのではなく「フ ランスのブルゴーニュ産」をアノテーションす る。
分析対象データ • 「フランス・ブルゴーニュ産」のように記号を 挟んで属性値が列挙されている場合は別々にア ノテーションする。 ただし固有名詞、数値、サイズ、数値の範囲の場 合は例外とする。 • 括弧の直前、中にある表現が共に属性値と見な せる場合は別々にアノテーションする。
ブルゴーニュ(フランス)
抽出システム • 属性-属性値の抽出 以上のパターンから[ANY]にマッチした表現を [ATTR]に対応する属性として抽出する。 P4においては[ANY]は最初に出現した[ATTR]の 値とする。 [ATTR] 事前に獲得した属性を表す文字列 [ANY]
任意の文字列 [P] ◦•◎□▪・☆★【<[のいずれか [S] :/】>]のいずれか
抽出システム • 同じ意味を持つ属性の集約 「属性a,bが同一の半構造化データに出現してお らず、a,b が店舗頻度の高い同一属性値を取る場 合、a,bは同義である」 という仮説を用いて表記の揺れた属性の認識・集 約を行う。
抽出システム Tシャツの例 「55cm」は「身幅」「着丈」の どちらにもなりえる。 しかし、頻度の高い「身幅」に集約されている。
エラー分析
False-positiveの分析
False-positiveの分析
False-negativeの分析 • 異表記すら辞書に含まれないもの • 異表記は辞書に含まれるもの • 抽出の問題
False-negativeの分析 • 異表記すら辞書に含まれないもの
False-negativeの分析 • 異表記は辞書に含まれるもの
まとめ • より高い精度で属性値を抽出するには ▫ 質とカバレージの高い属性-属性値辞書 ▫ 適切でない商品カテゴリの検出 ▫ 固有表現の認識 ▫
説明文の主題の認識 ▫ 属性値を抽出する際の多義性解消 ▫ メトニミーの認識 ▫ 辞書とテキスト中の表現の柔軟なマッチング