Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
商品の属性値抽出タスクにおけるエラー分析
Search
katsutan
February 16, 2017
Technology
0
140
商品の属性値抽出タスクにおけるエラー分析
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田哲弘
katsutan
February 16, 2017
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
210
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
190
Simple task-specific bilingual word embeddings
katsutan
0
200
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
240
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
190
Improving Word Embeddings Using Kernel PCA
katsutan
0
210
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
290
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
250
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
280
Other Decks in Technology
See All in Technology
Welcome to the LLM Club
koic
0
190
Observability в PHP без боли. Олег Мифле, тимлид Altenar
lamodatech
0
360
Amazon ECS & AWS Fargate 運用アーキテクチャ2025 / Amazon ECS and AWS Fargate Ops Architecture 2025
iselegant
17
5.7k
AIエージェント最前線! Amazon Bedrock、Amazon Q、そしてMCPを使いこなそう
minorun365
PRO
15
5.3k
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
440
解析の定理証明実践@Lean 4
dec9ue
0
180
AIのAIによるAIのための出力評価と改善
chocoyama
2
570
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
220
2年でここまで成長!AWSで育てたAI Slack botの軌跡
iwamot
PRO
4
740
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
900
Node-RED × MCP 勉強会 vol.1
1ftseabass
PRO
0
150
rubygem開発で鍛える設計力
joker1007
2
220
Featured
See All Featured
Site-Speed That Sticks
csswizardry
10
660
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Producing Creativity
orderedlist
PRO
346
40k
Become a Pro
speakerdeck
PRO
28
5.4k
Six Lessons from altMBA
skipperchong
28
3.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
How GitHub (no longer) Works
holman
314
140k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
How to Ace a Technical Interview
jacobian
277
23k
Transcript
文献紹介: 商品の属性値抽出タスクにおける エラー分析 新里 圭司, 関根 聡, 村上 浩司 自然言語処理
Vol.23(2016) No.1 p.37-58 長岡技術科学大学 自然言語処理研究室 学部3年 勝田哲弘 2017/2/16 図、表などは論文中から引用しています。
概要 • 属性値辞書を用いた単純な辞書マッチに基づく 属性抽出システムを構築し、人手によって属性 値がアノテーションされたコーパスに対してシ ステムを適用することで明らかとなる False-positive, False-negative 事例の分析 •
誤り事例を無くすために必要な処理・データに ついて検討
概要 • エラー分析は実際のオンラインショッピングサ イトで用いられる5つの商品カテゴリから抽出 した100商品のページに対して • 属性値辞書は商品説明文に含まれる表や箇条書 きなどの半構造化データから自動構築したもの
はじめに • 商品説明文から商品の属性-属性値を抽出 例 「フランス産のシャルドネを配した辛口ワイン」 生産地-フランス ブドウ品種-シャルドネ タイプ-辛口
目的 • 属性値辞書に基づく単純なシステムで抽出した 結果のFalse-positive, False-negative 事例の分析 から抽出タスクに内在する課題を明らかにする。 • エラー分析という観点では、100件を対象に 分析し、各事例を分類によってカテゴリ化する。
分析対象データ • 楽天から配布されている商品データから
分析対象データ • 各商品ページのタイトル、商品説明文、販売方 法別説明文に含まれる属性値 • 「フランスのブルゴーニュ産」などは「フラン ス」と「ブルゴーニュ」にするのではなく「フ ランスのブルゴーニュ産」をアノテーションす る。
分析対象データ • 「フランス・ブルゴーニュ産」のように記号を 挟んで属性値が列挙されている場合は別々にア ノテーションする。 ただし固有名詞、数値、サイズ、数値の範囲の場 合は例外とする。 • 括弧の直前、中にある表現が共に属性値と見な せる場合は別々にアノテーションする。
ブルゴーニュ(フランス)
抽出システム • 属性-属性値の抽出 以上のパターンから[ANY]にマッチした表現を [ATTR]に対応する属性として抽出する。 P4においては[ANY]は最初に出現した[ATTR]の 値とする。 [ATTR] 事前に獲得した属性を表す文字列 [ANY]
任意の文字列 [P] ◦•◎□▪・☆★【<[のいずれか [S] :/】>]のいずれか
抽出システム • 同じ意味を持つ属性の集約 「属性a,bが同一の半構造化データに出現してお らず、a,b が店舗頻度の高い同一属性値を取る場 合、a,bは同義である」 という仮説を用いて表記の揺れた属性の認識・集 約を行う。
抽出システム Tシャツの例 「55cm」は「身幅」「着丈」の どちらにもなりえる。 しかし、頻度の高い「身幅」に集約されている。
エラー分析
False-positiveの分析
False-positiveの分析
False-negativeの分析 • 異表記すら辞書に含まれないもの • 異表記は辞書に含まれるもの • 抽出の問題
False-negativeの分析 • 異表記すら辞書に含まれないもの
False-negativeの分析 • 異表記は辞書に含まれるもの
まとめ • より高い精度で属性値を抽出するには ▫ 質とカバレージの高い属性-属性値辞書 ▫ 適切でない商品カテゴリの検出 ▫ 固有表現の認識 ▫
説明文の主題の認識 ▫ 属性値を抽出する際の多義性解消 ▫ メトニミーの認識 ▫ 辞書とテキスト中の表現の柔軟なマッチング