Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Fine-Grained Contextual Predictions for Ha...
Search
Shohei Okada
November 04, 2014
Research
0
88
文献紹介:Fine-Grained Contextual Predictions for Hard Sentiment Words
動画
https://www.youtube.com/watch?v=69WnudOGIBw&list=PL6SnxjlP6lpHdWaieYa0BGVuj8fgfiIw1&index=47
Shohei Okada
November 04, 2014
Tweet
Share
More Decks by Shohei Okada
See All by Shohei Okada
たった 1 枚の PHP ファイルで実装する MCP サーバ / MCP Server with Vanilla PHP
okashoi
1
230
どうして手を動かすよりもチーム内のコードレビューを優先するべきなのか
okashoi
3
1.4k
パスワードのハッシュ、ソルトってなに? - What is hash and salt for password?
okashoi
3
210
設計の考え方 - インターフェースと腐敗防止層編 #phpconfuk / Interface and Anti Corruption Layer
okashoi
11
3.8k
"config" ってなんだ? / What is "config"?
okashoi
0
1.2k
ファイル先頭の use の意味、説明できますか? 〜PHP の namespace と autoloading の関係を正しく理解しよう〜 / namespace and autoloading in php
okashoi
4
1.6k
MySQL のインデックスの種類をおさらいしよう! / overviewing indexes in MySQL
okashoi
0
900
PHP における静的解析(あるいはそもそも静的解析とは) / #phpcondo_yasai static analysis for PHP
okashoi
1
610
【PHPカンファレンス沖縄 2023】素朴で考慮漏れのある PHP コードをテストコードとともに補強していく(ライブコーディング補足資料) / #phpcon_okinawa 2023 livecoding supplementary material
okashoi
3
1.9k
Other Decks in Research
See All in Research
NLP Colloquium
junokim
1
160
3D Gaussian Splattingによる高効率な新規視点合成技術とその応用
muskie82
5
2.7k
Principled AI ~深層学習時代における課題解決の方法論~
taniai
3
1.2k
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
700
Vision And Languageモデルにおける異なるドメインでの継続事前学習が性能に与える影響の検証 / YANS2024
sansan_randd
1
110
Cross-Media Information Spaces and Architectures
signer
PRO
0
220
Transparency to sustain open science infrastructure - Printemps Couperin
mlarrieu
1
190
Streamlit 総合解説 ~ PythonistaのためのWebアプリ開発 ~
mickey_kubo
1
940
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
730
EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing
satai
3
340
Ad-DS Paper Circle #1
ykaneko1992
0
5.5k
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
100
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Making Projects Easy
brettharned
116
6.3k
Embracing the Ebb and Flow
colly
86
4.7k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
The Pragmatic Product Professional
lauravandoore
35
6.7k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Facilitating Awesome Meetings
lara
54
6.4k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Transcript
文献紹介 2014/11/04 長岡技術科学大学 自然言語処理研究室 岡田 正平
文献情報 Sebastian Ebert and Hinrich Schütze Fine-Grained Contextual Predictions for
Hard Sentiment Words In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp 1210-1215. 2014. 2014/11/04 文献紹介 2
概要 仮説 「高精度な感情解析には,感情極性が異なる語義を 正確に識別することが不可欠」 語義による感情極性の異なりを扱う 1. “hard”という語に対して解析(仮説の検証) 2. 語義曖昧性解消のための特徴量を学習 3.
実験による精度向上の確認 2014/11/04 文献紹介 3
概要 仮説 「高精度な感情解析には,感情極性が異なる語義を 正確に識別することが不可欠」 語義による感情極性の異なりを扱う 1. “hard”という語に対して解析(仮説の検証) 2. 語義曖昧性解消のための特徴量を学習 3.
実験による精度向上の確認 2014/11/04 文献紹介 4
Linguistic analysis of sentiment contexts of “hard”
語 “hard” についての解析 • Amazon Product Review Data より 5,000
文脈を取得 • うち 4,600 文脈に対して解析を行う – 語義・極性・文脈 – 語義は Cobuild (Sinclair, 1987) をベースにしている – Cobuild 16 語義 → 10 語義 • 200 文脈に対して2名のPhD学生が 10語義 をアノテート – κ=0.78 (かなりの一致) 2014/11/04 文献紹介 6
2014/11/04 文献紹介 7
2014/11/04 文献紹介 8
概要 仮説 「高精度な感情解析には,感情極性が異なる語義を 正確に識別することが不可欠」 語義による感情極性の異なりを扱う 1. “hard”という語に対して解析(仮説の検証) 2. 語義曖昧性解消のための特徴量を学習 3.
実験による精度向上の確認 2014/11/04 文献紹介 9
Deep learning features
Deep learning features 語義曖昧性解消を行えるようにするため Deep learning を 用いて以下2つの特徴量を学習する • word
embeddings • deep learning language model (LM) – 文脈を推定するモデル (predicted context distribution (PCD)) 2014/11/04 文献紹介 11 “serious” “difficult” word context “a * problem”
• vectorized log-bilinear language model (vLBL) = 1 , ⋯
, : context : input representation of word : target representation 2014/11/04 文献紹介 12
• 語と文脈の類似度が計算できる • パラメータθは – 入力空間および対象空間 の word embeddings –
文中の位置による重みベクトル ∈ – バイアス ∈ 2014/11/04 文献紹介 13
• English Wikipedia 中の頻出 100,000 語 が対象 • 無作為に抽出された13億の7-gramを用いて4回学習 2014/11/04
文献紹介 14
概要 仮説 「高精度な感情解析には,感情極性が異なる語義を 正確に識別することが不可欠」 語義による感情極性の異なりを扱う 1. “hard”という語に対して解析(仮説の検証) 2. 語義曖昧性解消のための特徴量を学習 3.
実験による精度向上の確認 2014/11/04 文献紹介 15
Experiments
実験 1 • 語義曖昧性解消に統計的な分類モデルを使用 – liblinear を利用 • 3種の素性 –
ngrams (n = 1~3) – embeddings (Blacoe and Lapata (2012)) – PCDs (提案手法) • 4,600 文脈 → training: 4,000, development: 600 2014/11/04 文献紹介 17
2014/11/04 文献紹介 18
実験 2 • 4,000 文脈を 100 クラスタにクラスタリング • 各クラスタにアノテーションを行い同様の実験 –
アノテーションコストの軽減 2014/11/04 文献紹介 19
2014/11/04 文献紹介 20
実験 3 • テストセットに対しての性能評価(オープンテスト) 2014/11/04 文献紹介 21