Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Web 情報からの罹患検出を対象とした事実性解析・主体解析の誤り分析
Search
katsutan
March 23, 2017
Technology
140
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Web 情報からの罹患検出を対象とした事実性解析・主体解析の誤り分析
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田哲弘
katsutan
March 23, 2017
Transcript
22 slides
文献紹介: Web 情報からの罹患検出を対象とした 事実性解析・主体解析の誤り分析 叶内 晨, 北川 善彬, 荒牧 英治,岡崎
直観, 小町 守 自然言語処理 Vol. 22 (2015) No. 5 p.363-395 長岡技術科学大学 自然言語処理研究室 学部3年 勝田哲弘 図、表などは論文中から引用しています。 1 2017/3/24
概要 • NLPによるソーシャルリスニングの問題点 ▫ ツイートからインフルエンザや風邪などの疾患・ 症状を認識 • 正例と負例の分類は事実性解析と主体解析をう まく組み合わせると精度を向上させることがで きることが分かった。
2
コーパス • 2008年から2010年にかけてTwitter API を用いて30億発言を収集 • 「インフルエンザ」や「風邪」といったキー ワードを含む発言を抽出 3
コーパス • 負例の判断 ▫ 居住地が正確でない発言 ▫ 24時間以内の疾患についての発言でない ▫ 否定の表現、疑問や不確かな発言 4
コーパス • インフルエンザの具体例 5
分類器の誤り分析 • SVMにて構築し、その誤りを人手で分類 6
分類器の誤り分析 • 事実性(時制、モダリティ、否定) • 主体性(非当事者、一般論) • 比喩 7
事実性解析 事実をもつかもたないかの2値分類 • つつじによる素性 ▫ 同じような意味の機能表現をまとめた • Zundaによる素性 ▫ 仮想性の解析
8
インフルエンザ感染の2値分類 • 評価 ▫ 5分割交差検定 ▫ 適合率、再現率、F1-スコア • ツール ▫
Classias(ver.1.1) ▫ MeCab(ver.0.996)、IPA-Dic(ver.2.7.0) 9
インフルエンザ感染の2値分類 • インフルエンザを中心に前後3つの形態素を Bag of Words(BoW)の素性とし、モダリティ以 外の素性を加えたものをベースラインの分類器 として作成 10
インフルエンザ感染の2値分類 • 結果 11
主体解析 • 疾患・症状毎に500件、合計3000件に誰 が主体になっているかのラベル付けをした 12
主体解析 • ラベルの種類 13
主体解析 • 正負の割合(対象が複数の場合は除く) • 主体が認識できれば 14
主体ラベル推定器 • 「風邪」や「頭痛」などの疾患・症状を保有し ている主体ラベルを推定する • 「物体」「主体なし」については主たる対象で はないので統合する • 分類器にClassias 1.1を使い、L2正則化ロジス
ティック回帰モデルを学習 15
主体ラベル推定器 16
主体ラベル推定器 • 精度 5分割交差検定 17
主体ラベル推定器 18
罹患検出 • 推定した主体ラベル、付与した正解の主体ラベ ルを素性として用いた結果 19
事実性解析と主体解析 • 主体ラベルを推定するときはそれぞれの発言を ランダムに500件抽出し正解ラベルを付与し 学習 • 5分割交差検定 20
事実性解析と主体解析 • 事実性解析はインフルエンザにおいて大幅に上 昇した ▫ 返信先が疾患に罹っている場合や比喩的な問題が あるため風邪では精度が上がらなかった • 事実性と主体を組み合わせると主体問題が多少 解決するため全体的に向上した
21
まとめ • 事実性の解析、状態を保有する主体の判定が罹 患検出に貢献する • 実験によって実際に制度が向上していることを 確認した 22
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
280
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
240
Simple task-specific bilingual word embeddings
katsutan
0
250
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
310
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
250
Improving Word Embeddings Using Kernel PCA
katsutan
0
260
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
380
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
310
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
330
Other Decks in Technology
See All in Technology
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
200
メルカリの小規模チーム「Pod」で、 エンジニアがデータアナリストなしで、 AIを使ってデータ分析の自走を目指す取り組み
jackojacko_
1
350
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
270
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
320
閉域網でのAPI公開の選択肢全部比較!
takano0131
5
700
コーディングできない僕にBobが舞い降りた
shumpei3
0
200
成長するID管理基盤における運用もコストも犠牲にしないオブザーバビリティ向上の実践 / Improving Observability for a Growing Identity Platform Without Adding Operational Burden or Cost
kaminashi
1
130
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
500
常時稼働エージェントの作り方(Claude公式ブログを資料化)
minorun365
PRO
20
29k
リリースしたで終わらない。 観測できるフロントエンド開発
yamakenji24
2
240
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1.1k
メディアアートを〈拡張〉する——器官学と個体化論を手がかりに
_kotobuki_
0
110
Featured
See All Featured
Abbi's Birthday
coloredviolet
5
11k
Paper Plane (Part 1)
katiecoart
PRO
3
12k
How to audit for AI Accessibility on your Front & Back End
davetheseo
0
650
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
marketingsoph
0
470
The State of eCommerce SEO: How to Win in Today's Products SERPs - #SEOweek
aleyda
2
12k
Leading Effective Engineering Teams in the AI Era
addyosmani
9
2.9k
Why You Should Never Use an ORM
jnunemaker
PRO
61
10k
Intergalactic Javascript Robots from Outer Space
tanoku
273
28k
Principles of Awesome APIs and How to Build Them.
keavy
128
18k
How Software Deployment tools have changed in the past 20 years
geshan
3
35k
A Modern Web Designer's Workflow
chriscoyier
699
190k
RailsConf 2023
tenderlove
30
1.6k