Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Bayesian Optimization of Text Representations
Search
Atom
April 08, 2019
Technology
0
130
文献紹介:Bayesian Optimization of Text Representations
長岡技術科学大学
自然言語処理研究室
吉澤亜斗武
Atom
April 08, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
90
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
96
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
56
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
2
2.8k
Graph Convolutional Networks
roraidolaurent
0
230
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
69
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
100
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
120
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
210
Other Decks in Technology
See All in Technology
ChatGPTとPlantUML/Mermaidによるソフトウェア設計
gowhich501
1
130
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
370
DevIO2025_継続的なサービス開発のための技術的意思決定のポイント / how-to-tech-decision-makaing-devio2025
nologyance
1
390
「どこから読む?」コードとカルチャーに最速で馴染むための実践ガイド
zozotech
PRO
0
310
オブザーバビリティが広げる AIOps の世界 / The World of AIOps Expanded by Observability
aoto
PRO
0
370
AIのグローバルトレンド2025 #scrummikawa / global ai trend
kyonmm
PRO
1
280
La gouvernance territoriale des données grâce à la plateforme Terreze
bluehats
0
170
新アイテムをどう使っていくか?みんなであーだこーだ言ってみよう / 20250911-rpi-jam-tokyo
akkiesoft
0
240
2025年になってもまだMySQLが好き
yoku0825
8
4.7k
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
400
2025年夏 コーディングエージェントを統べる者
nwiizo
0
140
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
21
10k
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
696
190k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
How GitHub (no longer) Works
holman
315
140k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Designing for Performance
lara
610
69k
Visualization
eitanlees
148
16k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Being A Developer After 40
akosma
90
590k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
840
Transcript
Bayesian Optimization of Text Representations Dani Yogatama, Lingpeng Kong, Noah
A.Smith 文献紹介 2019/4/8 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武 Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 2100–2105, Lisbon, Portugal, 17-21 September 2015.
Abstract ・機械学習の手法において,入力するテキストの表現方法を 逐次的最適化によって自動決定する方法を提案 ・標準的な線形モデルがニューラルネットワークなどの 非線形モデルに迫る性能を発揮 ・特に,トピック分類や感情分析において有効 2
1. Introduction ・機械学習の入力にテキストを入れる際,複数のテキスト 表現があり,その比較実験に時間がかかることが多い. 例)stop words を取り除くか,否か? 単語の重みづけは二値か,あるいは TF-IDF か?
・これらの組み合わせの決定は,パフォーマンスに重要 ・ハイパーパラメータの最適化と同様に扱えるのでは? ・sequential model based optimization (SMBO) を適応する. 3
2. Problem Formulation and Notation ・訓練データ: = . 1 ,
, 1 , ⋯ , . 𝑛𝑛 , , 𝑛𝑛 . 𝑛𝑛 : 番目の入力文書 , 𝑛𝑛 :出力空間(分類先) ・開発データを用いて,適当な指標(分類精度,尤度,F値)を 用いてハイパーパラメータを調整する. ・入力のベクトル表現: ・ = () 4
3. Bayesian Optimization 5
3. Bayesian Optimization 6 Tree-structured Parzen estimator (TPE)
3. Bayesian Optimization 7
4. Experiments 8 ・本手法をロジスティック 回帰に適用した. ・Hyperparameterの推定の 試行は30回行った. ・ベースラインと同じ訓練/ テストを行い,開発データは 訓練データのうち2割を使う.
4. Experiments 9 ・Amazonの家電製品の レビュー ・IMDB の映画のレビュー ・上記の感情の2値分類
4. Experiments 10 ・米国議会の議論のデータセット(賛成,反対の投票の予測)
4. Experiments 11 ・20のトピック分類(20Newsgroups)
4. Experiments 12
5. Discussion 13
6. Conclusion 14 ・ベイズ最適化によってさまざまな分類問題に対して テキスト表現に関する選択の最適化を行った. ・トピック分類と感情分析において標準的な線形モデル (ロジスティック回帰)が既存の最高精度に迫ることを示した.