Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Bayesian Optimization of Text Representations
Search
Atom
April 08, 2019
Technology
0
130
文献紹介:Bayesian Optimization of Text Representations
長岡技術科学大学
自然言語処理研究室
吉澤亜斗武
Atom
April 08, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
90
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
96
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
56
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
2
2.8k
Graph Convolutional Networks
roraidolaurent
0
230
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
69
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
100
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
120
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
210
Other Decks in Technology
See All in Technology
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
300
新アイテムをどう使っていくか?みんなであーだこーだ言ってみよう / 20250911-rpi-jam-tokyo
akkiesoft
0
300
はじめてのOSS開発からみえたGo言語の強み
shibukazu
1
720
2つのフロントエンドと状態管理
mixi_engineers
PRO
3
110
【初心者向け】ローカルLLMの色々な動かし方まとめ
aratako
7
3.5k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
10
75k
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
320
AIのグローバルトレンド2025 #scrummikawa / global ai trend
kyonmm
PRO
1
300
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
470
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
sh_fk2
3
260
roppongirb_20250911
igaiga
1
240
品質視点から考える組織デザイン/Organizational Design from Quality
mii3king
0
210
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Six Lessons from altMBA
skipperchong
28
4k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Designing for humans not robots
tammielis
253
25k
The Invisible Side of Design
smashingmag
301
51k
GraphQLとの向き合い方2022年版
quramy
49
14k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.7k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Transcript
Bayesian Optimization of Text Representations Dani Yogatama, Lingpeng Kong, Noah
A.Smith 文献紹介 2019/4/8 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武 Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 2100–2105, Lisbon, Portugal, 17-21 September 2015.
Abstract ・機械学習の手法において,入力するテキストの表現方法を 逐次的最適化によって自動決定する方法を提案 ・標準的な線形モデルがニューラルネットワークなどの 非線形モデルに迫る性能を発揮 ・特に,トピック分類や感情分析において有効 2
1. Introduction ・機械学習の入力にテキストを入れる際,複数のテキスト 表現があり,その比較実験に時間がかかることが多い. 例)stop words を取り除くか,否か? 単語の重みづけは二値か,あるいは TF-IDF か?
・これらの組み合わせの決定は,パフォーマンスに重要 ・ハイパーパラメータの最適化と同様に扱えるのでは? ・sequential model based optimization (SMBO) を適応する. 3
2. Problem Formulation and Notation ・訓練データ: = . 1 ,
, 1 , ⋯ , . 𝑛𝑛 , , 𝑛𝑛 . 𝑛𝑛 : 番目の入力文書 , 𝑛𝑛 :出力空間(分類先) ・開発データを用いて,適当な指標(分類精度,尤度,F値)を 用いてハイパーパラメータを調整する. ・入力のベクトル表現: ・ = () 4
3. Bayesian Optimization 5
3. Bayesian Optimization 6 Tree-structured Parzen estimator (TPE)
3. Bayesian Optimization 7
4. Experiments 8 ・本手法をロジスティック 回帰に適用した. ・Hyperparameterの推定の 試行は30回行った. ・ベースラインと同じ訓練/ テストを行い,開発データは 訓練データのうち2割を使う.
4. Experiments 9 ・Amazonの家電製品の レビュー ・IMDB の映画のレビュー ・上記の感情の2値分類
4. Experiments 10 ・米国議会の議論のデータセット(賛成,反対の投票の予測)
4. Experiments 11 ・20のトピック分類(20Newsgroups)
4. Experiments 12
5. Discussion 13
6. Conclusion 14 ・ベイズ最適化によってさまざまな分類問題に対して テキスト表現に関する選択の最適化を行った. ・トピック分類と感情分析において標準的な線形モデル (ロジスティック回帰)が既存の最高精度に迫ることを示した.