自然言語処理研究室_NLP2014報告書

まとめ

Transcript

1. 自然言語処理研究室 ＮＬＰ２０１４ 報告会 総括 長岡技術科学大学 B4 竹野 峻輔
2. • 受賞論文に見る傾向 – 係り受け、述語構造解析 関連 多数 – 東北大 多(内、少人数グループによる成果のもの多) • 利用技術における動向 ニューラルネットワーク(NN)※… • Deep Learning…RBN, DBN, auto-encoder – Kevin Duh, Deep Learningの基礎と言語処理への応用,NLP2014 チュー トリアル, – Deep Learning用語集 https://staff.aist.go.jp/y-ichisugi/rapid-memo/deep-learning.html#DBN – 自然言語処理まわりのDeep Learningを自分なりにまとめてみた http://kiyukuta.github.io/2013/09/28/casualdeeplearning4nlp.html • 単語・句・文脈ベクトル(word2vec) ※ACLでも非常に多い傾向 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ NLP2014で見れる動向
3. 鈴木潤 and 永田昌明, “大規模素性集合に対する教師あり縮約モ デリング,” in 言語処理学会 第20回年次大会 発表論文集, 2014, pp. 1063–1066. Jun Suzuki and Masaaki Nagata. Supervised model learning with feature grouping based on a discrete constraint. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 18–23, Sofia, Bulgaria, August 2013. Association for Computa- tional Linguistics. A7：機械学習, 3/20(木) 他 受賞者多 • 村岡雅康, 島岡聖世, 山本風人, 渡邉陽太郎, 岡崎直観, and 乾健太郎, “係り受け関 係を用いた句ベクトルの生成,” in 言語処理学会 第20回年次大会 発表論文集, 2014, no. C, pp. 1055–1058. • 島岡聖世, 村岡雅康, 山本風人, 渡邉陽太郎, 岡崎直観, and 乾健太郎, “ガウス分 布による単語と句の意味の分布的表現,” 言語処理学会 第20回年次大会 発表論文 集, pp. 1051–1054, 2014. 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ 文献紹介
4. 素性数・・・精度⇔メモリ・処理時間のトレードオフ 文献による提案手法(縮約モデリング) 精度を維持したまま素性数を超圧縮できる。 また素性数は利用者で指定できる。 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ 文献紹介 - 大規模素性集合に対する教師あり縮約モデリング
5. 縮約モデリング(提案手法)： 素性のクラスリングを行っている（素性の量子化） ⇒クラスタ数を指定できる スパースモデリング(既存研究)： 素性のグルーピング ⇒クラスタ数を指定できない 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ 文献紹介 - 大規模素性集合に対する教師あり縮約モデリング
6. ACLによる報告： 縮約モデリングの提案・検討 量子化後のパラメータは手動で経験的に決定 NLP2014における報告： 量子化後のパラメータを自動的に決定 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ 文献紹介 - 大規模素性集合に対する教師あり縮約モデリング
7. • 論文の向こうの人の存在を意識する。 – 他人にとって面白い点・自分にとって面白い点 – 外に出る・議論する・勉強会に参加する • 研究に臨む態勢 – 動機(Motivation)・貢献(Contribution)が重要 –目的と手段の一致も非常に大事(掛け算) – カッコよさそうに見える言語処理の泥臭い部分 • 計算機ですべてできればカッコいい ⇒ 現実はそう甘くない – データ収集 ⇒ 手動でのアノテート ⇒ 実装 ⇒手動での評価… – 手間が非常に多い。ゆえにやるべきことをしっかり絞る必要 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ まとめ・所感