自然言語処理研究室 ＮＬＰ２０１４ 報告会 総括 長岡技術科学大学 B4 竹野 峻輔

• 受賞論文に見る傾向 – 係り受け、述語構造解析 関連 多数 – 東北大 多(内、少人数グループによる成果のもの多) • 利用技術における動向 ニューラルネットワーク(NN)※… • Deep Learning…RBN, DBN, auto-encoder – Kevin Duh, Deep Learningの基礎と言語処理への応用,NLP2014 チュー トリアル, – Deep Learning用語集 https://staff.aist.go.jp/y-ichisugi/rapid-memo/deep-learning.html#DBN – 自然言語処理まわりのDeep Learningを自分なりにまとめてみた http://kiyukuta.github.io/2013/09/28/casualdeeplearning4nlp.html • 単語・句・文脈ベクトル(word2vec) ※ACLでも非常に多い傾向 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ NLP2014で見れる動向

鈴木潤 and 永田昌明, “大規模素性集合に対する教師あり縮約モ デリング,” in 言語処理学会 第20回年次大会 発表論文集, 2014, pp. 1063–1066. Jun Suzuki and Masaaki Nagata. Supervised model learning with feature grouping based on a discrete constraint. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 18–23, Sofia, Bulgaria, August 2013. Association for Computa- tional Linguistics. A7：機械学習, 3/20(木) 他 受賞者多 • 村岡雅康, 島岡聖世, 山本風人, 渡邉陽太郎, 岡崎直観, and 乾健太郎, “係り受け関 係を用いた句ベクトルの生成,” in 言語処理学会 第20回年次大会 発表論文集, 2014, no. C, pp. 1055–1058. • 島岡聖世, 村岡雅康, 山本風人, 渡邉陽太郎, 岡崎直観, and 乾健太郎, “ガウス分 布による単語と句の意味の分布的表現,” 言語処理学会 第20回年次大会 発表論文 集, pp. 1051–1054, 2014. 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ 文献紹介

素性数・・・精度⇔メモリ・処理時間のトレードオフ 文献による提案手法(縮約モデリング) 精度を維持したまま素性数を超圧縮できる。 また素性数は利用者で指定できる。 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ 文献紹介 - 大規模素性集合に対する教師あり縮約モデリング

縮約モデリング(提案手法)： 素性のクラスリングを行っている（素性の量子化） ⇒クラスタ数を指定できる スパースモデリング(既存研究)： 素性のグルーピング ⇒クラスタ数を指定できない 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ 文献紹介 - 大規模素性集合に対する教師あり縮約モデリング

ACLによる報告： 縮約モデリングの提案・検討 量子化後のパラメータは手動で経験的に決定 NLP2014における報告： 量子化後のパラメータを自動的に決定 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ 文献紹介 - 大規模素性集合に対する教師あり縮約モデリング

• 論文の向こうの人の存在を意識する。 – 他人にとって面白い点・自分にとって面白い点 – 外に出る・議論する・勉強会に参加する • 研究に臨む態勢 – 動機(Motivation)・貢献(Contribution)が重要 –目的と手段の一致も非常に大事(掛け算) – カッコよさそうに見える言語処理の泥臭い部分 • 計算機ですべてできればカッコいい ⇒ 現実はそう甘くない – データ収集 ⇒ 手動でのアノテート ⇒ 実装 ⇒手動での評価… – 手間が非常に多い。ゆえにやるべきことをしっかり絞る必要 2014/3/25 長岡技術科学大学 自然言語処理研究室 2014年度 Ｂ4ゼミ まとめ・所感