ACL 参加報告

2018-09-07 にテキストアナリティクス・シンポジウムにて発表した資料です。
http://www.ieice.org/~nlc/wiki/wiki.cgi?page=%C2%E813%B2%F3%A5%C6%A5%AD%A5%B9%A5%C8%A5%A2%A5%CA%A5%EA%A5%C6%A5%A3%A5%AF%A5%B9%A1%A6%A5%B7%A5%F3%A5%DD%A5%B8%A5%A6%A5%E0%A1%A7%BB%B2%B2%C3%CA%E7%BD%B8

Transcript

1. ACL2018 参加報告 (1) 張 培楠 | Peinan Zhang AI Lab, Cyberagent, Inc. 第 13 回テキストアナリティクス・シンポジウム
2. Who Am I ? ▪ 張 培楠 | ちょう ぺいなん | Zhang Peinan ▪ 6 月から Cyberagent の AI Lab でリサーチャー ▫ 広告の自動生成とかをやってます ▪ その前は某 Web 企業で BE エンジニア ▫ Push 通知のパーソナライズとかをやってました ▪ 大学 / 大学院は（首都大 | 都立大）の小町研究室 ▫ 自然言語処理の Sentiment まわりをやってました ▪ 最近カメラにどハマってます 2 @so1owingpixy
3. Table of Contents ACL に初めて参加して感じたことをゆるく話します ▪ ACL とは ▪ ACL 2018 について ▫ 開催地の紹介 ▫ 統計情報や研究の動向 ▫ ベストペーパーなど人気の発表 ▪ まとめと感想 3 半分 半分
4. A bird’s eye view of ACL2018 ACL とは / 規模 / 全体感 Brighton Bathing Boxes
5. What is ACL ACL = Annual Meeting of the Association for Computational Linguistics = + + 5 ▪ 年 1 回開催される計算言語（CL）・自然言語（NLP）分野の トップカンファレンス ▪ 開催地は「北米」→「アジア・オセアニア」→「ヨーロッパ」で巡回 ▫ Beijing/China (2015), Berlin/Germany (2016), Vancouver/Canada (2017), Melbourne/Australia (2018), Florence/Italy (2019), Seattle/US (2020)
6. Where is ACL 諸説ありますが… ▪ 1st Tier ▫ ACL / EMNLP / HLT-NAACL ▪ 2nd Tier ▫ LREC / COLING / EACL / CoNLL / IJCNLP ▪ 3rd Tier ▫ PACLIC / WAT / etc... 6 Computational Linguistics - Google Scholar 統計情報 https://scholar.google.co.jp/citations?view_op=top_venues&hl=ja&vq=eng_computationallinguistics
7. 7 About ACL2018 期間 ▪ 7/15 Sun : Tutorial ▪ 7/16 Mon - 18 Wed : Main Conference ▪ 7/19 Thu - 20 Fri : Workshop 開催場所 ▪ Melbourne Convention and Exhibition Centre
8. 8 About ACL2018 ACL 会場 Melbourne Zoo Melbourne Univ. Melbourne Museum Brighton Beach Flinders Street St. Eureka Skydeck 88 Sea Life St. Kilda Beach State Library of Victoria Melbourne Gaol Uluru Great Ocean Road 期間 ▪ 7/15 Sun : Tutorial ▪ 7/16 Mon - 18 Wed : Main Conference ▪ 7/19 Thu - 20 Fri : Workshop 開催場所 ▪ Melbourne Convention and Exhibition Centre
9. Impressions 所感 A day view of Yarra River
10. 10 会場がとにかく広い
11. 11 会場がとにかく広い 400m 船
12. 12 400m 船 ひと 会場がとにかく広い
13. 13 会場がとにかく広い
14. 14 会場がとにかく広い
15. ピ◯チュウ？ 15 from @acl2018
16. 便利すぎる App 16 ホーム画面 会議スケジュール 会議スケジュール （自分が聞きたい発表） 参加者のコミュニティ ソーシャルイベント
17. 便利すぎる App 17 ソーシャルイベント ホーム画面 会議スケジュール 会議スケジュール （自分が聞きたい発表） 参加者のコミュニティ サッカー好きすぎ スッ
18. Melbourne メルボルン散策 Eureka Skydeck 88
19. In Front of the State Library of Victoria
20. Restaurant in the City Tram
21. Caffe Late
22. Statistics 色々な統計情報 Inside of the State Library of Victoria
23. 23 Statistics of ACL2018 ▪ Acceptance Rate ▫ Total: 24.9% (384/1544) ▫ Long: 25.3% (258/1018) ▫ Short: 24.0% (126/526) ▪ おおよそ 25% 前後を維持 ▪ 他の NLP 系の学会と比べる と比較的に安定している 印象 Conference acceptance rates - ACL Wiki : https://aclweb.org/aclwiki/Conference_acceptance_rates
24. 24 Statistics of ACL2018 ▪ Machine Learning 系の学会と比べると緩やかな増加 AI Index : http://www.aiindex.org/
25. 25 Statistics of ACL2018 ▪ Machine Learning 系の学会と比べると緩やかな増加 10 分くらいでチケットが売り切れたり参加者が人類を 超えることはなさそう https://twitter.com/ML_Hipster/status/792539030948720640
26. 26 Statistics of ACL2018 ▪ Accepted vs. Rejected Paper Titles ▫ Accepted に多くて Rejected に少ない単語 • Learning • Embeddings ▫ Rejected に多くて Rejected に 少ない単語 • Extraction • Answering ▫ 所感 • Embeddings の再興 • 抽出系はウケなかった？
27. 27 Statistics of ACL2018 ▪ Accepted Paper Titles: ACL 2018 vs. ACL 2017 ▫ 2018 に多くて 2017 に少ない単語 • Learning • Embeddings ▫ 2017 に多くて 2018 に少ない 単語 • Knowledge • Detection ▫ Embeddings もそうだけど semantics に対するアプローチが 増えた印象 他にも piqcy (@icoxfog417) さんの分析が面白いのでぜひ参考に ACL Accepted Papers Analysis | Kaggle https://www.kaggle.com/takahirokubo0/acl-accepted-papers-analysis
28. 28 Statistics of ACL2018 Areas (# of submissions) ▪ 情報抽出・テキストマイニング ▪ 機械学習 ▪ 機械翻訳 ▪ Document Analysis ▪ 対話・談話 ▪ Semantics ▪ QA ▪ データソースと評価 ▪ ソーシャルメディア ▪ パージング ▪ 生成 ACL 2018: Statistics on submissions and reviewing - https://acl2018.org/2018/03/12/reviewing-statistics/
29. 29 Statistics of ACL2018 Areas (2017 vs. 2018) ▪ 情報抽出・テキストマイニングが かなり多かった ▫ やや意外だが、産業的な需要としては 妥当な気がする ▫ 前年と比べるとむしろ割合は減っている ▫ Rejected Word Cloud に Extraction が多かった のは数が多すぎたため？ ▪ 他はなんとなく妥当な気持ち Statistics on Submissions and Status Update – ACL 2017 https://acl2017.wordpress.com/2017/02/15/statistics-on-submissions-and-status-update/
30. Announcing AACL !! AACL = Asia-Pacific Chapter of the Association for Computational Linguistics 30
31. Announcing AACL !! AACL = Asia-Pacific Chapter of the Association for Computational Linguistics 初開催年 ▪ ACL: 1962 ▪ EACL: 1983 ▪ EMNLP: 1996 ▪ NAACL: 2000 ▪ AACL: 2018 IJCNLP との棲み分け ▪ International Joint Conference on Natural Language Processing ▪ IJCNLP は奇数年開催 ▪ AACL は偶数年開催 ▪ 1st AACL は 2020 年 see more information at https://aaclweb.org 31
32. Where will be AACL AACL はどの位置に？ ▪ 1st Tier ▫ ACL / EMNLP / HLT-NAACL ▪ 2nd Tier ▫ LREC / COLING / EACL / CoNLL / IJCNLP ▪ 3rd Tier ▫ PACLIC / WAT / etc... 32 AACL ?
33. Best / Popular Papers ベストペーパーや人気だった発表 Kangaroo Fillet
34. Best Papers Best Long Papers ▪ Finding syntax in human encephalography with beam search ▪ Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information ▪ Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers Best Short Papers ▪ Know What You Don’t Know: Unanswerable Questions for SQuAD ▪ ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions 34
35. Best Papers SQuAD はスタン フォード大学が作り 出した質問応答の データセット。この 論文はその version 2 で、v1 でできなかっ た「分からない」こ とにも対処できるよ うに改善したもの。 35 Best Long Papers ▪ Finding syntax in human encephalography with beam search ▪ Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information ▪ Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers Best Short Papers ▪ Know What You Don’t Know: Unanswerable Questions for SQuAD ▪ ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions
36. Best Papers RGB 値と比較となる ような単語（「より 明るく」、「もっと 暗く」など）を与え ることで、RGB の色 空間内で比較を行 い、単語の意味に即 した色を返してくれ る 36 Best Long Papers ▪ Finding syntax in human encephalography with beam search ▪ Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information ▪ Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers Best Short Papers ▪ Know What You Don’t Know: Unanswerable Questions for SQuAD ▪ ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions
37. Best Papers 情報が不足している 質問に対して、不足 している情報を補え るような適切な質問 を行えているかを測 る Clarification Question Ranking と いう新たなタスクを 定義し、そのための データセット・モデ ルを提案 37 Best Long Papers ▪ Finding syntax in human encephalography with beam search ▪ Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information ▪ Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers Best Short Papers ▪ Know What You Don’t Know: Unanswerable Questions for SQuAD ▪ ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions
38. Best Papers 人が文を聞く時に脳 内で理解しようとす る時に出る脳波の振 幅は RNNG+Beam search による文生成 の複雑さの指標と相 関関係があるという 調査結果を示す論文 38 Best Long Papers ▪ Finding syntax in human encephalography with beam search ▪ Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information ▪ Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers Best Short Papers ▪ Know What You Don’t Know: Unanswerable Questions for SQuAD ▪ ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions
39. Best Papers “again” などといった adverbial presupposition triggers (日本語では副詞の ”前 提条件” って意味らし い) の検出を試みた言 語哲学系の論文 39 Best Long Papers ▪ Finding syntax in human encephalography with beam search ▪ Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information ▪ Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers Best Short Papers ▪ Know What You Don’t Know: Unanswerable Questions for SQuAD ▪ ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions
40. Best Papers 新しいタスクの定義、 言語学・人の認知・ マルチモーダル、 データセット作成と いった精度向上に限ら ず他分野とのクロスや 言語資源の拡充、新し いアイデアが評価され た印象 40 Best Long Papers ▪ Finding syntax in human encephalography with beam search ▪ Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information ▪ Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers Best Short Papers ▪ Know What You Don’t Know: Unanswerable Questions for SQuAD ▪ ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions
41. Popular Papers 発表の参加者数と Like 数を集計してみた 集計条件 ▪ 参加者数が 70+ の発表のみ （アプリに Export 機能がなく全てが手作業による集計のため） ▪ Target Session Categories ▫ Tutorial ▫ Oral ▪ Metrics ▫ # of Attendees ▫ Likes / Attendees Rate ▪ 数値は参考程度に 41 # of Attendees # of Likes 集計結果: https://docs.google.com/spreadsheets/d/11nM8yZ3ZlCDoiIZCDn1eczGndUzyRAne51VHeMUN_Dk/edit?usp=sharing
42. Tutorials 42 ▼ Sort by # of Attendees ▼ Sort by Likes / Attendees Rate
43. Tutorials 43 ▼ Sort by # of Attendees ▼ Sort by Likes / Attendees Rate 強化学習、対話・談話、生成系とトレンドが顕著に 隠喩や semantics など言語学に近いもの
44. Oral Presentations (1/2) 44 ▼ Sort by # of Attendees w/ Best Paper Session ▼ Sort by # of Attendees w/o Best Paper Session
45. Oral Presentations (1/2) 45 ▼ Sort by # of Attendees w/ Best Paper Session ▼ Sort by # of Attendees w/o Best Paper Session ベストペーパーセッションはシングルトラック なので参加者が非常に多い ベストペーパーを除くと開催前から話題に なっていた論文が上位に来ていた
46. Oral Presentations (2/2) 46 ▼ Sort by Likes / Attendees Rate
47. Oral Presentations (2/2) 47 ▼ Sort by Likes / Attendees Rate ベストペーパーセッションはシングルトラックなので Like Rate はそこまで 1 番目の研究は内容も面白いし発表も上手かった
48. 48 Summaries まとめと感想 A Wild Penguin
49. Summaries ▪ 一時期流行ってたけど最近落ち着いてた embedding, sentiment が 今回また盛り上がっていた ▪ NLP に閉じずに、画像・音声・人の認知など他分野との横断的な 試みが多くなってきている ▪ CNN より (Bi-) LSTM などの RNN 系の DNN がつよい ▫ 画像処理の分野とは対照的 ▪ Encoder-Decoder / attention を使っているのは当たり前 ▫ 特に attention はあらゆるネットワークに入り込んでいる ▪ subword や形態素など、char level 以上 word level 未満での扱いが 増えてきている印象 ▪ メルボルンに住みたい 49