Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文系的な興味を理系的な達成目標に変換する
Search
tatHi
March 19, 2021
Research
7
4.6k
文系的な興味を理系的な達成目標に変換する
言語処理学会第27回年次大会ワークショップ「若手研究者交流のニューノーマルを考える」発表資料
tatHi
March 19, 2021
Tweet
Share
More Decks by tatHi
See All by tatHi
SNLP2023: From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding
tathi
0
370
最長一致法のためのサブワード正則化手法(MaxMatch-Dropout)とその周辺の話
tathi
1
610
最先端NLP2022: Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
tathi
1
590
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
tathi
1
790
要点を聞いてもらえるプレゼンを作ろう
tathi
13
6.1k
Task-Oriented Word Segmentation (Presentation for Doctoral Dissertation)
tathi
3
590
論文紹介: Fast WordPiece Tokenization
tathi
0
510
最先端NLP2021: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
tathi
0
630
最先端NLP2020: Dice Loss for Data-imbalanced NLP Tasks
tathi
0
1.8k
Other Decks in Research
See All in Research
LLM 시대의 Compliance: Safety & Security
huffon
0
590
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
460
AWS 音声基盤モデル トーク解析AI MiiTelの音声処理について
ken57
0
130
言語と数理の交差点:テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
yukiar
5
1.1k
Weekly AI Agents News! 10月号 プロダクト/ニュースのアーカイブ
masatoto
1
190
Bluesky Game Dev
trezy
0
140
ラムダ計算の拡張に基づく 音楽プログラミング言語mimium とそのVMの実装
tomoyanonymous
0
400
JSAI NeurIPS 2024 参加報告会(AI アライメント)
akifumi_wachi
5
820
20241115都市交通決起集会 趣旨説明・熊本事例紹介
trafficbrain
0
990
文化が形作る音楽推薦の消費と、その逆
kuri8ive
0
240
Global Evidence Summit (GES) 参加報告
daimoriwaki
0
240
ECCV2024読み会: Minimalist Vision with Freeform Pixels
hsmtta
1
410
Featured
See All Featured
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
Bash Introduction
62gerente
611
210k
Embracing the Ebb and Flow
colly
84
4.6k
Done Done
chrislema
182
16k
Into the Great Unknown - MozCon
thekraken
35
1.6k
Bootstrapping a Software Product
garrettdimon
PRO
306
110k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
Practical Orchestrator
shlominoach
186
10k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Rails Girls Zürich Keynote
gr2m
94
13k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Transcript
⽂系的な興味を 理系的な達成⽬標に 変換する 東京⼯業⼤学 岡崎研究室 D2 平岡達也 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 1
About Me • 平岡達也 (@7a7hi) • 経歴 • ⾃然⾔語処理 •
~現在 東京⼯業⼤学 岡崎研(博⼠2年) • ~2019 奈良先端科学技術⼤学院⼤学 松本研(修⼠) • 英語教育・理論⾔語学 • ~2017 早稲⽥⼤学 教育学部 英語英⽂学科(学⼠) • 研究の興味 • ⼈間による⾔語獲得,⾔語の構造,⾔語教育 • 実際にやっている研究 • タスクを解くために有益な単語分割の模索 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 2
About Me • 平岡達也 (@7a7hi) • 経歴 • ⾃然⾔語処理 •
~現在 東京⼯業⼤学 岡崎研(博⼠2年) • ~2019 奈良先端科学技術⼤学院⼤学 松本研(修⼠) • 英語教育・理論⾔語学 • ~2017 早稲⽥⼤学 教育学部 英語英⽂学科(学⼠) • 研究の興味 • ⼈間による⾔語獲得,⾔語の構造,⾔語教育 • 実際にやっている研究 • タスクを解くために有益な単語分割の模索 ここのギャップ の埋め⽅ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 3
私の研究テーマ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 4 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) タスクの性能向上に繋がる単語分割の獲得 (具体的,⼯学的)
私の研究テーマ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 5 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) ギャップ タスクの性能向上に繋がる単語分割の獲得
(具体的,⼯学的)
興味→達成目標への変換は難しい 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 6 達成⽬標 (研究テーマ) 興味 タスクの性能向上に繋がる単語分割の獲得 (具体的,⼯学的) ⼈間の⾔語獲得(抽象的,⾔語学的)
ギャップ 意識しないと埋められないギャップがある 興味の分割 興味の具体化 分野的要求 妥協 意識すべきこと
興味も達成目標も大事 興味がない研究→⾷糧のない登⼭と同じ 達成⽬標がない研究→地図がない登⼭と同じ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 7 なんでこんな事 やってるんだろう… 何ができたらゴール なんだっけ…
戦意喪失 遭難
興味→達成目標の変換 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 8 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割 興味の具体化
分野的要求 妥協 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
1: 意識して興味を分割する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 9 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 ・曖昧で哲学的な興味は扱いにくい ・多くの場合,これまでの歴史で先⼈が分割してくれている 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
2: 意識して興味を具体化する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 10 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 ・タスクとして取り組めるレベルまで興味を落とし込む ・興味に関係する類似研究を探して,そこにゴールを寄せる 機械による単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
3: 意識して分野的要求を考慮する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 11 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 ・⼯学だと性能の向上や⾼速化,効率化などを意識する ・研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
3: 意識して分野的要求を考慮する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 12 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 ・⼯学だと性能の向上や⾼速化,効率化などを意識する ・研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的) +テーマの具体化
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 13 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 14 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 15 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 16 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
時間がかかった 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 17 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割 興味の具体化
分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的) B4 M1 M2~D1 現在 遭難!
一人でやるのは難しい • 分野的要求や⽬標の具体化には雑談が必須 • 研究テーマやネタは雑談から⽣まれる • オンラインだとその機会が少なくてしんどい • 私の場合 •
教授とのミーティング(2週間に1度) • 共著者とのミーティング(2週間に1度) • 研究室で⾼瀬さんと雑談 • 週に1回は必ず研究について他者と対話してる (が,⾜りないと思っている) 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 18
Dの会(宣伝) • 学⽣同⼠,気軽にたくさんお話ししましょう 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 19