Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文系的な興味を理系的な達成目標に変換する
Search
tatHi
March 19, 2021
Research
7
4.7k
文系的な興味を理系的な達成目標に変換する
言語処理学会第27回年次大会ワークショップ「若手研究者交流のニューノーマルを考える」発表資料
tatHi
March 19, 2021
Tweet
Share
More Decks by tatHi
See All by tatHi
SNLP2023: From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding
tathi
0
500
最長一致法のためのサブワード正則化手法(MaxMatch-Dropout)とその周辺の話
tathi
1
710
最先端NLP2022: Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
tathi
1
700
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
tathi
1
980
要点を聞いてもらえるプレゼンを作ろう
tathi
14
6.8k
Task-Oriented Word Segmentation (Presentation for Doctoral Dissertation)
tathi
3
660
論文紹介: Fast WordPiece Tokenization
tathi
0
590
最先端NLP2021: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
tathi
0
710
最先端NLP2020: Dice Loss for Data-imbalanced NLP Tasks
tathi
0
2k
Other Decks in Research
See All in Research
2026-01-30-MandSL-textbook-jp-cos-lod
yegusa
0
240
「車1割削減、渋滞半減、公共交通2倍」を 熊本から岡山へ@RACDA設立30周年記念都市交通フォーラム2026
trafficbrain
0
110
競合や要望に流されない─B2B SaaSでミニマム要件を決めるリアルな取り組み / Don't be swayed by competitors or requests - A real effort to determine minimum requirements for B2B SaaS
kaminashi
0
760
2026.01ウェビナー資料
elith
0
220
Collective Predictive Coding and World Models in LLMs: A System 0/1/2/3 Perspective on Hierarchical Physical AI (IEEE SII 2026 Plenary Talk)
tanichu
1
250
R&Dチームを起ち上げる
shibuiwilliam
1
170
製造業主導型経済からサービス経済化における中間層形成メカニズムのパラダイムシフト
yamotty
0
480
LiDARセキュリティ最前線(2025年)
kentaroy47
0
140
2026年1月の生成AI領域の重要リリース&トピック解説
kajikent
0
430
A History of Approximate Nearest Neighbor Search from an Applications Perspective
matsui_528
1
160
20251023_くまもと21の会例会_「車1割削減、渋滞半減、公共交通2倍」をめざして.pdf
trafficbrain
0
180
地域丸ごとデイサービス「Go トレ」の紹介
smartfukushilab1
0
930
Featured
See All Featured
Site-Speed That Sticks
csswizardry
13
1.1k
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
58
50k
Building the Perfect Custom Keyboard
takai
2
690
WCS-LA-2024
lcolladotor
0
450
Utilizing Notion as your number one productivity tool
mfonobong
3
220
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
0
210
Marketing to machines
jonoalderson
1
4.7k
Fashionably flexible responsive web design (full day workshop)
malarkey
408
66k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
760
Information Architects: The Missing Link in Design Systems
soysaucechin
0
780
Building Applications with DynamoDB
mza
96
6.9k
Transcript
⽂系的な興味を 理系的な達成⽬標に 変換する 東京⼯業⼤学 岡崎研究室 D2 平岡達也 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 1
About Me • 平岡達也 (@7a7hi) • 経歴 • ⾃然⾔語処理 •
~現在 東京⼯業⼤学 岡崎研(博⼠2年) • ~2019 奈良先端科学技術⼤学院⼤学 松本研(修⼠) • 英語教育・理論⾔語学 • ~2017 早稲⽥⼤学 教育学部 英語英⽂学科(学⼠) • 研究の興味 • ⼈間による⾔語獲得,⾔語の構造,⾔語教育 • 実際にやっている研究 • タスクを解くために有益な単語分割の模索 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 2
About Me • 平岡達也 (@7a7hi) • 経歴 • ⾃然⾔語処理 •
~現在 東京⼯業⼤学 岡崎研(博⼠2年) • ~2019 奈良先端科学技術⼤学院⼤学 松本研(修⼠) • 英語教育・理論⾔語学 • ~2017 早稲⽥⼤学 教育学部 英語英⽂学科(学⼠) • 研究の興味 • ⼈間による⾔語獲得,⾔語の構造,⾔語教育 • 実際にやっている研究 • タスクを解くために有益な単語分割の模索 ここのギャップ の埋め⽅ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 3
私の研究テーマ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 4 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) タスクの性能向上に繋がる単語分割の獲得 (具体的,⼯学的)
私の研究テーマ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 5 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) ギャップ タスクの性能向上に繋がる単語分割の獲得
(具体的,⼯学的)
興味→達成目標への変換は難しい 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 6 達成⽬標 (研究テーマ) 興味 タスクの性能向上に繋がる単語分割の獲得 (具体的,⼯学的) ⼈間の⾔語獲得(抽象的,⾔語学的)
ギャップ 意識しないと埋められないギャップがある 興味の分割 興味の具体化 分野的要求 妥協 意識すべきこと
興味も達成目標も大事 興味がない研究→⾷糧のない登⼭と同じ 達成⽬標がない研究→地図がない登⼭と同じ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 7 なんでこんな事 やってるんだろう… 何ができたらゴール なんだっけ…
戦意喪失 遭難
興味→達成目標の変換 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 8 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割 興味の具体化
分野的要求 妥協 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
1: 意識して興味を分割する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 9 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 ・曖昧で哲学的な興味は扱いにくい ・多くの場合,これまでの歴史で先⼈が分割してくれている 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
2: 意識して興味を具体化する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 10 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 ・タスクとして取り組めるレベルまで興味を落とし込む ・興味に関係する類似研究を探して,そこにゴールを寄せる 機械による単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
3: 意識して分野的要求を考慮する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 11 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 ・⼯学だと性能の向上や⾼速化,効率化などを意識する ・研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
3: 意識して分野的要求を考慮する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 12 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 ・⼯学だと性能の向上や⾼速化,効率化などを意識する ・研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的) +テーマの具体化
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 13 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 14 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 15 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 16 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
時間がかかった 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 17 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割 興味の具体化
分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的) B4 M1 M2~D1 現在 遭難!
一人でやるのは難しい • 分野的要求や⽬標の具体化には雑談が必須 • 研究テーマやネタは雑談から⽣まれる • オンラインだとその機会が少なくてしんどい • 私の場合 •
教授とのミーティング(2週間に1度) • 共著者とのミーティング(2週間に1度) • 研究室で⾼瀬さんと雑談 • 週に1回は必ず研究について他者と対話してる (が,⾜りないと思っている) 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 18
Dの会(宣伝) • 学⽣同⼠,気軽にたくさんお話ししましょう 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 19