Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スウェーデン滞在報告
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Taichi Aida
January 29, 2025
Research
0
19
スウェーデン滞在報告
Taichi Aida
January 29, 2025
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
意味を表すベクトル表現を用いたテキスト分析
a1da4
0
110
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
1
270
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
380
YANS2024:目指せ国際会議!「ネットワーキングの極意(国際会議編)」
a1da4
0
300
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
430
新入生向けチュートリアル:文献のサーベイv2
a1da4
16
11k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
220
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
370
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
130
Other Decks in Research
See All in Research
世界モデルにおける分布外データ対応の方法論
koukyo1994
7
2k
視覚から身体性を持つAIへ: 巧緻な動作の3次元理解
tkhkaeio
1
220
Earth AI: Unlocking Geospatial Insights with Foundation Models and Cross-Modal Reasoning
satai
3
650
An Open and Reproducible Deep Research Agent for Long-Form Question Answering
ikuyamada
0
350
[SITA2025 Workshop] 空中計算による高速・低遅延な分散回帰分析
k_sato
0
130
教師あり学習と強化学習で作る 最強の数学特化LLM
analokmaus
2
980
空間音響処理における物理法則に基づく機械学習
skoyamalab
0
240
SkySense V2: A Unified Foundation Model for Multi-modal Remote Sensing
satai
3
650
AI Agentの精度改善に見るML開発との共通点 / commonalities in accuracy improvements in agentic era
shimacos
6
1.4k
Thirty Years of Progress in Speech Synthesis: A Personal Perspective on the Past, Present, and Future
ktokuda
0
190
Collective Predictive Coding and World Models in LLMs: A System 0/1/2/3 Perspective on Hierarchical Physical AI (IEEE SII 2026 Plenary Talk)
tanichu
1
310
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
chikuwait
0
400
Featured
See All Featured
How to build a perfect <img>
jonoalderson
1
5.3k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.6k
A Soul's Torment
seathinner
5
2.5k
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
0
460
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
180
Rails Girls Zürich Keynote
gr2m
96
14k
The #1 spot is gone: here's how to win anyway
tamaranovitovic
2
990
Navigating Team Friction
lara
192
16k
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
320
Building a Modern Day E-commerce SEO Strategy
aleyda
45
8.9k
Are puppies a ranking factor?
jonoalderson
1
3.1k
Marketing Yourself as an Engineer | Alaka | Gurzu
gurzu
0
150
Transcript
スウェーデン滞在報告 相田太一 都立大小町研 博士3年
概要 • スウェーデンに行ってきました ◦ University of Gothenburg ◦ 2024年9月19日〜2025年1月18日 ▪
も2022年9月9日〜2023年1月31日なので同じくらいの期間 ▪ 3年間の博士課程のうち約1年は海外にいる計算(!) • Change Is Key! グループで研究しました ◦ 応用関係のテーマに着手 2 意味変化の研究を始めた頃からの数年越しの念願が叶いました🎉 GOT→AMSが2時間30分遅延 博論・COLINGが厳しくなり、 今年で一番重要な10分間に😅
• 首都:Stockholm • 時差:-7/8時間 • 通貨:kr(❌€) • ✈:日本から15時 間 •
消費税:25% (❗) • 企業: 滞在先:Gothenburg, Sweden [map] 3 km2 Population Big mac index Tokyo 2,194 14,187,176 $4.08 Stockholm 188 984,748 $7.64 Gothenburg 451 604,616
滞在先:University of Gothenburg(人文系) • 1954年創立、スウェーデンで一番大きい大学 • 2019年にできたキャンパスなので超綺麗👍 4
滞在先:University of Gothenburg(人文系) • 無限に☕が飲めて、冷蔵庫・レンジも完備 • 座席も!(12月に謎予算でモニターが更新) 5
滞在先:Change Is Key! group • 意味変化に関するプロジェクト ◦ 6年間(2022-2027)で約5億円 ◦ 欧州(///)を中心に
共同で研究を進める ▪ 欧州は WordNet 系も強い(特に 、 イタリア単体で国際会議 CLiC-it も) ◦ ワークショップ LChange を主催 相田は2回参加 ▪ EMNLP2023@Singapore ▪ ACL2024@Bangkok ◦ Shared Task も開催 ▪ SemEval-2020 Task 1: 意味変化の検出 ▪ AXOLOTL-24:意味変化の説明 6
スケジュール:滞在までの流れ • 2024年7月: ◦ 上旬:オファーがくる、小町先生に相談 ◦ 中旬:書類を集めて Visa 申請 •
2024年8月: ◦ 中旬:Visa 面接、✈決定、ACL2024@タイ ◦ 下旬:SNLP2024@東京、博論審査申請 • 2024年9月: ◦ 上旬:🏠決定、YANS2024@大阪 ◦ 中旬:Visa 取得(渡航3日前😫)、渡航 ◦ 下旬:生活・研究の初期設定(生活リズム、研究環境) 7 忘れられない(2度と経験したくない)3ヶ月…😭 🏠:鍵は古いが、結構綺麗!
スケジュール:滞在中 • 2024年10月: ◦ テーマを固める、博論の原稿・審査資料 ◦ メンバーが体調を崩してミーティング❌ • 2024年11月: ◦
実験(モデルの調整)、NLP2025原稿 ◦ バグがあると即ミーティング、一行単位でコードを説明、その場で実行 • 2024年12月: ◦ 実験(LLMを適用、評価)、博論予備審査 ◦ クリスマス休暇(博士取りたての人から研究の通知が30+件...😂) • 2025年1月: ◦ 実験(論文に向けた議論)、NLP2025投稿・COLING2025準備 ◦ Daily meeting が発生、毎日結果と必要な作業を議論 ◦ 帰国準備(帰国直前に1泊2日の Retreat が入ってバタバタでした) 8 🏢:野生の机+ホワイトボー ド
スケジュール:Retreat(2025/01/12-13) • 一年間の振り返り・次の一年間に向けて ◦ 働き方(1on1/全体 mtg、Discord の使い方) ◦ 研究(NLP:応用分野 の比率、共同研究)
→プロジェクトベースの研究チームならでは? 9 🏖:ホテル(サウナ・会議室付き)と湖。らしい景色を見られて満足
スケジュール:体調最優先で、出力は抑え目に… の時は出力の最大値を上げる訓練、今回のでは質を高める訓練 10
スケジュール:平日の昼食は基本みんなで食べる 11 • みんなで食べるための部屋も • 教授が気軽に話しかけてくれる (学食メニューは具材の名前しか書かれていないので、 よくわからない料理を、よくわからないまま食べた… →我々が気にしすぎているだけなのかも?)
スケジュール:金曜夜は Afterwork=華金🍺 12 金曜夜:Afterwork🍺 • 華金はスウェーデンにも! • 博論どころではない!!! • 🍺主体でイギリスと似てる
スケジュール:土日は抑えめに 13 土日9:00〜12:00:博論 • 喫茶店でゆるゆると • カフェ文化があり、💯 「☕を飲む」という動詞 fika がある
スケジュール:土日は抑えめに 14 土日12:00〜:観光 • 美術館、アイスホッケーの試合観戦 ◦ 娯楽が少ないので、娯楽関係の費用はお手頃 美術館700円、アイスホッケー5,000円 ◦ 旅行シーズンと研究で忙しい時期が丸かぶり😫
研究:良かったこと・困ったこと • ワークライフバランスを超重視 ◦ 職員は休暇や保険サービスを消化することが必須 ◦ 9時〜17時を徹底し、家族との時間を大切に ◦ 土日・祝日はもちろん休み ◦
「論文締切を除き、決められた時間で賢く働く」、 「ストレスを溜めないように」と強調されました →4ヶ月体調を崩さず、質の高い日々を過ごせた💯 16 大学の事務局が作った Spotify のプレイリスト(!):欧州では クリスマス >>> 年末年始、12月は2〜3週間くらい故郷で休む人も
研究:良かったこと・困ったこと • 全員が同じトピックに取り組む「同志」 ◦ 意味変化の「深い」話ができて、大満足💯 ◦ 全員が意味変化に関わるが、専門領域が少しずつ違う ▪ モデル(メンターの Pierluigi
さん)、指標(相田)、データ… ▪ スピード感も全然違う(問題があれば即ミーティング) • 資源を使い放題 ◦ 計算資源:❌大学単位→✅国が保有する計算機 ▪ A100も結構あるので気兼ねなく使えた ▪ GPUの利用効率が悪いとお叱りのメールが届く・強制停止(!) ▪ メンターの方にとっては全然足りていないみたいだが... ◦ 知識資源:必要なデータ・分野の専門家も揃う ▪ 指導教員のコネクションがかなり広い ▪ 大学が交流を促進(一緒にお昼・会議)している影響も大きい? 17
• 前日・当日にミーティングが生えるのは当然 ◦ 😢「準備してから臨みたいので、急に言われても…」 • ミーティングでは資料を(ほぼ)確認しない ◦ 😢「これまでのスタイルが通用しない…」 研究:良かったこと・困ったこと 18
• 前日・当日にミーティングが生えるのは当然 ◦ 😢「準備してから臨みたいので、急に言われても…」 →😁「常に万全の状態にしておく!」 • ミーティングでは資料を(ほぼ)確認しない ◦ 😢「これまでのスタイルが通用しない…」 →😁「毎週PDFを送って存在・貢献をアピール!」
研究:良かったこと・困ったこと 19 status では勤務場所を表示 office にいる→ミーティングOK! のアピールも忘れない👍
留学:海外へ行くことの魅力 • 🌱現状の環境をリセット [YANS2024] ◦ 大学だと博士が一番上?だが、プロジェクトに入ると ポスドク以上が当たり前 • 🌱日本との違いを体験・人脈作り [YANS2024]
◦ 「観光」と「生活」の大きな違い ◦ 特に欧州では欧州中に知り合いができる 20
留学:海外へ行くことの魅力 • 🌱現状の環境をリセット [YANS2024] ◦ 大学だと博士が一番上?だが、プロジェクトに入ると ポスドク以上が当たり前 • 🌱日本との違いを体験・人脈作り [YANS2024]
◦ 「観光」と「生活」の大きな違い ◦ 特に欧州では欧州中に知り合いができる • 🎯真の意味で研究中心の生活になる ◦ 3週間後〜:良い意味で「甘え」が消えて、 一日中「研究のことだけ」を考えるように ▪ 周りからも「顔つきが変わった😖」と言われる ◦ 特に欧州は娯楽が少なく、気を紛らす要素が少ない ▪ バカンスで物理的に他国へ行くのはそのため? 21
留学:「複数回」海外へ行くことの魅力 • 研究スタイルの違いを体感できる ◦ :テーマがバラバラ、きっちり指導してもらった ▪ リスク分散の意図があるらしい…(それでも会議に通すから凄い) ◦ :全員が意味変化関係、基本的に放任主義 ▪
自分で周りを巻き込んでいく必要がある ▪ 裁量が大きい(テーマ次第では社会学者・辞書学者と共同研究) • 海外の解像度が(行った回数だけ)上がる ◦ これまで:欧米はどこも同じ? ◦ 滞在後:ヨーロッパもアリかも!(特に) ▪ 金銭面なら 日本 < 欧州( < ) < 米国? ▪ 医療・生活面だと 日本 >> 欧州( > ) > 米国? • は税金が高い(25%)分、医療面はよりいい感じだった ▪ ポスドクの話もいただき、2週間くらいは真剣に居住を検討した 22
おわりに • Change Is Key! グループに滞在しました ◦ 幸運にも自身の居場所に出会えた結果だと思ってます ◦ 居場所:日本になければ作る
/ 海外で探す(今回) • 海外で数ヶ月滞在することの魅力 ◦ 観光≠生活:良いところも悪いところも見えてくる ✅ ワークライフバランス重視、医療制度は結構いい感じ ❌ ガツガツ成果を出したい人には合わないかも、税金が高い ◦ 欧州は特に自身の目的(今回は研究)に専念できる • 「複数回」海外へ行くことの魅力 ◦ 海外への解像度が上がる(欧州は全部同じ?→❌) ▪ 同じでも Liverpool, Manchester, Cambridge では結構違う ◦ 行った回数だけ人脈も広がる→次の滞在の機会も🌱 ▪ (今回の滞在も全ては滞在から始まった) 23