言語モデルの内部機序：解析と解釈

February 27, 2025

Resources

33

言語モデルの内部機序：解析と解釈

2025-03-10, 言語処理学会第31回年次大会でのチュートリアル「言語モデルの内部機序：解析と解釈」のスライドです。後日公開予定。

Sho Yokoi
PRO

February 27, 2025

Tweet

Resources

言語処理学会第31回年次大会 (NLP 2025)

https://www.anlp.jp/nlp2025/#tutorial

More Decks by Sho Yokoi

See All by Sho Yokoi

コーパスを丸呑みしたモデルから言語の何がわかるか

4

1.5k

Zipf 白色化：タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数

8

1.4k

Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve

7

1.3k

「確率的なオウム」にできること、またそれがなぜできるのかについて

8

3.4k

A Theory of Emergent In-Context Learning as Implicit Structure Induction

5

1.5k

ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送

25

18k

Revisiting Over-smoothing in BERT from the Perspective of Graph

0

1.2k

構造を持った言語データと最適輸送

5

7.5k

最適輸送と自然言語処理

19

13k

Featured

See All Featured

Design and Strategy: How to Deal with People Who Don’t "Get" Design

129

19k

The Illustrated Children's Guide to Kubernetes

48

49k

Put a Button on it: Removing Barriers to Going Fast.

60

3.7k

The World Runs on Bad Software

67

11k

Building an army of robots

303

45k

How STYLIGHT went responsive

98

5.4k

Evolution of real-time – Irina Nazarova, EuRuKo, 2024

6

570

GraphQLとの向き合い方2022年版

44

14k

Practical Tips for Bootstrapping Information Extraction Pipelines

12

990

Building Your Own Lightsaber

104

6.2k

29

14k

The Straight Up "How To Draw Better" Workshop

232

140k

Transcript

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 — ハインツァリング, 横井, 小林「言語モデルの内部機序：解析と解釈」言語モデルの内部機序解析と
解釈 Benjamin HEINZERLING12，横井祥321，小林悟郎21 後日公開 analysis interpretation 2025-03-10, 言語処理学会第31回年次大会 (NLP2025), チュートリアル1 1理研，2東北大，3国語研