Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Context Window のお話
Search
schroneko
September 25, 2023
Programming
1
1.9k
Context Window のお話
https://llm-app.connpass.com/event/296674/
上記イベントの登壇資料です。
schroneko
September 25, 2023
Tweet
Share
More Decks by schroneko
See All by schroneko
Claude Code 再入門
schroneko
28
16k
Claude Code と Gemini CLI で登壇資料を作ってみた
schroneko
28
16k
Claude Code の Context Engineering
schroneko
18
10k
Claude Code のすすめ
schroneko
65
190k
LLM に対する攻撃データの収集アプリケーションの開発と収集したデータの特性について
schroneko
1
1.2k
Vibe Coding の話をしよう
schroneko
16
5.6k
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
1.8k
AI Safety の必要性と具体的な攻撃、その対策について
schroneko
16
3.9k
Jailbreak データセット収集アプリケーションの開発について
schroneko
5
3.4k
Other Decks in Programming
See All in Programming
Swift Concurrency - 状態監視の罠
objectiveaudio
2
520
Go言語はstack overflowの夢を見るか?
logica0419
0
300
Django Ninja による API 開発効率化とリプレースの実践
kashewnuts
0
1.3k
Building, Deploying, and Monitoring Ruby Web Applications with Falcon (Kaigi on Rails 2025)
ioquatix
4
2.1k
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
370
私達はmodernize packageに夢を見るか feat. go/analysis, go/ast / Go Conference 2025
kaorumuta
2
560
技術的負債の正体を知って向き合う / Facing Technical Debt
irof
0
170
Catch Up: Go Style Guide Update
andpad
0
230
Le côté obscur des IA génératives
pascallemerrer
0
150
私はどうやって技術力を上げたのか
yusukebe
43
18k
理論と実務のギャップを超える
eycjur
0
140
CSC509 Lecture 06
javiergs
PRO
0
260
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Designing for Performance
lara
610
69k
Embracing the Ebb and Flow
colly
88
4.8k
How to Think Like a Performance Engineer
csswizardry
27
2k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
GraphQLとの向き合い方2022年版
quramy
49
14k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
For a Future-Friendly Web
brad_frost
180
9.9k
Code Review Best Practice
trishagee
72
19k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
Practical Orchestrator
shlominoach
190
11k
Transcript
Context Window のお話 もしトークン数を気にせず LLM が使えたら? 林 祐太 / ぬこぬこ
@schroneko ※このページは削除して構いません USE TEMPLATE Click 1
- 林 祐太 / ぬこぬこ - 12 月から LLM 無職→転職
- 専門は核融合(核融合はいいぞ!) 自己紹介 2
LLM において入力できる トークン数のこと Context Window とは? 3 https://arxiv.org/abs/2212.10947
ChatGPT を使っていてこんな表示を見かけたら、どんな気持ちになりますか? 4
😑 5
Claude を使ったことは ありますか?✋ 6
- 性能評価で GPT-4 と僅差 - 100k Tokens まで入力可 - GPT-4
の RLHF 味がない 😆😆😆うれしい😆😆😆 ただ、日本で使えるようになる のはもう少し...! Claude のここがすごい! https://chat.lmsys.org/?arena 7 ※ VPN 接続での利用はやめましょう!
100k トークン? イメージ沸かない? 8
9 だいたい 75,000 字
なるほどわかった💡 で、なにに使えるの? 10
論文めちゃ読める💡 Context Window まわりの論文を紹介 11
- 7月17日の論文 - Transformer を使わず、Context Window を 増やしても推論コストの増大を低減 https://arxiv.org/abs/2307.08621 https://github.com/microsoft/unilm/tree/
master/retnet 論文紹介 Retentive Network: A Successor to Transformer for Large Language Models 12
- 8月31日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B を 4k → 128k(16~32倍) - 性能劣化はほぼなし(0.49%) https://arxiv.org/abs/2309.00071 https://github.com/jquesnelle/yarn 論文紹介 YaRN: Efficient Context Window Extension of Large Language Models 13
- 9月20日の論文 - Vision Transformer に RetNet を適用 - 計算コストが下がるだけでなく性能向上
https://arxiv.org/abs/2309.11523 論文紹介 RMT: Retentive Networks Meet Vision Transformers 14
- 9月21日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B / 70B を 4k から 100k / 6k / 32 k に拡張 https://arxiv.org/abs/2309.12307 https://github.com/dvlab-research/LongLoRA 論文紹介 LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models 15
要素技術は出揃ってきた 16
Context Window を 気にしない未来って もしかすると近い? 17
- Embedding はもしかすると不要? - Hallucinations がかなり軽減? - そもそも大量の情報を人間が解釈する必要性って? - etc…
18 もしトークン数を気にせず LLM が使えたら?
もし日常使いの LLM の Context Window に上限がなくなったら?🤔 19
20
もし時間があまったら 21
22 実演 Claude くんを普段 どう使っているか?
23 で、でもお高いんでしょう? https://www-files.anthropic.com/production/images/model_pricing_july2023.pdf
長文 Prompt テクニック 真ん中があんまり抽出できない? →https://arxiv.org/abs/2307.03172 一昨日の Anthropic の公式記事によると 1. 引用の指示
2. 指示を最後に置く https://www.anthropic.com/index/prompting-lon g-context 24
最近作ったもの 論文要約 後日 webui化予定 https://gist.github.com /schroneko/210881cb6 80322ea455baee21abdd f29 25
Claude 使いたいんだけど?💢 26 残念ながら、本日時点で US / UK のみ あと数ヶ月で一般公開とありました。 首を長くして待ちましょう!
API 使いたいんだけど?💢 27 https://www.anthropic. com/earlyaccess こちらからどうぞ!