Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Context Window のお話
Search
schroneko
September 25, 2023
Programming
1
1.9k
Context Window のお話
https://llm-app.connpass.com/event/296674/
上記イベントの登壇資料です。
schroneko
September 25, 2023
Tweet
Share
More Decks by schroneko
See All by schroneko
Claude Code 再入門
schroneko
24
11k
Claude Code と Gemini CLI で登壇資料を作ってみた
schroneko
26
15k
Claude Code の Context Engineering
schroneko
14
8.5k
Claude Code のすすめ
schroneko
55
150k
LLM に対する攻撃データの収集アプリケーションの開発と収集したデータの特性について
schroneko
1
1.1k
Vibe Coding の話をしよう
schroneko
16
5.2k
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
1.6k
AI Safety の必要性と具体的な攻撃、その対策について
schroneko
16
3.5k
Jailbreak データセット収集アプリケーションの開発について
schroneko
5
3.1k
Other Decks in Programming
See All in Programming
AIともっと楽するE2Eテスト
myohei
9
3.1k
AI Agent 時代のソフトウェア開発を支える AWS Cloud Development Kit (CDK)
konokenj
6
970
GPUを計算資源として使おう!
primenumber
1
290
可変性を制する設計: 構造と振る舞いから考える概念モデリングとその実装
a_suenami
2
240
Gemini CLIの"強み"を知る! Gemini CLIとClaude Codeを比較してみた!
kotahisafuru
2
150
What's new in AppKit on macOS 26
1024jp
0
170
バイブコーディング超えてバイブデプロイ〜CloudflareMCPで実現する、未来のアプリケーションデリバリー〜
azukiazusa1
2
690
Startups on Rails in Past, Present and Future–Irina Nazarova, RailsConf 2025
irinanazarova
0
290
PHPカンファレンス関西2025 基調講演
sugimotokei
5
930
「次に何を学べばいいか分からない」あなたへ──若手エンジニアのための学習地図
panda_program
3
640
ZeroETLで始めるDynamoDBとS3の連携
afooooil
0
120
新メンバーも今日から大活躍!SREが支えるスケールし続ける組織のオンボーディング
honmarkhunt
5
9.3k
Featured
See All Featured
Gamification - CAS2011
davidbonilla
81
5.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Unsuck your backbone
ammeep
671
58k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.5k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Transcript
Context Window のお話 もしトークン数を気にせず LLM が使えたら? 林 祐太 / ぬこぬこ
@schroneko ※このページは削除して構いません USE TEMPLATE Click 1
- 林 祐太 / ぬこぬこ - 12 月から LLM 無職→転職
- 専門は核融合(核融合はいいぞ!) 自己紹介 2
LLM において入力できる トークン数のこと Context Window とは? 3 https://arxiv.org/abs/2212.10947
ChatGPT を使っていてこんな表示を見かけたら、どんな気持ちになりますか? 4
😑 5
Claude を使ったことは ありますか?✋ 6
- 性能評価で GPT-4 と僅差 - 100k Tokens まで入力可 - GPT-4
の RLHF 味がない 😆😆😆うれしい😆😆😆 ただ、日本で使えるようになる のはもう少し...! Claude のここがすごい! https://chat.lmsys.org/?arena 7 ※ VPN 接続での利用はやめましょう!
100k トークン? イメージ沸かない? 8
9 だいたい 75,000 字
なるほどわかった💡 で、なにに使えるの? 10
論文めちゃ読める💡 Context Window まわりの論文を紹介 11
- 7月17日の論文 - Transformer を使わず、Context Window を 増やしても推論コストの増大を低減 https://arxiv.org/abs/2307.08621 https://github.com/microsoft/unilm/tree/
master/retnet 論文紹介 Retentive Network: A Successor to Transformer for Large Language Models 12
- 8月31日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B を 4k → 128k(16~32倍) - 性能劣化はほぼなし(0.49%) https://arxiv.org/abs/2309.00071 https://github.com/jquesnelle/yarn 論文紹介 YaRN: Efficient Context Window Extension of Large Language Models 13
- 9月20日の論文 - Vision Transformer に RetNet を適用 - 計算コストが下がるだけでなく性能向上
https://arxiv.org/abs/2309.11523 論文紹介 RMT: Retentive Networks Meet Vision Transformers 14
- 9月21日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B / 70B を 4k から 100k / 6k / 32 k に拡張 https://arxiv.org/abs/2309.12307 https://github.com/dvlab-research/LongLoRA 論文紹介 LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models 15
要素技術は出揃ってきた 16
Context Window を 気にしない未来って もしかすると近い? 17
- Embedding はもしかすると不要? - Hallucinations がかなり軽減? - そもそも大量の情報を人間が解釈する必要性って? - etc…
18 もしトークン数を気にせず LLM が使えたら?
もし日常使いの LLM の Context Window に上限がなくなったら?🤔 19
20
もし時間があまったら 21
22 実演 Claude くんを普段 どう使っているか?
23 で、でもお高いんでしょう? https://www-files.anthropic.com/production/images/model_pricing_july2023.pdf
長文 Prompt テクニック 真ん中があんまり抽出できない? →https://arxiv.org/abs/2307.03172 一昨日の Anthropic の公式記事によると 1. 引用の指示
2. 指示を最後に置く https://www.anthropic.com/index/prompting-lon g-context 24
最近作ったもの 論文要約 後日 webui化予定 https://gist.github.com /schroneko/210881cb6 80322ea455baee21abdd f29 25
Claude 使いたいんだけど?💢 26 残念ながら、本日時点で US / UK のみ あと数ヶ月で一般公開とありました。 首を長くして待ちましょう!
API 使いたいんだけど?💢 27 https://www.anthropic. com/earlyaccess こちらからどうぞ!