Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Context Window のお話
Search
schroneko
September 25, 2023
Programming
1
1.9k
Context Window のお話
https://llm-app.connpass.com/event/296674/
上記イベントの登壇資料です。
schroneko
September 25, 2023
Tweet
Share
More Decks by schroneko
See All by schroneko
Claude Code 再入門
schroneko
26
13k
Claude Code と Gemini CLI で登壇資料を作ってみた
schroneko
27
16k
Claude Code の Context Engineering
schroneko
15
9.2k
Claude Code のすすめ
schroneko
64
170k
LLM に対する攻撃データの収集アプリケーションの開発と収集したデータの特性について
schroneko
1
1.1k
Vibe Coding の話をしよう
schroneko
16
5.3k
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
1.7k
AI Safety の必要性と具体的な攻撃、その対策について
schroneko
16
3.7k
Jailbreak データセット収集アプリケーションの開発について
schroneko
5
3.2k
Other Decks in Programming
See All in Programming
Constant integer division faster than compiler-generated code
herumi
2
570
React 使いじゃなくても知っておきたい教養としての React
oukayuka
18
5.5k
202507_ADKで始めるエージェント開発の基本 〜デモを通じて紹介〜(奥田りさ)The Basics of Agent Development with ADK — A Demo-Focused Introduction
risatube
PRO
6
1.4k
Webinar: AI-Powered Development: Transformiere deinen Workflow mit Coding Tools und MCP Servern
danielsogl
0
110
あのころの iPod を どうにか再生させたい
orumin
2
2.4k
実践!App Intents対応
yuukiw00w
1
230
No Install CMS戦略 〜 5年先を見据えたフロントエンド開発を考える / no_install_cms
rdlabo
0
480
PHPUnitの限界をPlaywrightで補完するテストアプローチ
yuzneri
0
400
QA x AIエコシステム段階構築作戦
osu
0
260
Go製CLIツールをnpmで配布するには
syumai
2
1.1k
WebAssemblyインタプリタを書く ~Component Modelを添えて~
ruccho
1
740
コーディングは技術者(エンジニア)の嗜みでして / Learning the System Development Mindset from Rock Lady
mackey0225
2
320
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Making the Leap to Tech Lead
cromwellryan
134
9.5k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
Building Applications with DynamoDB
mza
96
6.5k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Designing for humans not robots
tammielis
253
25k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Balancing Empowerment & Direction
lara
1
540
Transcript
Context Window のお話 もしトークン数を気にせず LLM が使えたら? 林 祐太 / ぬこぬこ
@schroneko ※このページは削除して構いません USE TEMPLATE Click 1
- 林 祐太 / ぬこぬこ - 12 月から LLM 無職→転職
- 専門は核融合(核融合はいいぞ!) 自己紹介 2
LLM において入力できる トークン数のこと Context Window とは? 3 https://arxiv.org/abs/2212.10947
ChatGPT を使っていてこんな表示を見かけたら、どんな気持ちになりますか? 4
😑 5
Claude を使ったことは ありますか?✋ 6
- 性能評価で GPT-4 と僅差 - 100k Tokens まで入力可 - GPT-4
の RLHF 味がない 😆😆😆うれしい😆😆😆 ただ、日本で使えるようになる のはもう少し...! Claude のここがすごい! https://chat.lmsys.org/?arena 7 ※ VPN 接続での利用はやめましょう!
100k トークン? イメージ沸かない? 8
9 だいたい 75,000 字
なるほどわかった💡 で、なにに使えるの? 10
論文めちゃ読める💡 Context Window まわりの論文を紹介 11
- 7月17日の論文 - Transformer を使わず、Context Window を 増やしても推論コストの増大を低減 https://arxiv.org/abs/2307.08621 https://github.com/microsoft/unilm/tree/
master/retnet 論文紹介 Retentive Network: A Successor to Transformer for Large Language Models 12
- 8月31日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B を 4k → 128k(16~32倍) - 性能劣化はほぼなし(0.49%) https://arxiv.org/abs/2309.00071 https://github.com/jquesnelle/yarn 論文紹介 YaRN: Efficient Context Window Extension of Large Language Models 13
- 9月20日の論文 - Vision Transformer に RetNet を適用 - 計算コストが下がるだけでなく性能向上
https://arxiv.org/abs/2309.11523 論文紹介 RMT: Retentive Networks Meet Vision Transformers 14
- 9月21日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B / 70B を 4k から 100k / 6k / 32 k に拡張 https://arxiv.org/abs/2309.12307 https://github.com/dvlab-research/LongLoRA 論文紹介 LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models 15
要素技術は出揃ってきた 16
Context Window を 気にしない未来って もしかすると近い? 17
- Embedding はもしかすると不要? - Hallucinations がかなり軽減? - そもそも大量の情報を人間が解釈する必要性って? - etc…
18 もしトークン数を気にせず LLM が使えたら?
もし日常使いの LLM の Context Window に上限がなくなったら?🤔 19
20
もし時間があまったら 21
22 実演 Claude くんを普段 どう使っているか?
23 で、でもお高いんでしょう? https://www-files.anthropic.com/production/images/model_pricing_july2023.pdf
長文 Prompt テクニック 真ん中があんまり抽出できない? →https://arxiv.org/abs/2307.03172 一昨日の Anthropic の公式記事によると 1. 引用の指示
2. 指示を最後に置く https://www.anthropic.com/index/prompting-lon g-context 24
最近作ったもの 論文要約 後日 webui化予定 https://gist.github.com /schroneko/210881cb6 80322ea455baee21abdd f29 25
Claude 使いたいんだけど?💢 26 残念ながら、本日時点で US / UK のみ あと数ヶ月で一般公開とありました。 首を長くして待ちましょう!
API 使いたいんだけど?💢 27 https://www.anthropic. com/earlyaccess こちらからどうぞ!