Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM の Attention 機構まとめ — 数式・計算量・メモリ

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for プワー プワー
May 01, 2026
Research
270
0

LLM の Attention 機構まとめ — 数式・計算量・メモリ

最新のLLMのAttentinon,SSM(Mamba2,Gated DeltaNet)などを、 数式・計算量・メモリの観点からまとめスライドです。
使用されているモデルなどもまとめて、書かれてます。

Avatar for プワー

プワー

May 01, 2026

More Decks by プワー

See All by プワー
言語モデルを学習、推論するためのライブラリについて
Avatar for プワー puwaer
0
16

Other Decks in Research

See All in Research
ウェブ・ソーシャルメディア論文読み会 第36回: The Stepwise Deception: Simulating the Evolution from True News to Fake News with LLM Agents (EMNLP, 2025)
Avatar for taichi_murayama hkefka385
0
220
オーストリア流 都市の公共交通サービス水準評価@公共交通オープンデータ最前線2026
Avatar for Traffic Brain trafficbrain
0
130
進学校の生徒にはア行の苗字が多いのか
Avatar for Takashi Ozeki ozekinote
0
370
羽田新ルート運用6年の検証
Avatar for マン点 1manken
0
130
競合や要望に流されない─B2B SaaSでミニマム要件を決めるリアルな取り組み / Don't be swayed by competitors or requests - A real effort to determine minimum requirements for B2B SaaS
Avatar for 株式会社カミナシ kaminashi
0
1.4k
2026 東京科学大 情報通信系 研究室紹介 (大岡山)
Avatar for Tokyo Tech ICT Dept. icttitech
0
2.3k
老舗ものづくり企業でリサーチが変革を起こすまで - 三菱重工DXの実践
Avatar for kazu skydats
0
130
Can We Teach Logical Reasoning to LLMs? – An Approach Using Synthetic Corpora (AAAI 2026 bridge keynote)
Avatar for もりし morishtr
1
210
はじまりの クエスチョンブック —余暇と豊かさにあふれた社会とは？
Avatar for 立ち止まれる社会 culturaltransition
PRO
0
370
非試合日の野球場を楽しむためのARホームランボールキャッチ体験システムの開発 / EC79-miyazaki
Avatar for yumulab yumulab
0
140
正規分布と最適化について
Avatar for koide3 koide3
0
120
svc-hook: hooking system calls on ARM64 by binary rewriting
Avatar for Akira Moroo retrage
2
220

Featured

See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
Avatar for mongodb mongodb
49
9.9k
What does AI have to do with Human Rights?
Avatar for Per Axbom axbom
PRO
1
2.1k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
659
62k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
Avatar for Irina Nazarova irinanazarova
9
1.3k
Designing Experiences People Love
Avatar for Jonathan Moore moore
143
24k
[RailsConf 2023 Opening Keynote] The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
31
10k
Keith and Marios Guide to Fast Websites
Avatar for Keith Pitt keithpitt
413
23k
Building Experiences: Design Systems, User Experience, and Full Site Editing
Avatar for Michelle Schulp Hunt marktimemedia
0
480
Believing is Seeing
Avatar for Spiro Bolos oripsolob
1
110
Save Time (by Creating Custom Rails Generators)
Avatar for Garrett Dimon garrettdimon
PRO
32
2.8k
Into the Great Unknown - MozCon
Avatar for Noah Learner thekraken
41
2.4k
JAMstack: Web Apps at Ludicrous Speed - All Things Open 2022
Avatar for David Neal reverentgeek
1
430

Transcript

  1. None
  2. None
  3. None
  4. None
  5. None
  6. None
  7. None
  8. None
  9. None
  10. None
  11. None
  12. None
  13. None
  14. None
  15. None
  16. None
  17. None
  18. None
  19. None
  20. None
  21. None
  22. None
  23. None
  24. None
  25. None
  26. None
  27. None
  28. None
  29. None
  30. None
  31. None
  32. None
  33. None
  34. None
  35. None
  36. None
  37. None
  38. None
  39. None
  40. None
  41. None
  42. None
  43. None
  44. None
  45. None
  46. None
  47. None
  48. None
  49. None
  50. None
  51. None
  52. None
  53. None
  54. None
  55. None
  56. None
  57. None
  58. None
  59. None
  60. None
  61. None
  62. None
  63. None
  64. None
  65. None
  66. None
  67. None
  68. None
  69. None
  70. None
  71. None
  72. None
  73. None
  74. None
  75. None
  76. None
  77. None
  78. None
  79. None
  80. None
  81. None
  82. None
  83. None
  84. None
  85. None
  86. None
  87. None
  88. None
  89. None
  90. None
  91. None
  92. None
  93. None
  94. None
  95. None
  96. None
  97. None
  98. None
  99. None
  100. None
  101. None
  102. None
  103. None
  104. None
  105. None
  106. None
  107. None