Moscow Python Meetup №112. Анатомия современных трансформеров: эволюция позиционных эмбеддингов

Михаил Васильев (Райффайзен банк, старший инженер по машинному обучению) @ Moscow Python Meetup 112

Стремительное накопление архитектурных модификаций в 2026 году затрудняет систематизацию знаний о том, как фундаментально трансформеры изменились с 2017 года. Мы закроем этот дефицит структурного понимания, детально разобрав эволюцию механизмов учета позиций: от классических абсолютных и относительных позиционных эмбеддингов до RoPE, ALiBi и методов экстраполяции контекста.

Видео: https://moscowpython.ru/meetup/112/modern-transformers-anatomy/

Moscow Python: http://moscowpython.ru
Телеграм-канал Moscow Python: https://t.me/moscow_python
Чат Moscow Python: https://t.me/moscowpythonconf
Заявки на доклады: https://bit.ly/mp-speaker

Moscow Python Pro: https://bit.ly/moscow-python-pro
Расписание мероприятий Moscow Python Pro: https://bit.ly/mp-pro-events

Transcript

1. Анатомия современных трансформеров Эволюция позиционных эмбеддингов Михаил Васильев 26 августа 2026 г.
2. Обо мне • Старший инженер по машинному обучению • Raiffeisen Bank Russia • Open-source enthusiast 1/30
3. Мотивация 2/30
4. Мотивация • Информационный перегруз 2/30
5. Мотивация • Информационный перегруз • Срок годности знаний 2/30
6. План 3/30
7. План 4/30
8. Позиционные эмбеддинги 5/30
9. Позиционные эмбеддинги Предложение 1 "Я не хочу работать, я хочу спать" 5/30
10. Позиционные эмбеддинги Предложение 1 "Я не хочу работать, я хочу спать" Предложение 2 "Я хочу работать, я не хочу спать" 5/30
11. Свойства • Относительность 6/30
12. Свойства • Относительность • Экстраполяция 6/30
13. Absolute Positional Embeddings 7/30
14. Absolute Positional Embeddings Формула ⎧ {sin(𝜔𝑘 𝑡), (𝑖) 𝑝𝑡 = ⎨ { ⎩cos(𝜔𝑘 𝑡), где 𝜔𝑘 = для 𝑖 = 2𝑘 для 𝑖 = 2𝑘 + 1 1 100002𝑘/𝑑 7/30
15. Ковер 8/30
16. Ковер 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 1 1 0 1 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 1 0 0 1 1 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0 1 0 1 0 0 0 0 0 1 0 1 1 0 0 0 0 0 0 1 0 1 1 1 8/30
17. Relative Positioning 𝑡 𝑡+𝜙 9/30
18. Relative Positioning Линейное преобразование 𝑀[ 𝑡 sin(𝜔𝑘 ⋅ 𝑡) sin(𝜔𝑘 ⋅ (𝑡 + 𝜙)) ]=[ ] cos(𝜔𝑘 ⋅ 𝑡) cos(𝜔𝑘 ⋅ (𝑡 + 𝜙)) 𝑡+𝜙 9/30
19. Relative Positioning Линейное преобразование 𝑀[ 𝑡 sin(𝜔𝑘 ⋅ 𝑡) sin(𝜔𝑘 ⋅ (𝑡 + 𝜙)) ]=[ ] cos(𝜔𝑘 ⋅ 𝑡) cos(𝜔𝑘 ⋅ (𝑡 + 𝜙)) 𝑡+𝜙 Матрица 𝑀 =[ cos(𝜔𝑘 ⋅ 𝜙) sin(𝜔𝑘 ⋅ 𝜙) ] − sin(𝜔𝑘 ⋅ 𝜙) cos(𝜔𝑘 ⋅ 𝜙) 9/30
20. Оригинальный трансформер Плюсы 10/30
21. Оригинальный трансформер Плюсы • Нет обучаемых параметров 10/30
22. Оригинальный трансформер Плюсы • Нет обучаемых параметров • Экстраполяция 10/30
23. Оригинальный трансформер Плюсы • Нет обучаемых параметров • Экстраполяция • Относительные позиции 10/30
24. Оригинальный трансформер Плюсы Минусы • Нет обучаемых параметров • Экстраполяция • Относительные позиции 10/30
25. Оригинальный трансформер Плюсы Минусы • Нет обучаемых параметров • Нет обучаемых параметров • Экстраполяция • Плохая экстраполяция • Относительные позиции • Плохие относительные позиции 10/30
26. BERT 11/30
27. BERT nn.Embedding(max_len, hidden_size) 11/30
28. BERT Плюсы 12/30
29. BERT Плюсы • Простота 12/30
30. BERT Плюсы • Простота • Адаптивность 12/30
31. BERT Минусы Плюсы • Простота • Адаптивность 12/30
32. BERT Минусы Плюсы • Жёсткий лимит • Простота • Адаптивность 12/30
33. BERT Минусы Плюсы • Жёсткий лимит • Простота • Дополнительные параметры • Адаптивность 12/30
34. BERT Минусы Плюсы • Жёсткий лимит • Простота • Дополнительные параметры • Адаптивность • Нет явных относительных расстояний 12/30
35. Original Transformer Контент + позиция 𝑞𝑖 = (𝑥𝑖 + 𝑝𝑖 )𝑊 𝑄 𝑘𝑗 = (𝑥𝑗 + 𝑝𝑗 )𝑊 𝐾 13/30
36. Original Transformer Контент + позиция 𝑞𝑖 = (𝑥𝑖 + 𝑝𝑖 )𝑊 𝑄 𝑘𝑗 = (𝑥𝑗 + 𝑝𝑗 )𝑊 𝐾 Скалярное произведение 𝐴𝑖𝑗 = 𝑞𝑖 𝑘𝑗⊤ √𝑑𝑘 13/30
37. Original Transformer Контент + позиция 𝑞𝑖 = (𝑥𝑖 + 𝑝𝑖 )𝑊 𝑄 𝑘𝑗 = (𝑥𝑗 + 𝑝𝑗 )𝑊 𝐾 Скалярное произведение 𝐴𝑖𝑗 = 𝑞𝑖 𝑘𝑗⊤ √𝑑𝑘 ∝ (𝑥𝑖 𝑊 𝑄 + 𝑝𝑖 𝑊 𝑄 )(𝑥𝑗 𝑊 𝐾 + 𝑝𝑗 𝑊 𝐾 )⊤ 13/30
38. Original Transformer Контент + позиция 𝑞𝑖 = (𝑥𝑖 + 𝑝𝑖 )𝑊 𝑄 𝑘𝑗 = (𝑥𝑗 + 𝑝𝑗 )𝑊 𝐾 Скалярное произведение 𝐴𝑖𝑗 = 𝑞𝑖 𝑘𝑗⊤ √𝑑𝑘 ∝ (𝑥𝑖 𝑊 𝑄 + 𝑝𝑖 𝑊 𝑄 )(𝑥𝑗 𝑊 𝐾 + 𝑝𝑗 𝑊 𝐾 )⊤ 𝑄 (𝑥 𝑊 𝐾 )⊤ + 𝑥 𝑊 𝑄 (𝑝 𝑊 𝐾 )⊤ + 𝑝 𝑊 𝑄 (𝑥 𝑊 𝐾 )⊤ + 𝑝 𝑊 𝑄 (𝑝 𝑊 𝐾 )⊤ 𝐴𝑖𝑗 ∝ ⏟⏟ 𝑥𝑖 𝑊⏟⏟⏟ 𝑗 ⏟⏟ 𝑖 ⏟⏟⏟ 𝑗 ⏟⏟ 𝑖 ⏟⏟⏟ 𝑗 ⏟⏟ 𝑖 ⏟⏟⏟ 𝑗 ⏟⏟ ⏟⏟ ⏟⏟ ⏟⏟ 1. Контент-Контент 2. Контент-Позиция 3. Позиция-Контент 4. Позиция-Позиция 13/30
39. 𝑅𝑖−𝑗 14/30
40. 𝑅𝑖−𝑗 Относительное расстояние 𝑖−𝑗 ) 100002𝑘/𝑑model 𝑖−𝑗 (2𝑘+1) 𝑅𝑖−𝑗 = cos ( ) 100002𝑘/𝑑model (2𝑘) 𝑅𝑖−𝑗 = sin ( 14/30
41. Четвертое слагаемое 𝑝𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ 15/30
42. Четвертое слагаемое 𝑝𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑣𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ 15/30
43. Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑝𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑣𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ 15/30
44. Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑝𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ Четвертое слагаемое 𝑣𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ 15/30
45. Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ Третье слагаемое 𝑝𝑖 𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑝𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑣𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ 15/30
46. Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Третье слагаемое 𝑝𝑖 𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑝𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ Третье слагаемое 𝑢𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑣𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ 15/30
47. Первое слагаемое 𝑥𝑖 𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Третье слагаемое 𝑝𝑖 𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑝𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ Третье слагаемое 𝑢𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑣𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ 15/30
48. Первое слагаемое 𝑥𝑖 𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Третье слагаемое 𝑝𝑖 𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑝𝑖 𝑊 𝑄 (𝑝𝑗 𝑊 𝐾 )⊤ Первое слагаемое 𝑥𝑖 𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Второе слагаемое 𝑥𝑖 𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ Третье слагаемое 𝑢𝑊 𝑄 (𝑥𝑗 𝑊 𝐾 )⊤ Четвертое слагаемое 𝑣𝑊 𝑄 (𝑊 𝐸 𝑅𝑖−𝑗 )⊤ 15/30
49. Финальный франкенштейн Transformer-XL (Dai et al., 2019) 𝑄 𝐾 ⊤ 𝑄 𝐸 ⊤ 𝑄 𝐾 ⊤ 𝑄 𝐸 ⊤ 𝐴XL 𝑖𝑗 ∝ 𝑥𝑖 𝑊 (𝑥𝑗 𝑊 ) + 𝑥𝑖 𝑊 (𝑊 𝑅𝑖−𝑗 ) + 𝑢𝑊 (𝑥𝑗 𝑊 ) + 𝑣𝑊 (𝑊 𝑅𝑖−𝑗 ) 16/30
50. Transformer-XL Плюсы 17/30
51. Transformer-XL Плюсы • Лучше экстраполяция 17/30
52. Transformer-XL Плюсы • Лучше экстраполяция • Мало обучения 17/30
53. Transformer-XL Плюсы Минусы • Лучше экстраполяция • Мало обучения 17/30
54. Transformer-XL Плюсы Минусы • Лучше экстраполяция • Сложнее вычислительно • Мало обучения 17/30
55. Transformer-XL Плюсы Минусы • Лучше экстраполяция • Сложнее вычислительно • Мало обучения • Фиксированные частоты 17/30
56. T5: Дешево и сердито 18/30
57. T5: Дешево и сердито Формула внимания 𝑞𝑖 𝑘𝑗⊤ 𝐴𝑖𝑗 = √ + 𝑏bucket(𝑖−𝑗) 𝑑 18/30
58. T5 Bucketing: Обучаемые скаляры 𝑖−𝑗 Бакет Скаляры 0 1 2 ⋮ 15 0 1 2 ⋮ 15 𝑏0 𝑏1 𝑏2 ⋮ 𝑏15 19/30
59. T5 Bucketing: Обучаемые скаляры 𝑖−𝑗 Бакет Скаляры 0 1 2 ⋮ 15 0 1 2 ⋮ 15 𝑏0 𝑏1 𝑏2 ⋮ 𝑏15 16–18 16 𝑏16 19/30
60. T5 Bucketing: Обучаемые скаляры 𝑖−𝑗 Бакет Скаляры 0 1 2 ⋮ 15 0 1 2 ⋮ 15 𝑏0 𝑏1 𝑏2 ⋮ 𝑏15 16–18 19–20 16 17 𝑏16 𝑏17 19/30
61. T5 Bucketing: Обучаемые скаляры 𝑖−𝑗 Бакет Скаляры 0 1 2 ⋮ 15 0 1 2 ⋮ 15 𝑏0 𝑏1 𝑏2 ⋮ 𝑏15 16–18 19–20 ⋮ 87–98 99–112 113+ 16 17 ⋮ 29 30 31 𝑏16 𝑏17 ⋮ 𝑏29 𝑏30 𝑏31 19/30
62. T5 Плюсы 20/30
63. T5 Плюсы • Относительные позиции 20/30
64. T5 Плюсы • Относительные позиции • Минимальные накладные расходы 20/30
65. T5 Плюсы • Относительные позиции • Минимальные накладные расходы • Экстраполяция 20/30
66. T5 Плюсы • Относительные позиции • Минимальные накладные расходы • Экстраполяция • Простота 20/30
67. T5 Плюсы • Относительные позиции Минусы • Минимальные накладные расходы • Экстраполяция • Простота 20/30
68. T5 Плюсы • Относительные позиции Минусы • Минимальные накладные расходы • Потеря детализации • Экстраполяция • Простота 20/30
69. T5 Плюсы • Относительные позиции Минусы • Минимальные накладные расходы • Потеря детализации • Фиксированная схема бакетов • Экстраполяция • Простота 20/30
70. T5 Плюсы • Относительные позиции Минусы • Минимальные накладные расходы • Потеря детализации • Экстраполяция • Обучаемые параметры • Фиксированная схема бакетов • Простота 20/30
71. RoPE: позиция как угол поворота 𝑦 k𝑗 q𝑖 ⋅ k𝑗 = ‖q𝑖 ‖‖k𝑗 ‖ cos(𝛽 − 𝛼) q𝑖 𝛽 𝑂 𝛼 𝑥 21/30
72. RoPE: позиция как угол поворота 𝑦 k𝑗 q′𝑖 q𝑖 ⋅ k𝑗 = ‖q𝑖 ‖‖k𝑗 ‖ cos(𝛽 − 𝛼) q𝑖 𝛽 𝛼 + 𝑚𝜃 𝑂 𝑥 21/30
73. RoPE: позиция как угол поворота 𝑦 k′𝑗 k𝑗 q′𝑖 q𝑖 ⋅ k𝑗 = ‖q𝑖 ‖‖k𝑗 ‖ cos(𝛽 − 𝛼) q𝑖 𝛽 + 𝑛𝜃 𝛼 + 𝑚𝜃 𝑂 𝑥 21/30
74. RoPE: позиция как угол поворота 𝑦 k′𝑗 k𝑗 q′𝑖 q𝑖 ⋅ k𝑗 = ‖q𝑖 ‖‖k𝑗 ‖ cos(𝛽 − 𝛼) q′𝑖 ⋅ k′𝑗 = ‖q𝑖 ‖‖k𝑗 ‖ cos ((𝛽 + 𝑛𝜃) − (𝛼 + 𝑚𝜃)) q𝑖 𝛽 + 𝑛𝜃 𝛼 + 𝑚𝜃 𝑂 𝑥 21/30
75. RoPE: позиция как угол поворота 𝑦 k′𝑗 k𝑗 q′𝑖 q𝑖 ⋅ k𝑗 = ‖q𝑖 ‖‖k𝑗 ‖ cos(𝛽 − 𝛼) q′𝑖 ⋅ k′𝑗 = ‖q𝑖 ‖‖k𝑗 ‖ cos ((𝛽 + 𝑛𝜃) − (𝛼 + 𝑚𝜃)) q𝑖 q′𝑖 ⋅ k′𝑗 = ‖q𝑖 ‖‖k𝑗 ‖ cos ((𝛽 − 𝛼) + (𝑛 − 𝑚)𝜃) 𝛽 + 𝑛𝜃 𝛼 + 𝑚𝜃 𝑂 𝑥 21/30
76. А как вращать-то? 𝑞 ⎡ 0 ⎤ ⎢ 𝑞1 ⎥ ⎢𝑞 ⎥ ⎢ 2 ⎥ ⎢𝑞 ⎥ q=⎢ 3 ⎥ ⎢ 𝑞4 ⎥ ⎢ 𝑞5 ⎥ ⎢ ⎥ ⎢ ⋮ ⎥ ⎣𝑞127 ⎦ 𝑟 𝑟0,1 𝑟0,2 𝑟0,3 𝑟0,4 𝑟0,5 ⎡ 0,0 𝑟1,1 𝑟1,2 𝑟1,3 𝑟1,4 𝑟1,5 ⎢ 𝑟1,0 ⎢𝑟 𝑟2,1 𝑟2,2 𝑟2,3 𝑟2,4 𝑟2,5 ⎢ 2,0 𝑟3,1 𝑟3,2 𝑟3,3 𝑟3,4 𝑟3,5 ⎢𝑟 (𝑞) Rnaive = ⎢ 3,0 𝑟4,1 𝑟4,2 𝑟4,3 𝑟4,4 𝑟4,5 ⎢ 𝑟4,0 ⎢ 𝑟5,0 𝑟5,1 𝑟5,2 𝑟5,3 𝑟5,4 𝑟5,5 ⎢ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⎢ ⎣𝑟127,0 𝑟127,1 𝑟127,2 𝑟127,3 𝑟127,4 𝑟127,5 ⋯ 𝑟0,127 ⎤ ⋯ 𝑟1,127 ⎥ ⋯ 𝑟2,127 ⎥ ⎥ ⋯ 𝑟3,127 ⎥ ⋯ 𝑟4,127 ⎥ ⎥ ⋯ 𝑟5,127 ⎥ ⎥ ⋱ ⋮ ⎥ ⋯ 𝑟127,127 ⎦ 22/30
77. Вращение только в плоскости (𝑞0 , 𝑞1 ) 23/30
78. Вращение только в плоскости (𝑞0 , 𝑞1 ) 𝑞 ⎡ 0 ⎤ ⎢ 𝑞1 ⎥ ⎢𝑞 ⎥ ⎢ 2 ⎥ ⎢𝑞 ⎥ q=⎢ 3 ⎥ ⎢ 𝑞4 ⎥ ⎢ 𝑞5 ⎥ ⎢ ⎥ ⎢ ⋮ ⎥ ⎣𝑞127 ⎦ 𝑟 𝑟 ⎡ 0,0 0,1 ⎢𝑟1,0 𝑟1,1 ⎢ 0 0 ⎢ 0 ⎢ 0 R(𝑞) = ⎢ 0 ⎢ 0 ⎢ 0 0 ⎢ ⋮ ⋮ ⎢ 0 ⎣ 0 0 0 0 0 0 0 ⋮ 0 0 0 0 0 0 0 ⋮ 0 0 0 0 0 0 0 ⋮ 0 0 0 0 0 0 0 ⋮ 0 ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋱ ⋯ 0 ⎤ 0⎥ 0⎥ ⎥ 0⎥ 0⎥ ⎥ 0⎥ ⎥ ⋮⎥ 0⎦ 23/30
79. Вращение только в плоскости (𝑞2 , 𝑞3 ) 𝑞 ⎡ 0 ⎤ ⎢ 𝑞1 ⎥ ⎢𝑞 ⎥ ⎢ 2 ⎥ ⎢𝑞 ⎥ q=⎢ 3 ⎥ ⎢ 𝑞4 ⎥ ⎢ 𝑞5 ⎥ ⎢ ⎥ ⎢ ⋮ ⎥ ⎣𝑞127 ⎦ 0 ⎡ ⎢0 ⎢0 ⎢ ⎢0 R(𝑞) = ⎢ ⎢0 ⎢0 ⎢ ⎢⋮ ⎣0 0 0 0 0 0 0 0 𝑟2,2 𝑟2,3 0 𝑟3,2 𝑟3,3 0 0 0 0 0 0 ⋮ ⋮ ⋮ 0 0 0 0 0 0 0 0 0 ⋮ 0 0 0 0 0 0 0 ⋮ 0 ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋱ ⋯ 0 ⎤ 0⎥ 0⎥ ⎥ 0⎥ 0⎥ ⎥ 0⎥ ⎥ ⋮⎥ 0⎦ 24/30
80. Блочно-диагональная матрица 𝑞 ⎡ 0 ⎤ ⎢ 𝑞1 ⎥ ⎢𝑞 ⎥ ⎢ 2 ⎥ ⎢𝑞 ⎥ q=⎢ 3 ⎥ ⎢ 𝑞4 ⎥ ⎢ 𝑞5 ⎥ ⎢ ⎥ ⎢ ⋮ ⎥ ⎣𝑞127 ⎦ 𝑟 𝑟 0 0 0 0 ⎡ 0,0 0,1 0 0 0 ⎢𝑟1,0 𝑟1,1 0 ⎢ 0 0 𝑟2,2 𝑟2,3 0 0 ⎢ 0 𝑟3,2 𝑟3,3 0 0 ⎢ 0 R(𝑞) = ⎢ 0 0 0 𝑟4,4 𝑟4,5 ⎢ 0 ⎢ 0 0 0 0 𝑟5,4 𝑟5,5 ⎢ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⎢ 0 0 0 0 0 ⎣ 0 ⋯ 0 ⎤ ⋯ 0 ⎥ ⋯ 0 ⎥ ⎥ ⋯ 0 ⎥ ⋯ 0 ⎥ ⎥ ⋯ 0 ⎥ ⎥ ⋱ ⋮ ⎥ ⋯ 𝑟127,127 ⎦ 25/30
81. Вращение пар (𝑞0 , 𝑞1 ) → 𝑚 ⋅ 𝜃0 (𝑞2 , 𝑞3 ) → 𝑚 ⋅ 𝜃1 (𝑞4 , 𝑞5 ) → 𝑚 ⋅ 𝜃2 (𝑞6 , 𝑞7 ) → 𝑚 ⋅ 𝜃3 … (𝑞20 , 𝑞21 ) → 𝑚 ⋅ 𝜃10 … (𝑞40 , 𝑞41 ) → 𝑚 ⋅ 𝜃20 … (𝑞126 , 𝑞127 ) → 𝑚 ⋅ 𝜃63 26/30
82. Вращение пар (𝑞0 , 𝑞1 ) → 𝑚 ⋅ 𝜃0 (𝑞2 , 𝑞3 ) → 𝑚 ⋅ 𝜃1 (𝑞4 , 𝑞5 ) → 𝑚 ⋅ 𝜃2 (𝑞6 , 𝑞7 ) → 𝑚 ⋅ 𝜃3 Частоты … (𝑞20 , 𝑞21 ) → 𝑚 ⋅ 𝜃10 𝜃𝑖 = 10000−2𝑖/128 … (𝑞40 , 𝑞41 ) → 𝑚 ⋅ 𝜃20 … (𝑞126 , 𝑞127 ) → 𝑚 ⋅ 𝜃63 26/30
83. Вращение пар (𝑞0 , 𝑞1 ) → 𝑚 ⋅ 𝜃0 100000 = 1, 0000 (𝑞2 , 𝑞3 ) → 𝑚 ⋅ 𝜃1 10000−2/128 = 0, 8660 (𝑞4 , 𝑞5 ) → 𝑚 ⋅ 𝜃2 10000−4/128 = 0, 8286 (𝑞6 , 𝑞7 ) → 𝑚 ⋅ 𝜃3 10000−6/128 = 0, 7500 Частоты … (𝑞20 , 𝑞21 ) → 𝑚 ⋅ 𝜃10 … 𝜃𝑖 = 10000 −2𝑖/128 10000 −20/128 10000 −40/128 … (𝑞40 , 𝑞41 ) → 𝑚 ⋅ 𝜃20 = 0, 2371 … = 0, 0562 … … (𝑞126 , 𝑞127 ) → 𝑚 ⋅ 𝜃63 10000−126/128 = 0, 0001 26/30
84. Эффективные повороты Матрица поворота R(𝜙) = [ cos 𝜙 − sin 𝜙 ] sin 𝜙 cos 𝜙 27/30
85. Эффективные повороты 𝜃𝑖 = 10000−2𝑖/128 Матрица поворота R(𝜙) = [ cos 𝜙 − sin 𝜙 ] sin 𝜙 cos 𝜙 27/30
86. Эффективные повороты 𝜃𝑖 = 10000−2𝑖/128 Матрица поворота R(𝜙) = [ cos 𝜙 − sin 𝜙 ] sin 𝜙 cos 𝜙 𝑐𝑖 = cos(𝑚𝜃𝑖 ) 𝑠𝑖 = sin(𝑚𝜃𝑖 ) 27/30
87. Эффективные повороты 𝜃𝑖 = 10000−2𝑖/128 Матрица поворота R(𝜙) = [ cos 𝜙 − sin 𝜙 ] sin 𝜙 cos 𝜙 𝑐𝑖 = cos(𝑚𝜃𝑖 ) 𝑠𝑖 = sin(𝑚𝜃𝑖 ) 𝑞′ 𝑐 −𝑠𝑖 𝑞 [ ′ 2𝑖 ] = [ 𝑖 ] [ 2𝑖 ] 𝑞2𝑖+1 𝑠 𝑖 𝑐𝑖 𝑞2𝑖+1 27/30
88. RoPE Плюсы 28/30
89. RoPE Плюсы • Быстрый 28/30
90. RoPE Плюсы • Быстрый • Нет дополнительных весов 28/30
91. RoPE Плюсы • Быстрый • Нет дополнительных весов • Экстраполируется 28/30
92. RoPE Плюсы Минусы • Быстрый • Нет дополнительных весов • Экстраполируется 28/30
93. RoPE Плюсы • Быстрый Минусы • Фиксированные частоты • Нет дополнительных весов • Экстраполируется 28/30
94. RoPE Плюсы • Быстрый • Нет дополнительных весов • Экстраполируется Минусы • Фиксированные частоты • Очень длинные последовательности 28/30
95. RoPE Плюсы • Быстрый • Нет дополнительных весов • Экстраполируется Минусы • Фиксированные частоты • Очень длинные последовательности • Сложнее реализация 28/30
96. Заключение 29/30
97. Заключение • От абсолютного к относительному 29/30
98. Заключение • От абсолютного к относительному • От аддитивного к геометрическому 29/30
99. Ключевые работы • Transformer https://arxiv.org/abs/1706.03762 • BERT https://arxiv.org/abs/1810.04805 • Transformer-XL https://arxiv.org/abs/1901.02860 • T5 https://arxiv.org/abs/1910.10683 • ALiBi https://arxiv.org/abs/2108.12409 • RoPE https://arxiv.org/abs/2104.09864 30/30
100. Вопросы? 30/30