Будущее локальных LLM – Алексей Голобурдин, PythoNN

Transcript

1. Будущее локальных LLM 1
2. Что происходит? LLM можно запускать локально на своём железе локальные модели не такие уж тупые, как может показаться Terminal Bench 2.1: 90% top-tier модели 80% локальная модель, которую можно запустить даже на MacBook Air мир вообще во многом идёт в сторону локальных моделей 2
3. Обо мне диплом с отличием МГТУ им. Баумана 22 года в IT, из них 18 лет коммерческого опыта работал в: департаменте информационной безопасности МТС IBS российских подразделениях Oracle и SAP сейчас делаю свои проекты, в т.ч. в сфере IT-образования 17M просмотров на YouTube «Диджитализируй!», 180К подписчиков вышла книга-видос «Логирующий Python!», смотрите в канале:) 3
4. мы находимся на этапе перехода от ИИ где-то в интернете к ИИ на персональном компьютере это не значит, что «эпоха» облачных LLM закончена 4
5. Локальные модели разработчики моделей делают их всё более эффективными производители железа строят архитектуру компьютеров под локальные LLM Microsoft и Apple добавляют в свои ОС инструменты для ИИ-агентов с локальными моделями 5
6. Terminal Bench 2.1 Лидеры: Claude Fable 5.1 max — 91.4% GPT-6 Astra high — 89.9% Qwen 3.8 27B xhigh — 79.8% Разницa ≈ 10% 6
7. DABstep benchmark https://habr.com/ru/companies/otus/articles/1092466/ 7
8. А по скорости? GPT 5.6 Luna Max прогоняла задачу за 40 сек Qwen — за 5-6 минут на скорости инференса 5-7 токенов в сек на MacBook Air Но: на RTX 3090 скорость инференса ≈ 30 токенов в секунду тогда скорость будет сопоставима с ChatGPT 8
9. Скорость всегда важна? для интерактивной работы хочется иметь максимальную скорость но вся ли работа интерактивна? нет, не вся уходите спать и ставите задачу: «Проанализируй все SQL-запросы, которые сегодня добавились в проект. Найди самые дорогие, предложи оптимизации, проверь их на тестовых данных. У тебя есть двенадцать часов. Утром покажи, какие изменения действительно ускоряют систему» 9
10. Модель может провести сотни экспериментов и найдёт лучшие пути оптимизации запросов 10
11. для достижения наилучшего результата от модели часто нужно прогнать задачу многократно все эксперименты — бесплатны лучший результат может выбираться самой моделью (или другой моделью-судьёй) или по объективному показателю, например, уменьшению стоимости запроса в планировщике PostgreSQL или путём экспертной вашей человеческой оценки 11
12. Мой кейс раньше: неделя+ ручного метчинга населённых пунктов служб доставки с ФИАС в Salesbeat сейчас: сутки работы своего небольшого агента на локальной модели Qwen, работающей на RTX 3090 за 70 тыс руб с Авито 12
13. почему это стало возможным с local LLM? 13
14. 1. Квантование FP16 — один параметр занимает два байта 4-битное квантование — один параметр 0.5 байта благодаря квантованию модель помещается на локальный компьютер квантование может ухудшить качество, но 4-битное квантование обычно уже норм (больше лучше) 14
15. 2. Архитектуры моделей Более эффективные механизмы внимания, оптимизированная работа с контекстом и архитектура Mixture of Experts 15
16. 3. Лучшее обучение улучшились датасеты, методы обучения, дистилляция знаний, обучение рассуждениям и работе с инструментами кол-во параметров перестало быть главной мерой интеллекта модели небольшая современная модель в конкретной задаче может оказаться полезнее огромной, но более старой 16
17. открытые локальные модели отстают от передовых закрытых моделей примерно на шесть-девять месяцев, а иногда уже и всего на 3-4 месяца /мнение, подтверждённое бенчмарками 17
18. бенчмарки ограничены по времени увеличение времени на выполнение задачи локальной моделью увеличивает баллы модели скорость не всегда критична для практичных задач 18
19. возможности, которые доступны сегодня только самым дорогим моделям, постепенно переходят в гораздо более компактные модели, которые в том числе можно запускать локально 19
20. MoE группа экспертов в обычной dense, то есть плотной модели для генерации токена используется практически весь набор весов в moe для генерации следующего токена используется только часть всех весов поэтому MoE легче для локального инференса пример: qwen 3.6 35b a3b 20
21. MTP Multi-Token Prediction предсказание сразу нескольких токенов с последующим их подтверждением (может отклониться) может замедлять инференс, но на технических задачах и небольших контекстах буст скорости в десятки процентов 21
22. Apple MLX объединённая память, сотни гигабайт на пропускной скорости до 614 гигабайт/сек широкая память vs быстрая память 22
23. Nvidia RTX Spark локальная железка на 128GB объединённой памяти на скорости 300 гигабайт/ сек 23
24. AMD планирует в 2027м начать продажи AMD Threadripper Halo Station, в которую можно будет установить до 576 ГБ видеопамяти 24
25. Microsoft развивает ПО для локального инференса, например, Windows Execution Containers — решение для изоляции и управления фоновыми агентами раньше локальная LLM чаще была приложением, которое пользователь запускает по необходимости, теперь Microsoft предполагает, что агент может постоянно работать на персональном устройстве, обрабатывать локальные документы, взаимодействовать с приложениями и выполнять фоновые задачи 25
26. Anthropic Утверждают, что скоро маленькие модели (27b) смогут самореплицироваться на IoT-устройствах без доступа к дата-центрам и GPU ИИ может научиться заражать бытовую технику (дешевые смарт-ТВприставки, камеры, умные приборы), поселяться на ней и оттуда заражать следующие устройства даже простейшая техника может вывезти небольшую модель: авторы раскатили на 15 Android TV-боксах по ~$55 Gemma4-26B-A4B, MoE модель от Google https://www.anthropic.com/research/self-replicating-ai 26
27. Экономика продукта облачная модель может не позволять сходиться экономике в отличие от локальной модели 27
28. Что могу у себя запустить? llmfit, https://github.com/AlexsJones/llmfit, 38К звёзд на GitHub Анализирует ваше оборудование и оценивает, какие языковые модели подходят под доступные ресурсы 28
29. Плюсы локальных LLM бесплатно приватность способствуют экспериментам многократное выполнение задачи для лучшего результата не тупеют перед выходом новой модели работают без интернета (могут принимать решение в лесу или на крайнем севере, роботы и тп) 29
30. Спасибы! https://t.me/t0digital 30