Современный искусственный интеллект в облаке Дмитрий Сошников к.ф.-м.н., доцент НИУ ВШЭ / МАИ консультант Yandex Cloud по машинному обучению

2 Эволюция решений в области искусственного интеллекта 1. Обучение моделей машинного обучения 2. Предобученные модели 3. Transfer Learning 4. Фундаментальные модели 5. До-обучение 6. Prompt Engineering, RAG Что есть в Yandex Cloud Фундаментальные модели YandexGPT YandexART Платформенные сервисы Yandex SpeechKit Yandex Translate Yandex Vision OCR Среда разработки и обучения ML-моделей Yandex DataSphere

3 Классический ИИ в облаке: Сайлюгемский национальный парк

4 Классический ИИ в облаке: Сайлюгемский национальный парк Разметка Обучение Yandex DataSphere Yandex DataLens Yandex Managed Service for YDB Cloud Functions Object Storage Датасет

5 Классический ИИ в облаке: Сайлюгемский национальный парк

6 Области применения искусственного интеллекта Классический ML Компьютерное зрение Обработка естественного языка Речь / звук Самостоятельное обучение моделей Предиктивная аналитики Распознавание / обнаружение объектов Классификация Выделение сущностей Text-to-speech Speech-to-text Предобученные модели YOLO BERT OpenAI Whisper Облачные сервисы DataSphere Vision OCR Translate SpeechKit Фундаментальные модели Segment Anything Mistral, Gemma Фундаментальные модели в облаке YandexART YandexGPT

ML-сервисы в Yandex Cloud Готовые модели: доступ по API SpeechKit Распознавание и синтез речи. Создание голосовых помощников, автоматизация колл-центров, контроль качества сервиса YandexGPT Генеративная языковая модель для анализа текстовой информации, создания контента и чат-ботов Translate Машинный перевод на 90+ языков, собственный глоссарий Vision OCR Распознавание текста и шаблонов документов, распознавание автомобильных номеров Среда разработки и обучения ML моделей DataSphere Функционал для командной работы и ролевая модель JupyterLab Гибкая конфигурация вычислительных ресурсов c GPU V100 и A100 Data Proc Тесная интеграция со Spark для обработки больших данных в S3 7

Пример: вопрос-ответный бот Telegram Логика бота (VM/Kubernetes) YandexGPT Managed Service for OpenSearch SpeechKit

Большие языковые модели

Как работают нейросети X1 X2 XN … Y2 Y1 Axons Dendrites

11 Малые языковые модели

12 Машинный перевод и его проблемы

13 Внимание

14 Внутреннее и внешнее внимание The animal didn’t cross the street because it was too tired The animal didn’t cross the street because it was too wide

15 Как устроены LLM

16 LLM умеет то же, что и человек с листом бумаги и ручкой И, как человек, некоторые вещи умеет хуже, чем машины

17 LLM умеет: Хорошо vs Плохо LLM умеет делать хорошо • Генерировать и редактировать тексты • Отвечать на вопросы по базе знаний • Чатиться, общаться • Обобщать и интерпретировать данные • Классифицировать и определять тональность текста • Выделять сущности из текста Есть решения, лучше LLM • Ранжирование результатов поиска, рекомендации товаров, услуг и т.д. • Решение задач, подразумевающих строгую логику • Решение задач с низкой толерантностью к ошибке и высокой стоимостью проверки

18 Пример: извлечение смысла feedback = [ 'Купил iPhone 15. Ну что сказать - очень доволен покупкой! Приятный цвет, телефон просто летает, да и камера достаточно хороша!', 'Заказанный телефон Poco X1 пришел в некрасивой упаковке. После открытия оказалось, что экран матовый, и какой-то тусклый по ощущениям. Все фотографии получаются замыленные. В общем, никому не рекомендую покупку!', 'Отличная быстрая доставка! Наслаждаюсь своим новеньким Samsung Galaxy!'] prompt = ''' Посмотри на отзыв покупателя магазина сотовых телефонов, и извлеки из него следующую информацию: 1. Название модели телефона 2. Тональность отзывы: положительная, отрицательная или нейтральная. 3. Основные минусы в отзыве (доставка, камера, внешний вид и др.) 4. Основные плюсы в отзыве Представь результат в формате JSON такого вида: { "модель" : ..., "тональность" : ..., "минусы" : [...], "плюсы" : [...] } Ниже сам текст отзыва: ''' for x in feedback: res = GPT(prompt+x) print(res)

19 Пример: { "модель": "iPhone 15", "тональность": "положительная", "минусы": [], "плюсы": ["приятный цвет", "телефон просто летает", "камера хороша"] }, { "модель": "Poco X1", "тональность": "отрицательная", "минусы": ["некрасивый дизайн упаковки", "матовый экран", "замыленные фотографии"], "плюсы": [] }, { "модель": "Samsung Galaxy", "тональность": "положительная", "минусы": ["камера"], "плюсы": ["быстрая доставка"] }

20 Промпт-инжиниринг Для разработчиков https://github.com/ yandex-datasphere/ PromptEngineering4Devs Для ваших родителей →

21 Первое правило промпт-инжиниринга Никому не рассказывать про промпт-инжиниринг Если с первого раза не получился хороший результат – не отчаиваться. Почти всегда нужно несколько попыток, чтобы подобрать идеальный промпт.

22 Пример: Напиши описание игрушки-самолёта для каталога Игрушечный самолёт «Sky Wings» — это отличный выбор для детей, которые любят авиацию и мечтают о полётах. Эта игрушка не только красива и функциональна, но и безопасна для детей любого возраста. Самолёт выполнен из высококачественного пластика, который не содержит вредных веществ и не вызывает аллергии. Он имеет яркий и привлекательный дизайн, который понравится любому ребёнку. «Sky Wings» оснащён инерционным механизмом, который позволяет ему двигаться вперёд после лёгкого толчка. Это делает игру с самолётом ещё более увлекательной и интересной. Игрушечный самолёт «Sky Wings» станет отличным подарком для любого ребёнка, который любит играть с самолётами. Он поможет развить у детей воображение, координацию движений и интерес к авиации. Приобретая игрушечный самолёт «Sky Wings», вы дарите своему ребёнку не просто игрушку, а возможность окунуться в мир авиации и почувствовать себя настоящим пилотом.

23 Пример: Ты – опытный маркетолог в премиальном магазине игрушек. Сгенерируй описание игрушки длинною в два абзаца текста, по приведённым ниже в тройных обратных кавычках данным, ориентированное на пятилетнего ребенка. ``` Название: супер-самолёт Материал: пластмасса Стоимость: 250 р. Возраст: 5+ ``` «Супер-самолёт» — это удивительная игрушка для настоящих пилотов! Он сделан из прочной пластмассы и может летать так высоко, как ты захочешь. С ним ты сможешь отправиться в любое путешествие, а если захочешь, то даже в космос! «Супер-самолёт» станет твоим лучшим другом и помощником в играх. Он научит тебя быть смелым, сильным и всегда добиваться своей цели.

24 Структура промпта Элемент промпта Пример Начальная установка Ты – опытный маркетолог в премиальном магазине игрушек., Задание Сгенерируй описание игрушки для каталога Длина результата длинною в два абзаца текста, Использование ограничителей по приведённым ниже в тройных обратных кавычках данным Целевая аудитория / стиль ориентированное на пятилетнего ребенка. Формат результата Сформируй результат в формате HTML

Приёмы промпт-инжиниринга Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen. Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4. arXiv:2312.16171 [cs.CL]

26 Главные бизнес-кейсы LLM Support Подсказки Переформулировка ответа Суммаризация истории общений Оценка сервиса Классификация Тренажёр оператора HR Sales Marketing Анализ CV кандидатов Персонализированная коммуникация с кандидатом Мониторинг за перфомансом HR self-service Чат-бот / FAQ на сайте Индивидуальные письма от сейлзов Вычитка / редактура Автоматизация: follow- ups, заполнение CRM Аналитика продаж Персонализированный маркетинг Статьи, новости, посты в блоге Рекламные креативы Аналитика упоминаний Общение в SM

27 А также Юристы Разработка программного обеспечения Финансы

LLM в Яндексе

YandexGPT 29 интеграций в продуктах Яндекса

YandexGPT уже используется в сервисах Яндекса Алиса, давай придумаем! Яндекс Маркет — «Создать с YaGPT» 300.ya.ru Генерация постов в «Шедевруме»

Результаты 31 Генерация описания товара Задача Генерация качественного описания товара с помощью YandexGPT в личном кабинете продавца и использование его для любых карточек 52% сгенерированных GPT-описаний сохранено продавцами +1,1% к заказам Продавцы меньше тратят времени на заполнение карточек и экономят на копирайтинге (рост NPS) Как это работает 1. Продавец заполняет данные о товаре 2. Нажимает кнопку «Создать с YaGPT» 3. Получает продающий текст 4. Публикует товар в магазине

32 Суммаризация отзывов на Маркете ¢

33 Суммаризация отзывов на Маркете

34 Суммаризация видео 475 лет сэкономлено за месяц

Возможности YandexGPT API

YandexGPT API Модели Инференс Стриминг Для real-time коммуникаций Синхронно Стандарт Асинхронно Для отложенных задач обработки данных YandexGPT Lite YandexGPT Pro Эмбеддинги Токенизатор Суммаризация На базе YandexGPT Lite

* Все цены в рублях, включая НДС. Также сервис доступен в Казахстане и Сербии. 37 Тарификация моделей YandexGPT API Модель Синхронный вызов Асинхронный вызов YandexGPT Pro 1,20 руб. 0,60 руб. YandexGPT Lite 0,20 руб. 0,10 руб. Embeddings 0,01 руб. Неприменимо Tokenizer Бесплатно Неприменимо

38 Консоль: instruct-режим

Специализация / до-обучение моделей

40 Два подхода Fine-tuning • Дорого и долго • Необходимы большие объемы текста с разнообразными запросами • Для внесения изменений нужно повторное обучение • Отличные результаты, если всё сделано правильно Retrieval-Augmented Generation • Быстро и дёшево • Текст, содержащий нужную информацию • Для внесения изменений достаточно поменять текст • Результаты не всегда идеальны

Обучение в DataSphere Не более 10 000 вопросов и ответов [ { "request": "текстовый запрос", "response": "ожидаемый ответ" }, { "request": "ещё один текстовый запрос", "response": "новый ожидаемый ответ" }, … ] 41

42 Retrieval-Augmented Generation

43 Мастер-класс по RAG https://github.com/yandex- datasphere/yatalks-potter-bot

44 Использование YandexGPT: LangChain https://github.com/yandex-datasphere/yandex-chain

45 Использование YandexGPT для RAG

46 RAG vs Fine-tuning vs Комбинация Аспект RAG Fine-tuning Комбинация Динамические данные Статические данные Внутренние данные Уменьшение галлюцинаций Прозрачность генерации Тонкая настройка под узкую задачу Голос бренда

47 Почему не использовать Оpen Source языковые модели? Это имеет смысл только в случае on-premise. Или когда нужна абсолютная гибкость настройки. YandexGPT API имеет ряд преимуществ: 1. Не нужно иметь свой штат MLOps-/ML-инженеров. 2. Модель постоянно развивается, качество и функциональность растут. 3. Инференс выходит дешевле и быстрее. 4. Простота и скорость итераций дообучения. https://github.com/yandex- datasphere/llm_deploy Но если вдруг хотите…

48 2 Подбор хорошей инструкции • учитывает контекст • описывает, как именно модель должна отвечать по документации Построение поисковой системы по документации 3 4 Автоматизация процесса ответов по базе знаний, встраивание в бизнес- процессы Тестирование и отладка Этапы построения решения 1

49 2 Подбор хорошей инструкции • учитывает контекст • описывает, как именно модель должна отвечать по документации Построение поисковой системы по документации 3 4 Автоматизация процесса ответов по базе знаний, встраивание в бизнес- процессы Тестирование и отладка Этапы построения решения 1 Fine-tuning модели YandexGPT Необходимы эталонные пары запрос-ответ опционально

50 Реализация в Yandex Cloud YandexGPT

Дмитрий Сошников к.ф.-м.н., доцент НИУ ВШЭ / МАИ консультант Yandex Cloud по машинному обучению https://clck.ru/3AFo6z Спасибо за внимание!