Исследования в Alignment GigaChat

Конференция GIGA R&D DAY
Презентации на Google Drive: https://drive.google.com/drive/folders/1t1Y5sH4mGFAIzdcrrfXz8m65QEmghA7U
Выступления: https://www.youtube.com/playlist?list=PLJU_M19giWaHVbfs2ltF1kBxUrjAblCD1

Transcript

1. Исследования в Alignment GigaChat Никита Сидоров SberDevices
2. Источник State of GPT | BRK216HFS
3. Источник State of GPT | BRK216HFS
4. Alignment своими словами — AI-система умеет на одинаково хорошем уровне решать 
 различные задачи — Сохраняется стиль и полнота ответов — При добавлении нового кейса система не ломается
5. Первые сложности Как сохранять качество ответов при меняющемся контексте беседы?
6. Первые сложности Делать миксование данных!
7. Мультикомандная разработка Как быть, когда есть много команд, обучающих одну модель?
8. Мультикомандная разработка — Единый репозиторий для процессинга данных и аугментаций — Единый репозиторий для обучения модели — Единый репозиторий для автоматического замера качества Централизация
9. Сложности добавления новых задач
10. Сложности добавления новых задач Catastrophic forgetting
11. Сложности добавления новых задач — «Забывание» знаний из pretrain-стадии после SFT обучения — Утрата способности модели к обобщению на задачах из непокрытых доменов Catastrophic forgetting
12. Внедрили в SFT Child-Tuning
13. Чем еще мы занимаемся GigaRAG Рассортируй чемпионов по количеству титулов подряд: Шумахер; Сена; Вильнёв Михаэль Шумахер — 5 титулов подряд. Айртон Сенна — 2 титула подряд. Жак Вильнёв — 1 титул подряд. WIKI WEB
14. Чем еще мы занимаемся Генерация данных Генератор запросов к разным БД Валидатор запросов Генерация промптов Редакторы Генерация синтетики
15. Немного очевидного Данные Модель Результат Хорошие Мусор Хорошая Мусор Мусор Мусор
16. Как понимаем, что получили прирост качества Источник Апгрейд GigaChat Lite/Pro
17. Как понимаем, что получили прирост качества
18. Как понимаем, что получили прирост качества Автометрики MMLU/en 5-shot MMLU/ru Продуктовые задачи Ответы по документам GigaChat Pro [25.01.2024] 68.8 60.7 76.5 77.1 GigaChat Lite [25.01.2024] 60.5 52.8 70 72.1
19. Платформа для исследований в Alignment — Prod и Research на одной кодовой базе — Чистые данные в SFT — Общее хранилище моделей и данных — Репозиторий для замера автометрик
20. Фокус исследований в Alignment — Композиция датасетов в SFT — Пропорции данных — RLHF — GigaRAG