Тарас Пустовой. Университет 2035. Как ИИ отвечает на вопрос «Чему пойти учиться?»

Как решить задачу прохождения по ЦЕЛЕнаправленным персональным траекториям обучения 1500 людям?

Transcript

1. Как ИИ отвечает на вопрос: «Чему пойти учиться?» Пустовой Тарас, Технический директор Университета 2035 pustovoy@2035.university Рудометкин Егор, Product Owner, Университета 2035 rudometkin@2035.university Bigdata & AI Conf, 19.09.2019
2. Дано Одно здание на 60 аудиторий. 10 дней. 2000+ мероприятий. Задача Помочь пройти по ЦЕЛЕ- направленным персональным траекториям обучения 1500 людям
3. Что мы знаем на входе? a. Роль b. Состав команды c. Свойства личности d. Соцдем профиль e. Описание мероприятий f. Разметку мероприятий по компетентностному профилю
4. Как люди идут? Ритуал выбора 4 раза в день Акт выбора План дня
5. Что мы узнаём в процессе? a. На что и сколько ставит b. Куда ходит c. Как отзывается d. Где загружает результаты работы e. Куда ходит команда f. Использует или нет рекомендации g. Рефлексия по дню и приближение к цели
6. Среднеквадратичное от суммы рекомендаций советников по идее должно было придать бОльшее значение максимальной рекомендации. Чтобы рекомендации “0%, 50%, 100%” были не тем же самым, что “50%, 50%, 50%”. Если один из советников рекомендует сильно положительно, − нужно прислушаться. Придумываем сложную формулу
7. Метафоризируем – “Три советника”
8. Советник Характера
9. 6 наборов параметров из более 70+ параметров личности Советник Характера (в цифрах)
10. В основе алгоритма лежит сиамская нейросеть использующая трансформеры из BERT для текстов. Обучали на данных посещений прошлого года и из Leader-ID. Сиамская сеть – это тип архитектуры нейросети, который обучается дифференцированию входных данных. То есть, позволяет научиться понимать какие пары пользователь-мероприятие подходят друг другу, а какие нет. Сиамские сети состоят из двух идентичных нейронных сетей, каждая из которых имеет одинаковые точные веса. Каждая сеть принимает один из двух текстов (описание события и описание пользователя) в качестве входных данных. Затем выходы последних слоев каждой сети отправляются в функцию, которая определяет, содержат ли тексты одинаковые идентификаторы и можно ли их объединить (рекомендовать событие этому пользователю). Используются: • мешок слов пользователя (включая soft skills, hard skills) • название посещенных мероприятий Советник Характера − технологии
11. Рекомендательная система через меру отношений к кластерам В реализации Советника используются • Опыт пользователя − посещенные мероприятия в прошлом • Название и описание мероприятия Кластеры нужны, чтобы даже по скудному описанию понять тематику. Из названий и описаний мероприятий (на Острове и в Лидере) формируются кластеры слов по методу k средних (k-means). Для каждого мероприятия находим отношения к кластерам. Для каждого пользователя (из его прошлых посещениям) собираем мешок слов и сопоставляем с кластерами. Произведение “мероприятие к кластерам” с “пользователь к кластерам” дает близость “пользователь к мероприятию” Советник Опыта
12. Советник Опыта - разметка
13. УРА рекомендации!!!
14. Смотрим что получилось, запускаем!
15. Что получаем?
16. Продолжаем эксперименты
17. Выглядит адекватно
18. коэффициент Покрытия (Coverage) – сколько людей воспользовались рекомендацией из ТОП воспользовались = сделали ставку, записались, или посетили ТОП - считали ТОП 5, ТОП 10, ТОП 20 Оценка качества
19. — Сколько людей сделало ставку на мероприятие из ТОП 5 Подбор коэффициента оценки качества
20. — результирующие рекомендации — рекомендации советников Подбор ансамбля советников
21. Более половины отзывов − положительная. Какова оценка мероприятий людьми, кто пошёл по рекомендации системы
22. Обучение и переобучение ИИ на данных Остров 10-22 Алгоритмы обучены на данных Остров 10-21 Доля пользователей, следующих рекомендациям Результаты перебалансировки
23. “Все лгут!” Доля пользователей, следующих рекомендациям 11% 37-66% говорят, что следуют рекомендациям ИИ действительно следуют рекомендациям ИИ
24. Балансировать рекомендации на уровне команды
25. Обсудим?
26. Какую метрику оптимизировать?
27. Как отслеживать развитие?
28. Спасибо за внимание! Пустовой Тарас, Технический директор Университета 2035 pustovoy@2035.university +7 (926) 365-14-60 Рудометкин Егор, Product Owner, Университета 2035 rudometkin@2035.university