Прогресс ученика: Как анализ больших данных помогает быстрее и дешевле достичь образовательных целей

Михаил Свердлов, Content Director Skyeng

Transcript

1. Прогресс ученика: Как анализ больших данных помогает быстрее и дешевле достичь образовательных целей Миша Свердлов, контент директор
2. Оглавление: 1. цели учеников и как с ними жить 2. образовательная аналитика и немного про data driven 3. прогресс ученика в цифрах 4. как применяем в экосистеме 1 Content 2.0
3. как решить задачу ученика? цель? проблема 3 Content 2.0
4. А куда ему вообще? А туда ли он идет? А как ему? Тяжело? Интересно? У нас тут 110+ метрик, а у вас? образовательная аналитика система координат 4 Content 2.0 А нравитесь ли вы Ученикам? Нет, ну серьезно? Я не про прическу или бороду, а про формат и понятность, например … У нас тут 75+ метрик, а у вас? Было всё плохо? Вот число, которое показывает масштаб трагедии! А у вас есть число? А если поискать? У нас тут 150+ метрик, а у вас? Контент Преподаватель Ученик
5. 5 Content 2.0 образовательная аналитика система координат
6. 1 Content 2.0 образовательная аналитика система координат
7. 6 Content 2.0 Коррелирует с GMV и С2 Балл <8.5 - вероятная потеря У HWC Коррелирует с GMV и С2 Балл <8 - вероятная потеря У Коррелирует с С2, но только при большом количестве эмоций Качественная метрика Коррелирует с GMV и С2 Балл <75% - вероятная потеря У Коррелирует с GMV и С2 Факт негативной оценки на первых 3х уроках - вероятная потеря У NPS/CSI Retention/LTV образовательная аналитика система координат
8. 7 Content 2.0 прогресс: зачем он нужен? как решали
9. 8 Content 2.0 прогресс: зачем он нужен? как решали
10. 9 Content 2.0 прогресс: что делает модель? как решали Декомпозирует владение английским языком на микронавыки
11. 10 Content 2.0 прогресс: что делает модель? как решали Декомпозирует цели изучения английского* на те же микронавыки и связывает их с имеющимся контентом * навыки и предметы можно подставить любые + немного на обучение модели
12. 11 Content 2.0 прогресс: что делает модель? как решали На основе больших данных об оценках за связанные между собой микронавыки, предсказывает, насколько хорошо ученик владеет тем или иным навыком *И вот так для каждой пары связанных навыков каждого ученика
13. 12 Content 2.0 прогресс: что делает модель? как решали А B Теперь, понимая где ученик находится в каждый момент времени, мы можем сказать сколько занятий ему требуется для достижения цели А ещё можем локализовать пробелы в его знаниях и воздействовать на них, рекомендуя тот или иной контент
14. 13 Content 2.0 ⇢ ⇢ ⇢ прогресс как решали Мы можем ответить на вопрос: чего конкретно ученику здесь и сейчас не хватает для максимально быстрого развития (достижения цели)
15. 14 Content 2.0 скорость прогресса количественный эффект Подтвержденная связь метрик со скоростью прогресса • Lesson score \ У со средним баллом выше 9.4 имеют на 0.05 выше скорость прогресса Но это ничего не дает • HW score \ У со средним баллом за домашку ≥ 8.85 прогрессируют быстрее, чем У со средним баллом < 8.85. Разница составляет ~ 0.04 пункта шкалы. • Выполнение домашек \ У детей не влияет, у взрослых есть положительная связь. Но взрослые со временем перестают делать домашки, они у них накапливаются и прогресс не растят. • Задаваемость домашек \ Положительная связь у взрослых и детей. Но взрослые со временем перестают делать домашки, они у них накапливаются и прогресс не растят. • Связь выполнения домашек и ошибок в упражнениях \ Чем больше домашек выполняет У, тем меньше у него ошибок на уроках, тем больше Lesson score и тем больше рост прогресса • Чем выше уровень, тем больше уроков требуется чтобы повысить его на единицу \ Внутри есть прямая зависимости
16. 15 Content 2.0 скорость прогресса количественный эффект Связь скорости прогресса с retention • Отвалы на 6/15/25 уроке \ У отвалившихся на 15 и 25 уроке учеников скорость прогресса значимо ниже, чем у тех, кто продолжил потом заниматься Ненайденная или слабая связь • Poll rate \ Какой бы ни был прирост уровня на занятии, средняя оценка, соответствующая этому занятию, колеблется в пределах от 4.78 до 4.9 • Videopractice \ Положительная связь в начале обучения (20-30 уроков), дальше нет связи • Preparation steps \ Связь есть, но очень слабая и обеспечивается малой долей учеников • Интенсивность \ До уровня pre-intermediate включительно нет разницы между тем сколько уроков в месяц занимается У
17. персонализация что получилось 16 Content 2.0
18. персонализация что получилось 17 Content 2.0 Обязательный урок Контроль прогресса Урок под цель Переезжаю в Канаду Сдать IELTS через неделю Хочу повышения
19. персонализация что получилось 8% 18 Content 2.0
20. кейсы: грамматика и тренировки что получилось 19 Content 2.0 занимаются в грамматическом тренажере 3+ раз в месяц 10,4%
21. рекомендалка что получилось 20 Content 2.0 76% Индивидуальные рекомендации согласно траектории
22. 21 Content 2.0 прогноз вероятности оценки что получилось
23. 4 Content 2.0 прогноз вероятности оценки количественный эффект + 2.56 балла + 2.56 балла
24. Михаил Свердлов m.sverdlov@skyeng.ru +7 (922) 200 83 61 (Telegram, WhatsApp) Автор канала: Образование, которое мы заслужили https://t.me/ru_education