Избавляемся от проклятия Sklearn: пишем XGBoost с нуля

5d08ba0cd07942f2ddbf82e5b21ba5e7?s=47 FunCorp
February 11, 2019
2.6k

Избавляемся от проклятия Sklearn: пишем XGBoost с нуля

«Избавляемся от проклятия Sklearn: пишем XGBoost с нуля», Артём Хапкин, Mail.ru Group

О докладе

Рассказ про бустинг. Что нужно знать, чтобы самому его написать. Какие есть подводные камни, как можно улучшать его работу.

В настоящее время сложно представить место, где не используются ансамблевые алгоритмы бустинга над решающими деревьями. Это и поисковые движки, алгоритмы ранжирования рекомендаций, соревнования на Kaggle и ещё много где.

Существуют много готовых реализаций алгоритма: Catboost, Lightgbm, Xgboost и прочее. Однако, бывают случаи, когда пользоваться готовыми решениями из коробки не очень хорошо — теряется понимание работы алгоритма, а для определённых задач такие реализации не очень подходят и пр.

В этом докладе мы разберём принципы работы алгоритма, и, двигаясь от простого к сложному, реализуем свой собственный алгоритм Xgboosting’а, который потом можно будет подстраивать для любых задач машинного обучения — классификации, регрессии, ранжирования и т.д.

5d08ba0cd07942f2ddbf82e5b21ba5e7?s=128

FunCorp

February 11, 2019
Tweet