XGBoostの仕組み：その① 一番はじめにできる木の作り方

動画での説明→https://youtu.be/Tqhs1YrZgeI

データ分析コンペで最も頻繁に使用される手法の一つであるXGBoostについて、その仕組みとパラメータの意味を説明します。第一回となる今回は、回帰をする場合に一番初めにどのような木が作成されるかを説明したいと思います。

-----------------------------
★このスライド・動画では以下の論文と公式ドキュメントを参考にして動画を作成しています
- XGBoost: A Scalable Tree Boosting System https://arxiv.org/pdf/1603.02754.pdf
- XGBoost Documentation https://xgboost.readthedocs.io/en/latest/index.html

Transcript

1. XGB XGB
2. XGB A S T B S タ んタ最 る 調 る ず みイ ず め べ るん
3. XGB ら れタ S S 最 最 タ XGB A S T B S ࢀߟจݙɿCHEN, Tianqi; GUESTRIN, Carlos. Xgboost: A scalable tree boosting system. In: Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining. 2016. p. 785-794.
4. 礎 限 タ こ の あ と の 思 の で い ま す
5. ほわ 「 る い ʹ 2 0 で す
6. 式 タ
8. べ み 限 る そ の た め に は じ め に S S と ば れ る を め ま す
9. S ラ ム ダ λ は パ ラ メ ー タ で す
10. S ラ ム ダ λ は パ ラ メ ー タ で す
11. G タ ど の よ う な に G が き く な る か を し ま す
12. G は に な り ま す
13. る んみ が う ま く を れ て い る か を 限 し よ う と し て い ま し た る 。 限 め み べみ るんデ G べ よ み るん
14. 限 みほ イ 限 が を え る か ど う か で を さ せ て み ま す 。 限 め み べみ るんデ G べ よ み るん
15. G 仮 み 限礎 G が ず い は ご と に た デ ー タ が ま っ て い ま す
16. G 仮 み 限礎
17. よ こ れ ま で に て き た パ ラ メ ー タ を し ま す
18. G G G イ み タ ら λ
19. タ XGB 式 べ み タ イ べ み G べ めタ ス み よ め G G G イ み タ ら λ ブ ー ス テ ィ ン グ で ど の よ う な を っ て い る か し ま し た
20. タ XGB 式 べ み タ イ べ み G べ めタ ス み よ め G G G イ み タ ら λ ブ ー ス テ ィ ン グ で ど の よ う な を っ て い る か し ま し た
21. XGB XGB
22. λ る る λ 「 る
23. る る べ は じ め に が に で あ る と す る こ と に し た こ と を い し て く だ さ い 「
24. よ る る 2 0 に か を し て を で き る よ う に し た い 「
25. よ る る さ っ き っ た を っ て 式 を し ま す 「 」 前 る め
26. よ る る さ っ き っ た を っ て 式 を し ま す 「 「 」 め
27. イ ん デ よべ み
28. 「 」 る る る 2 0 よ り も し い が で き ま す が ま だ 式 が あ る は ず 「 「 」 ✖
29. 式 る べ らデ る の の 最 は は じ め に し た と 前 く じ で す 「 「 」 ✖ 「 」 ✖
30. パ パ よ め 式 が さ く な る ま で を ど ん ど ん し ま す 「 「 」 ✖ 「 」 ✖ 「 」 ✖ 「 」 ✖ 「 」 ✖
31. よ め 仮
32. λ る ラ ム ダ が の と 2 の で の の い を ま す 「 「 」 ✖ を っ て の の を し て み ま し ょ う
33. λ ら め ラ ム ダ を す る こ と で を ぐ こ と が で き ま す 「 「 」 ✖
34. タ XGB の と な る ま で の ス テ ッ プ と パ ラ メ ー タ の を し ま し た 仮 み 限礎 G イ み タ ら タ よ め 仮 イ ん デ よべ み