Upgrade to Pro — share decks privately, control downloads, hide ads and more …

XGBoostの仕組み:その① 一番はじめにできる木の作り方

Fd6de6cbad68e7898078f548b6dd894c?s=47 K
September 14, 2021

XGBoostの仕組み:その① 一番はじめにできる木の作り方

動画での説明→https://youtu.be/Tqhs1YrZgeI

データ分析コンペで最も頻繁に使用される手法の一つであるXGBoostについて、その仕組みとパラメータの意味を説明します。第一回となる今回は、回帰をする場合に一番初めにどのような木が作成されるかを説明したいと思います。

-----------------------------
★このスライド・動画では以下の論文と公式ドキュメントを参考にして動画を作成しています
- XGBoost: A Scalable Tree Boosting System https://arxiv.org/pdf/1603.02754.pdf
- XGBoost Documentation https://xgboost.readthedocs.io/en/latest/index.html

Fd6de6cbad68e7898078f548b6dd894c?s=128

K

September 14, 2021
Tweet

Transcript

  1. XGB XGB

  2. XGB A S T B S タ んタ最 る 調

    る ず みイ ず め べ るん
  3. XGB ら れタ S S 最 最 タ XGB A

    S T B S ࢀߟจݙɿCHEN, Tianqi; GUESTRIN, Carlos. Xgboost: A scalable tree boosting system. In: Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining. 2016. p. 785-794.
  4. 礎 限 タ こ の あ と の 思 の

    で い ま す
  5. ほわ 「 る い ʹ 2 0 で す

  6. 式 タ

  7. None
  8. べ み 限 る そ の た め に は

    じ め に S S と ば れ る を め ま す
  9. S ラ ム ダ λ は パ ラ メ ー

    タ で す
  10. S ラ ム ダ λ は パ ラ メ ー

    タ で す
  11. G タ ど の よ う な に G が

    き く な る か を し ま す
  12. G は に な り ま す

  13. る んみ が う ま く を れ て い

    る か を 限 し よ う と し て い ま し た る 。 限 め み べみ るんデ G べ よ み るん
  14. 限 みほ イ 限 が を え る か ど

    う か で を さ せ て み ま す 。 限 め み べみ るんデ G べ よ み るん
  15. G 仮 み 限礎 G が ず い は ご

    と に た デ ー タ が ま っ て い ま す
  16. G 仮 み 限礎

  17. よ こ れ ま で に て き た パ

    ラ メ ー タ を し ま す
  18. G G G イ み タ ら λ

  19. タ XGB 式 べ み タ イ べ み G

    べ めタ ス み よ め G G G イ み タ ら λ ブ ー ス テ ィ ン グ で ど の よ う な を っ て い る か し ま し た
  20. タ XGB 式 べ み タ イ べ み G

    べ めタ ス み よ め G G G イ み タ ら λ ブ ー ス テ ィ ン グ で ど の よ う な を っ て い る か し ま し た
  21. XGB XGB

  22. λ る る λ 「 る

  23. る る べ は じ め に が に で

    あ る と す る こ と に し た こ と を い し て く だ さ い 「
  24. よ る る 2 0 に か を し て

    を で き る よ う に し た い 「
  25. よ る る さ っ き っ た を っ

    て 式 を し ま す 「 」 前 る め
  26. よ る る さ っ き っ た を っ

    て 式 を し ま す 「 「 」 め
  27. イ ん デ よべ み

  28. 「 」 る る る 2 0 よ り も

    し い が で き ま す が ま だ 式 が あ る は ず 「 「 」 ✖
  29. 式 る べ らデ る の の 最 は は

    じ め に し た と 前 く じ で す 「 「 」 ✖ 「 」 ✖
  30. パ パ よ め 式 が さ く な る

    ま で を ど ん ど ん し ま す 「 「 」 ✖ 「 」 ✖ 「 」 ✖ 「 」 ✖ 「 」 ✖
  31. よ め 仮

  32. λ る ラ ム ダ が の と 2 の

    で の の い を ま す 「 「 」 ✖ を っ て の の を し て み ま し ょ う
  33. λ ら め ラ ム ダ を す る こ

    と で を ぐ こ と が で き ま す 「 「 」 ✖
  34. タ XGB の と な る ま で の ス

    テ ッ プ と パ ラ メ ー タ の を し ま し た 仮 み 限礎 G イ み タ ら タ よ め 仮 イ ん デ よべ み