『CatBoost: unbiased boosting with categorical features』at NeurIPS2018読み会

B69e29a7a1186a606efb05b1a212a158?s=47 tomoto
January 26, 2019

『CatBoost: unbiased boosting with categorical features』at NeurIPS2018読み会

Dwango Media Villageの大元が NeurIPS2018読み会@PFN ( https://connpass.com/event/115476/ ) にて発表した資料です。

紹介した論文は、Gradient Boosting Decision Tree ライブラリの1つである CatBoost の詳細に関するもので、
CatBoost: unbiased boosting with categorical features
https://papers.nips.cc/paper/7898-catboost-unbiased-boosting-with-categorical-features
です。

本論文の貢献は、
- Prediction shift という問題を定義した
- この問題を Ordered boosting with Ordered TS という1つのアルゴリズムで解決した
- 既存有名ライブラリである XGBoost, LightGBM を上回る性能を実験で示した
です。

B69e29a7a1186a606efb05b1a212a158?s=128

tomoto

January 26, 2019
Tweet

Transcript

  1. 2.

    େݩ ࢘  !IFOSZ  ͓͓΋ͱ ͔ͭ͞ גࣜձࣾυϫϯΰ%XBOHP.FEJB7JMMBHF IUUQTENWOJDP !%XBOHP@%.7

     ڝഅ༧ଌɺػցֶशߨ࠲ͷڭࡐ࡞੒ -JHIU(#.ͷίϛολʔ 1ZUIPOύοέʔδͱ$ ࣮૷෦෼Λओʹ໘౗Έ͍ͯΔ
 ʢ࠷ۙ͋·ΓؔΘΕ͍ͯͳ͍͕ŋŋŋʣ .FBO"CTPMVUF&SSPS΍
 )VCFSMPTTͷॳظ࣮૷Λͨ͠ ࣗݾ঺հ  
  2. 3.

    ೥࿈ଓͷ(SBEJFOU#PPTUJOH%FDJTJPO5SFF (#%5 ϥΠϒϥϦ 9(#PPTU ,%%  -JHIU(#. /*14  $BU#PPTU

    /*14  $BU#PPTUͷಛ௃ ΧςΰϦΧϧಛ௃ྔͷѻ͍͕ଞϥΠϒϥϦΑΓ্ख͍ CBTFQSFEJDUPSʹCJOBSZ TZNNFUSJD EFDJTJPOUSFFΛ࠾༻͢Δ͜ͱͰɺ աֶशΛ཈͑Δ ϋΠύʔύϥϝʔλͷมԽʹ҆ఆ͢Δ σϑΥϧτύϥϝʔλͰͦͦ͜͜ͷੑೳ͕ग़ͤΔ ਪ࿦଎౓͕଎͍ -JHIU(#.ͷʙഒૣ͍Β͍͠ $BU#PPTUͱ͸   /7*%"%FWFMPQFS#MPHΑΓ
  3. 8.

    ɹɿL൪໨ͷαϯϓϧͷJ൪໨ͷಛ௃ྔʢΧςΰϦΧϧʣ ɹɿUBSHFUTUBUJTUJD 54  ɹɿ܇࿅ηοτશମͷ౷ܭ஋ʢฏۉ͕Ұൠతʣ ಛ௃ྔͷ஋͕܇࿅ηοτͷதͰϢχʔΫͰɺ֤ΧςΰϦʹ͍ͭͯɹɹɹɹɹɹɹɹͱԾఆ͢Δͱ ͖
 
 
 ͱͳΔ͕ɺ෼ׂͷᮢ஋Λ


    
 
 ͱ͢Δͱɺ܇࿅σʔλΛ׬ᘳʹ෼ྨ͢Δ͜ͱ͕Ͱ͖Δ ҰํͰɺςετσʔλͷ54͸શͯɹͱͳΓɺɹɹɹͷͱ͖༧ଌ஋͸શͯͱͳΓɺͦ͏Ͱͳ͍ͱ͖ ͱͳΔɻͭ·Γɺςετσʔλͷਖ਼ղ཰͕ͱͳΔ (SFFEZ54   ̂ xi k xi k P 1(y|xi = A) = 0.5 ̂ xi k = yk + αP 1 + α t = 0.5 + αP 1 + α P P < t
  4. 14.

    ɹɹɹɹɹɹɹͱ͢Δͱ͖ɺࣜ  ͷɹɹɹɹɹ͸ɺɹɹɹɹɹɹɹɹɹɹɹͱͯ͠ٻ·Δ ͭͷಠཱͨ͠ಛ௃ྔ ਅͷؔ਺ ɹɹɹɹɹɹͷͱ͖ɺ ҎԼΛԾఆͯ͠΋Ұൠੑ͸ࣦΘΕͳ͍ 5IFPSFNɿԾఆ  

    L(y, ̂ y) = (y − ̂ y)2 −gt(xk , yk ) rt−1(xk , yk ) := yk − Ft−1(xk ) x1, x2 ∼ Bernoulli(p = 1/2) y = f*(x) = c1 x1 + c2 x2 α = 1, T = 2 F = F2 = F1 + αh2 = F0 + αh1 + αh2 = h1 + h2
  5. 17.