Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文輪読会 第2回 "k-means法でエルボー法を使うのはもうやめよう"

AcademiX
February 25, 2023
290

論文輪読会 第2回 "k-means法でエルボー法を使うのはもうやめよう"

AcademiX が開催した 第2回 論文輪読会 資料

日時:2023/02/25
発表者:佐藤大地さん
論文タイトル:k-means法でエルボー法を使うのはもうやめよう

<概要>
・k-means法において最適なクラスタ数kを決める手法を比較・検討した
・エルボー法は理論的背景が乏しい上に精度が悪いので使うべきではない
・エルボー法よりも優れた手法(VRC,BIC,Gap統計量)を使うのが望ましい

AcademiX

February 25, 2023
Tweet

More Decks by AcademiX

Transcript

  1. IUUQTXXXBDBEFNJYKQ
    "DBEFNJ9 ࿦จྠಡձ
    LNFBOT๏ͰΤϧϘʔ๏Λ
    ࢖͏ͷ͸΋͏΍ΊΑ͏
    6OJWFSTJUZ PG 5PLZP
    ࠤ౻େ஍

    View full-size slide

  2. ॻࢽ৘ใ
    ● ୊໊ɿStop using the elbow criterion for k-means [1]
    ● ෭୊ɿand how to choose the number of clusters instead
    ● ஶऀɿErich SchubertʢυϧτϜϯτ޻ՊେֶɺυΠπʣ
    ● URLɿhttps://arxiv.org/abs/2212.12189
    ※ ຊࢿྉʹ͓͍ͯग़యͷͳ͍ਤද͸શͯ [1] ΑΓҾ༻

    View full-size slide

  3. ֓ཁ
    ● k-means๏ʹ͓͍ͯ࠷దͳΫϥελ਺ k ΛܾΊΔख๏Λൺֱɾݕ౼ͨ͠
    ● ΤϧϘʔ๏͸ཧ࿦తഎܠ͕๡্͍͠ʹਫ਼౓͕ѱ͍ͷͰ࢖͏΂͖Ͱͳ͍
    ● ΤϧϘʔ๏ΑΓ΋༏Εͨख๏ʢ73$ #*$ (BQ౷ܭྔʣΛ࢖͏ͷ͕๬·͍͠

    View full-size slide

  4. ໨࣍
    LNFBOT๏ͱ͸
    ΤϧϘʔ๏ͱ͸
    Ϋϥελ਺ΛܾΊΔख๏ͷੑೳൺֱ
    ΤϧϘʔ๏ͷ໰୊఺
    ఏҊख๏
    ิ଍
    ·ͱΊ

    View full-size slide

  5. LNFBOT๏ͱ͸
    ● ࠷΋༗໊ͳΫϥελϦϯάͷख๏
    ● ख๏
    Ϋϥελ਺ L Λࣄલʹਓ͕ܾؒΊΔ
    ֤σʔλʹΫϥελΛϥϯμϜʹׂΓ౰ͯΔ
    ֤Ϋϥελͷॏ৺Λܭࢉ
    ֤σʔλΛ࠷΋͍ۙॏ৺ͷΫϥελʹׂΓ౰ͯΔ
    ʙΛॏ৺͕มԽ͠ͳ͘ͳΔ·Ͱ܁Γฦ͢

    View full-size slide

  6. LNFBOT๏ͱ͸
    Lͷͱ͖ͷLNFBOT๏
    ϥϯμϜʹׂΓ౰ͯ ॏ৺Λߋ৽ ΫϥελΛߋ৽

    View full-size slide

  7. ΤϧϘʔ๏ͱ͸
    ● LNFBOT๏ͷ໰୊఺
    ● Ϋϥελ਺ LΛࣗ෼ͰܾΊΔඞཁ͕͋Δ
    ● Lͷ஋ʹΑͬͯ݁Ռ͕େ͖͘ҟͳΔͨΊ ࠷దͳLͷ஋ΛٻΊΔ͜ͱ͕ॏཁ
    ● ࠷దͳΫϥελ਺ LΛܾΊΔख๏ͱͯ͠ΤϧϘʔ๏͕༗໊
    ● ΤϧϘʔ๏͸ͭͷεςοϓͰߦ͏ʢ࣍ϖʔδҎ߱Ͱઆ໌ʣ

    View full-size slide

  8. ΤϧϘʔ๏ͱ͸
    Lͷ஋Λม͑ͯLNFBOT๏Λ࣮ߦ͠ ͦΕͧΕޡࠩฏํ࿨ 44&
    Λܭࢉ
    ● 44&ɿσʔλͱΫϥελͷॏ৺ͷڑ཭ͷ৐࿨
    ʢ$͸Ϋϥελͷॏ৺ͷू߹ 9͸σʔλͷू߹ʣ
    SSE 𝑋, 𝐶 = '
    !∈#
    min$∈%
    ||𝑥 − 𝑐||&
    ● Ϋϥελ਺Λ૿΍͢ͱ44&͸ݮগ͢Δ
    44&఺ઢͷ৐࿨
    ͕̋σʔλ ˚͕ॏ৺

    View full-size slide

  9. ΤϧϘʔ๏ͱ͸
    ʮ͜ΕҎ্LΛ૿΍ͯ͠΋44&͕͋·Γվળ
    ͠ͳ͍ʯΑ͏ͳLΛ࠷దͳLͱ͢Δ
    ● ԣ࣠ʹΫϥελ਺ L ॎ࣠ʹ44&Λऔͬͨ
    άϥϑΛΤϧϘʔਤͱ͍͏
    ● ΤϧϘʔਤΛ࿹ʹݟཱͯͨ࣌ʹග FMCPX

    ͱͳΔ఺ ΤϧϘʔ఺
    ΛLͱͯ͠࠾༻͢Δ
    ΤϧϘʔਤͷྫ
    L͕ΤϧϘʔ఺ͱͳΔ

    View full-size slide

  10. ΤϧϘʔ๏ͱ͸
    ΤϧϘʔ఺Λݕग़͢Δ༷ʑͳख๏͕ఏҊ͞Ε͍ͯΔ
    ● δϟϯϓ๏
    ● -๏
    ● ,OFFEMFΞϧΰϦζϜ ͳͲ
    ͜ΕΒͷଟ͕͘ΤϧϘʔਤͷزԿతಛ௃ʢ֯౓ ڑ཭ ܏͖ʣʹண໨͍ͯ͠Δ

    View full-size slide

  11. Ϋϥελ਺ΛܾΊΔख๏ͷੑೳൺֱ
    ʲ࣮ݧʳਅͷΫϥελ਺͕Ͳ͏ݟͯ΋Θ͔ΔσʔλΛͭ༻ҙ͠
    ֤σʔλʹର༷ͯ͠ʑͳख๏Ͱద੾ͳΫϥελ਺ LΛٻΊͨ
    ਖ਼ղɿL ਖ਼ղɿL ਖ਼ղɿL ਖ਼ղɿL ਖ਼ղɿL

    View full-size slide

  12. Ϋϥελ਺ΛܾΊΔख๏ͷੑೳൺֱ
    ൺֱର৅ͷख๏
    ● ΤϧϘʔ๏ʹجͮ͘ख๏ʢδϟϯϓ๏ -๏ ,OFFEMF๏ͳͲʣ
    ● ෼ࢄʹجͮ͘ख๏ʢ.BSSJPU 73$ ,-*OEFY 1IBNͳͲʣ
    ● ৘ใཧ࿦ʹجͮ͘ख๏ʢ#*$ #*$ GJYFE
    ʣ
    ● ڑ཭ʹجͮ͘ख๏ʢ%VOO %# γϧΤοτ෼ੳʣ
    ● γϛϡϨʔγϣϯʹجͮ͘ख๏ʢ(BQ౷ܭྔʣ

    View full-size slide

  13. ʲ݁Ռʳ
    ● XFMMTFQͱPWFSMBQQJOHʹରͯ͠͸΄ͱΜͲ
    ͷख๏Ͱਖ਼ղ
    ● NBOZCMPCTͱVOJGPSNͱOPSNBMʹରͯ͠͸
    ख๏ʹΑͬͯ౴͕͑·ͪ·ͪ
    ● ෼ࢄʹجͮ͘ 7BSJBODFCBTFE
    ख๏͸
    VOJGPSNΛඞཁҎ্ʹ෼ׂ͢Δͱ͍͏ऑ఺͕
    ͋Δ
    ● શ໰ਖ਼ղͨ͠ͷ͸#*$ GJYFE
    ͷΈ
    ● ΤϧϘʔ๏͸μϝμϝ
    ਅͷ஋

    View full-size slide

  14. ΤϧϘʔ๏ͷ໰୊఺
    ● Ϋϥελ਺ Lͱ44&ͱ͍͏εέʔϧͷҟͳΔͭͷྔΛϓϩοτͨ͠ΤϧϘʔਤ
    ʹ͓͍ͯ زԿతಛ௃ʢ֯౓ɺڑ཭ɺ܏͖ʣʹཧ࿦తҙຯ͸ͳ͍
    ● σʔλͷεέʔϧΛЋഒ͢Δʢ֦େɾॖখ͢Δʣͱ44&͸ α&ഒʹͳΔͨΊ
    ΤϧϘʔ๏ͷ݁Ռ͕มΘͬͯ͠·͏
    ● Lͷ୳ࡧൣғ͕มΘΔͱ݁Ռ͕มΘΔ͜ͱ͕͋Δ

    View full-size slide

  15. ΤϧϘʔ๏ͷ໰୊఺
    ͭͷσʔλʹର͢ΔΤϧϘʔਤ
    ● ៉ྷͳʮගʯ͸ͳ͔ͳ͔ݱ
    Εͣ ͳͩΒ͔ͳۂઢΛඳ
    ͘͜ͱ͕ଟ͍ʢԼਤ Eʣ

    View full-size slide

  16. ద੾ͳΫϥελ਺ LΛٻΊΔख๏͕࣋ͭ΂͖ੑ࣭
    σʔλΛ֦େɾॖখͯ͠΋݁Ռ͕มΘΒͳ͍
    ࠷దͳL͕୳ࡧൣғʹؚ·Ε͍ͯΔ࣌ʹ୳ࡧൣғΛ૿΍ͯ͠΋݁Ռ͕มΘΒͳ͍
    ϊΠζσʔλʹରͯ͠΋44&͸ݮগؔ਺ͱͳΔͷͰɺͦͷݮগ෼ͷӨڹΛআڈ
    ͢΂͖
    ҙຯΛ࣋ͨͳ͍ϊΠζσʔλʹରͯ͠͸Lͱ͍͏݁ՌΛग़͢
    ఏҊख๏

    View full-size slide

  17. ఏҊख๏
    ຊ࿦จͰ͸ΤϧϘʔ๏ͷվળख๏ΛఏҊ͍ͯ͠Δ
    44&Ͱ͸ͳ͘αϯϓϧ͋ͨΓͷ44&Λ࢖͏ɻͨͩ͠ ''(
    )
    Ͱ͸ͳ͘ෆภ౷ܭྔ ''(
    )*+
    ɻ
    εέʔϧͷมߋͷӨڹΛड͚ͳ͍Α͏ʹ ෼ࢄͰ͸ͳ͘ඪ४ภࠩ ''(
    )*+
    Λ࢖͏ɻ
    ϊΠζσʔλͷ44&ͷظ଴஋ 0
    SSE+
    ͰׂΔ͜ͱͰਖ਼نԽ͢Δ
    !!"
    #$%
    &
    !!"%
    #$%
    = ''(
    ,
    ''(%
    44&Ͱ͸ͳ͘ ''(
    ,
    ''(%
    Λ࢖ͬͯ࠷దͳLΛٻΊΔ͜ͱΛఏҊ

    View full-size slide

  18. ఏҊख๏
    ● Lͷ஋Λม͑ͯLNFBOT๏Λߦ͍ ͦͷͱ͖ͷ44&Ͱ͸ͳ͘ ''(
    ,
    ''(%
    Λܭࢉ͢Δ
    ● ''(
    ,
    ''(%
    ͕ΛԼճ͍ͬͯΔͱ͖͸ϊΠζσʔλΑΓ΋͏·͘44&ΛݮΒ͍ͤͯΔ
    ͱ͍͏͜ͱͳͷͰ ΛԼճ͍ͬͯΔ෦෼ʹண໨͢Δ
    ● ࿦จͰ͸ ''(
    ,
    ''(%
    ͕
    ● ࠷খ஋ΛऔΔLΛ࠷దͳLͱ͢Δʢ.BY SFEVDUJPOʣ
    ● ҎԼͷ஋ΛऔΔ࠷ޙͷLΛ࠷దͳLͱ͢Δʢ-BTUSFEVDUJPOʣ
    ͱ͍͏ͭͷख๏ΛఏҊ

    View full-size slide

  19. ఏҊख๏
    ఏҊख๏ͷਫ਼౓ɿ͋·Γྑ͘ͳ͔ͬͨʢӈਤʣ
    <>ͷ5BCMFΛՃ޻ͨ͠΋ͷ
    վળ൛ͷΤϧϘʔਤ

    View full-size slide

  20. ิ଍
    ࠷దͳΫϥελ਺ LΛܾΊΔख๏ʹ͍ͭͯ৭ʑͱݕ౼͖͕ͯͨ͠ɺ
    ͦ΋ͦ΋LNFBOT๏͕༗ޮͰͳ͍৔߹͕͋Δ͜ͱʹ஫ҙ

    View full-size slide

  21. ·ͱΊ
    ● LNFBOT๏ʹ͓͍ͯ࠷దͳΫϥελ਺ LΛܾΊΔख๏Λൺֱɾݕ౼ͨ͠
    ● ΤϧϘʔ๏͸ཧ࿦తഎܠ͕๡্͍͠ʹਫ਼౓͕ѱ͍ͷͰ࢖͏΂͖Ͱͳ͍
    ● ΤϧϘʔ๏ΑΓ΋༏Εͨख๏ʢ73$ #*$ (BQ౷ܭྔʣΛ࢖͏ͷ͕๬·͍͠
    ● ຊ࿦จͷఏҊख๏͸্ͷͭΑΓ༏ҐͰ͸ͳ͍

    View full-size slide