Upgrade to Pro — share decks privately, control downloads, hide ads and more …

輪講 The hundred ML 3.3-3.5

輪講 The hundred ML 3.3-3.5

9b929c02f59c1a5628f2004b850bb879?s=128

Ganariya

June 23, 2020
Tweet

Transcript

  1. ྠߨ 5IFIVOESFE.-  HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog ganariya

    ganariya
  2. %FDJTJPO5SFF-FBSOJOH

  3. 3 / N ֓ཁ • ܾఆ໦͸ͦͷ໊ͷ௨ΓܾఆΛߦ͏ͨΊͷ%"( • άϥϑͷ֤ϊʔυͰ͸ಛ௃ྔͷ൪໨ͷ஋ ! (#)Λج४ʹͯ͠

    σʔλΛࠨӈʹ෼ྨ͢Δ • ࠨϊʔυ͸ج४஋ະຬ • ӈϊʔυ͸ج४஋Ҏ্ • ஫ ʮ*%ʯͱ͍͏ΞϧΰϦζϜͱೋ෼໦͕ѻΘΕ͍ͯΔ͕ ͞ΒʹΑΓྑ͍ΞϧΰϦζϜ΍ଞΫϥε෼ྨ͕͋Δ
  4. 4 / N 1SPCMFN4UBUFNFOU • ߦ͍͍ͨ͜ͱ͸{0, 1}ͷ஋෼ྨ • ͦͷͨΊʹɺܾఆ໦ͱ͍͏ϞσϧΛ࡞੒͢Δ

  5. 5 / N *%ର਺໬౓ • *%ͱ͍͏ΞϧΰϦζϜΛ༻͍Δ • ࠷దԽج४͸ҎԼͷର਺໬౓Λ༻͍Δ • %&'

    ͸ܾఆ໦ͦͷ΋ͷͰ͋Γɺݸͷσʔλͷ෼ྨ͕໬΋Β ͘͠෼ྨ͢Δ͜ͱΛ໨ࢦ͢ • ϩδεςΟοΫճؼͱҟͳΓύϥϝʔλΛ୳ࡧͤͣ %&' = Pr( = 1|)͕໬΋Β͘͠ͳΔϞσϧΛߏங͢Δ
  6. 6 / N ΞϧΰϦζϜ खॱ̍ • = { ! ,

    ! ) !() * Λϥϕϧ෇͚͞Εͨαϯϓϧͱ͢Δ • ࠜϊʔυͷఆ਺Ϟσϧ%&' + %&' + = 1 || 2 , ,. ∈+ !"# $ は根における = 1の割合・確率 定数である この時点であればどんな⼊⼒xを⼊れても 分類は「これまでのサンプルにおけるy=1の 割合」で⾏うしか無い
  7. 7 / N ΞϧΰϦζϜ खॱ • ಛ௃ྔ = 1, …

    , ͱᮢ஋ΛఆΊͯࠓͷϊʔυ+ ͷσʔλΛ ̎ͭͷू߹(ࢠϊʔυ)0 , 1 ʹ෼ྨ͢Δ • % = {(x, )| x, ∈ , x & < } • ' = {(x, )| x, ∈ , x & ≥ } • ະ஌σʔλx͕༩͑ΒΕͨ࣌ ࢠϊʔυʹҠಈͯ͠ ͞Βʹਖ਼֬ʹ෼ྨͰ͖Δ • खॱ̎Λ͋ͱ͸܁Γฦ͢
  8. 8 / N ύϥϝʔλ໰୊ • ͜͜Ͱൃੜ͢Δ໰୊఺ͱͯ͠ ʮ্खʹ, Λઃఆ͢Δʯඞཁ͕͋Δ ্खʹϥϕϧͰ෼ׂ͞Εͯ΄͍͠ •

    ʮΤϯτϩϐʔʯΛ༻͍ͯ͏·͘෼ׂ͢Δ͜ͱʹ͢Δ
  9. 9 / N Τϯτϩϐʔ • Τϯτϩϐʔ͸ෳࡶ͞Ͱ͋Γʮ৘ใͷՁ஋ʯ ௨৴ཧ࿦ ͱ ଊ͑Δͱ෼͔Γ΍͍͢ •

    ͋ͳͨ͸ࠓʮ4Ωϟϥ͕ग़ΔʯώϯτΛಘͨ • ΋ͱ΋ͱ֬ఆ4Ωϟϥ͔͠Ͱͳ͍Ψνϟ Τϯτϩϐʔখ͍͞ • ͢΂ͯͷϥϯΫ͕ಉ֬཰ͷΨνϟ Τϯτϩϐʔେ͖͍ • ࣄ৅͕ى͜Δͱ஌ͬͨͱ͖ͷΤϯτϩϐʔ = −log()
  10. 10 / N ฏۉΤϯτϩϐʔ • ฏۉΤϯτϩϐʔ͸ʮෳ਺ͷࣄ৅ʯ͕ى͜Δͱ͖ͷ ͋Δࣄ৅Λ஌ͬͨͱ͖ͷʮخ͠͞ʯͷฏۉ ฏۉΤϯτϩϐʔ͕େ͖͍΄ͲෳࡶͰᐆດ • =

    − ∑( × log) • ΨνϟͰܭࢉͯ͠ΈΔ • ʮ4 "ʯ • ʮ4 "ʯ • ʮ4 "ʯ
  11. 11 / N ฏۉΤϯτϩϐʔ • ฏۉΤϯτϩϐʔ͸ʮෳ਺ͷࣄ৅ʯ͕ى͜Δͱ͖ͷ ͋Δࣄ৅Λ஌ͬͨͱ͖ͷʮخ͠͞ʯͷฏۉ ฏۉΤϯτϩϐʔ͕େ͖͍΄ͲෳࡶͰᐆດ • =

    − ∑( × log) • ΨνϟͰܭࢉͯ͠ΈΔ • ʮ4 "ʯ • ʮ4 "ʯ • ʮ4 "ʯ
  12. 12 / N *%ͷΤϯτϩϐʔ • αϯϓϧू߹ͷΤϯτϩϐʔ • , Ͱ෼ׂͨ࣌͠ͷΤϯτϩϐʔ 0

    , 1 • % , ' ͕খ͘͞ͳΔΑ͏ʹ, ΛఆΊΔ
  13. 13 / N ఀࢭ৚݅ • ͢΂ͯͷ༿ϊʔυͷαϯϓϧσʔλ͕෼ྨ͞Εͨ࣌ • ∀ Ͱ෼ׂͰ͖ͳ͍ •

    Τϯτϩϐʔ͕͋ΔΑΓݮΒͳ͍ • ਂ͕͞࠷େਂ͞ʹ౸ୡͨ͠ • , ͸࣮ݧతʹઃఆ͢Δ
  14. 14 / N  • ࠷దղ͸อূ͞Εͳ͍ • աֶश͢ΔՄೳੑߴ͍ • όοΫτϥοΫͰվળ͢Δ͔΋͠Εͳ͍

    • վྑͷྫʹ$͕͋Δ • ࿈ଓɾ཭ࢄͰ΋࢖͑Δ • QSVOJOHΛ͢Δ ෼ྨʹد༩͠ͳ͍ࢬΛ࡟আ͢Δ
  15. 4VQQPSU7FDUPS.BDIJOF

  16. 16 / N  • جຊ͸Ͱ཈͍͑ͯΔ ͦ͜Ͱɺ47.ͷͭͷݒ೦ࣄ߲Λߟ͑Δ  ϊΠζσʔλ͕͋ͬͯ௒ฏ໘Ͱ׬શʹ෼ྨͰ͖ͳ͍ͱ͖͸ Ͳ͏͢Δʁ

     ௒ฏ໘ʢઢܗʣͰ෼ׂͰ͖ͳ͍ͱ͖͸Ͳ͏͢Δʁ
  17. 17 / N 47.SFWJFX • 47.͕ຬͨ͢΂͖৚݅ • 47.ͷ໨తؔ਺ ϋʔυϚʔδϯ •

    w ) Λ࠷খʹ͢Ε͹ਖ਼ͱෛͷ෯͕޿͕ͬͯ͏Ε͍͠ • ೋ࣍ܭը࠷దԽͰղ͘͜ͱ͕Ͱ͖Δ • * ) ͸ɺޯ഑߱Լ๏ͳͲͰඍ෼ͨ͠ͱ͖ʹָͳͷͰ͚ͭΔ
  18. 18 / N ϊΠζରࡦ • ઢܗ෼཭Ͱ͖ͳ͍σʔλͷͨΊʹώϯδଛࣦ ؔ਺ Λಋೖ • =

    max(0, 1 − ) • max(0, 1 − + (+ − )) • ώϯδଛࣦ΋ খ͍ͨ͘͞͠ʂ 0 1 2 5
  19. 19 / N ϊΠζରࡦ • ώϯδଛࣦΛಋೖͨ͠ͱ͖ͷ࠷খԽ͢Δ໨తؔ਺ ॏΈ෇͚ ʢιϑτϚʔδϯʣ • ͕େ͖͍ͱʮʯ

    • ͕খ͍͞ͱʮʯ 0 2
  20. 20 / N ϊΠζରࡦ • ώϯδଛࣦΛಋೖͨ͠ͱ͖ͷ࠷খԽ͢Δ໨తؔ਺ ॏ Έ෇͚ ʢιϑτϚʔδϯʣ •

    ͕େ͖͍ͱʮਅΜதΛऔΔʯ • ͕খ͍͞ͱʮਅΜதແࢹ ͩ͢͠ʯ 0 2
  21. 21 / N ݻ༗ඇઢܗੑ ໨త 47.Ͱઢܗ෼཭Ͱ͖ͳ͍σʔλʹରॲ͍ͨ͠ ରࡦ๏ • ʮΦϦδφϧͷۭؒʯΛʮߴ࣍ݩۭؒʯʹม׵ͯ͠ ͦͷۭؒͰઢܗ෼཭͢Δ

    ໨తؔ਺ͷ࠷దԽʹ͓͍ͯ͜ͷม׵Λ༻͍Δ͜ͱΛ ʮΧʔωϧτϦοΫʯͱ͍͏
  22. 22 / N ΧʔωϧτϦοΫྫ • ϕΫτϧΛߴ࣍ݩʹม׵͢Δؔ਺Λఆٛ͢Δ : x → x

    • x = [, ]ͷͱ͖ , = (2, 2, 2)ͱ͍͏ؔ਺ͱ͢Δ
  23. 23 / N  • ͕ݟ͔ͭΕ͹ઢܗ෼཭Ͱ͖Δ͕ ࣮ࡍʹ୳ࡧ͢Δͷ͸ܭࢉྔ͕ݫ͍͠ • ઌۦऀ͕ʮΧʔωϧؔ਺ʯͳΔ΋ͷΛݟ͚͍ͭͯΔͨΊ ͜ͷؔ਺Λ࢖ͬͯߴ࣍ݩʹҠͤ͹͍͍

    • ͨͩ͜͠ͷΧʔωϧͷಈ࡞Λཧղ͢Δʹ͸ɺ47.͕ , Λݟ͚ͭΔ࠷దԽΞϧΰϦζϜΛཧղ͠ͳ͍ͱ͍͚ͳ͍
  24. 24 / N  • ݩͷ໨తؔ਺͸࠷దԽ໰୊ͱͯ͠ϥάϥϯδϡ৐਺๏Ͱ ղ͘͜ͱ͕Ͱ͖Δʢ๻͸ϥάϥϯδϡ΋͍֮͑ͯ·ͤΜʣ • + ͸ϥάϥϯδϡ৐਺

    • Լଆͷࣜʹ͢Δ͜ͱͰɺತੑͷೋ࣍࠷దԽ໰୊ʹͳΓ ΑΓޮ཰తʹೋ࣍ܭը໰୊ͱͯ͠ղ͚Δ • ͜ΕͰྑͦ͞͏ŋŋŋʁʁʁʁ
  25. 25 / N  • צͷӶ͍ಡऀͳΒ͓ؾ͖ͮͩͱࢥ͏͕! 3 ্͕ͷࣜʹ͋Δ • ΋͠Ͱߴ࣍ݩʹ͢Δͱ

    ! # ͸ܭࢉྔ͕ ॏ͘ͳͬͯ͠·͏໰୊͕͋Δ • ͜͜Ͱʮ! 3 ͷ݁Ռ͑͞෼͔Ε͹ྑ͍ʯ ͦ͜Ͱɺ΋Χοτ಺ੵ΋Χοτ͔ͯ͠ΘΓʹ ΧʔωϧτϦοΫΛ༻͍Ε͹Α͍
  26. 26 / N τϦοΫͷྫ ! , " = ! "

    # カーネル関数
  27. 27 / N  • ༗໊ͳΧʔωϧؔ਺ʹ3#'Χʔωϧ͕͋Δ • x − x4

    2 ͸ͭͷϕΫτϧͷϢʔΫϦουڑ཭ͷ৐ • = ) 25, ͸1ͭͷ܇࿅σʔλ͕༩͑ΔӨڹͷൣғ • ͕খ͍͞΄Ͳԕ͘·ͰӨڹͯ͠ ޓ͍ͷڥքͰࣝผۂઢ͕Ҿ͔ΕΔ ୯७ • ͕େ͖͍ͱ͚ۙͩ͘Өڹͯ͠ ͍ͼͭͳܗͷࣝผۂઢ͕Ҿ͔ΕΔ ෳࡶ • ͪΐ͏Ͳ͍͍͸ؤுͬͯ୳͢
  28. L/FBSFTU/FJHICPST

  29. 29 / N L// • L//͸ύϥϝʔλΛ࣋ͨͳֶ͍शΞϧΰϦζϜ • ֶशσʔλΛ͢΂ͯϝϞϦʹهԱ͓͖ͯ͠ ֶशσʔλΛ΋ͱʹ৽͍͠σʔλΛ෼ྨ͢Δ •

    ৽͍͠σʔλx͕དྷͨΒ΋ͬͱ΋͍ۙݸͷϥϕϧΛΈͯ ෼ྨ΍ճؼͷॲཧΛߦ͏ https://medium.com/@kristian.roopnarine/building-a-k-nearest- neighbor-algorithm-with-the-iris-dataset-b7e76867f5d9
  30. 30 / N L// • ϢʔΫϦουڑ཭΍ίαΠϯྨࣅ౓Ͱ ࠷΋͍ۙݸΛબͿ • ଞʹ΋৭ʑछྨ͕͋Δ •

    ͸ϋΠύʔύϥϝʔλͳͷͰ࣮ݧతʹ୳ͦ͏ σʔλ͔Βֶश͢Δํ๏΋͋Δ͕ষͰड़΂Δ
  31. 31 / N L//