輪講 The hundred ML3.3-3.5

Slide 1

Slide 1 text

ྠߨ 5IFIVOESFE.- HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog ganariya ganariya

Slide 2

Slide 2 text

%FDJTJPO5SFF-FBSOJOH

Slide 3

Slide 3 text

3 / N ֓ཁ • ܾఆ໦͸ͦͷ໊ͷ௨ΓܾఆΛߦ͏ͨΊͷ%"( • άϥϑͷ֤ϊʔυͰ͸ಛ௃ྔͷ൪໨ͷ஋ ! (#)Λج४ʹͯ͠ σʔλΛࠨӈʹ෼ྨ͢Δ • ࠨϊʔυ͸ج४஋ະຬ • ӈϊʔυ͸ج४஋Ҏ্ • ஫ ʮ*%ʯͱ͍͏ΞϧΰϦζϜͱೋ෼໦͕ѻΘΕ͍ͯΔ͕ ͞ΒʹΑΓྑ͍ΞϧΰϦζϜ΍ଞΫϥε෼ྨ͕͋Δ

Slide 4

Slide 4 text

4 / N 1SPCMFN4UBUFNFOU • ߦ͍͍ͨ͜ͱ͸{0, 1}ͷ஋෼ྨ • ͦͷͨΊʹɺܾఆ໦ͱ͍͏ϞσϧΛ࡞੒͢Δ

Slide 5

Slide 5 text

5 / N *%ର਺໬౓ • *%ͱ͍͏ΞϧΰϦζϜΛ༻͍Δ • ࠷దԽج४͸ҎԼͷର਺໬౓Λ༻͍Δ • %&' ͸ܾఆ໦ͦͷ΋ͷͰ͋Γɺݸͷσʔλͷ෼ྨ͕໬΋Β ͘͠෼ྨ͢Δ͜ͱΛ໨ࢦ͢ • ϩδεςΟοΫճؼͱҟͳΓύϥϝʔλΛ୳ࡧͤͣ %&' = Pr( = 1|)͕໬΋Β͘͠ͳΔϞσϧΛߏங͢Δ

Slide 6

Slide 6 text

6 / N ΞϧΰϦζϜ खॱ̍ • = { ! , ! ) !() * Λϥϕϧ෇͚͞Εͨαϯϓϧͱ͢Δ • ࠜϊʔυͷఆ਺Ϟσϧ%&' + %&' + = 1 || 2 , ,. ∈+ !"# $ は根における = 1の割合・確率定数であるこの時点であればどんな⼊⼒xを⼊れても分類は「これまでのサンプルにおけるy=1の割合」で⾏うしか無い

Slide 7

Slide 7 text

7 / N ΞϧΰϦζϜ खॱ • ಛ௃ྔ = 1, … , ͱᮢ஋ΛఆΊͯࠓͷϊʔυ+ ͷσʔλΛ ̎ͭͷू߹(ࢠϊʔυ)0 , 1 ʹ෼ྨ͢Δ • % = {(x, )| x, ∈ , x & < } • ' = {(x, )| x, ∈ , x & ≥ } • ະ஌σʔλx͕༩͑ΒΕͨ࣌ ࢠϊʔυʹҠಈͯ͠ ͞Βʹਖ਼֬ʹ෼ྨͰ͖Δ • खॱ̎Λ͋ͱ͸܁Γฦ͢

Slide 8

Slide 8 text

8 / N ύϥϝʔλ໰୊ • ͜͜Ͱൃੜ͢Δ໰୊఺ͱͯ͠ ʮ্खʹ, Λઃఆ͢Δʯඞཁ͕͋Δ ্खʹϥϕϧͰ෼ׂ͞Εͯ΄͍͠ • ʮΤϯτϩϐʔʯΛ༻͍ͯ͏·͘෼ׂ͢Δ͜ͱʹ͢Δ

Slide 9

Slide 9 text

9 / N Τϯτϩϐʔ • Τϯτϩϐʔ͸ෳࡶ͞Ͱ͋Γʮ৘ใͷՁ஋ʯ ௨৴ཧ࿦ ͱ ଊ͑Δͱ෼͔Γ΍͍͢ • ͋ͳͨ͸ࠓʮ4Ωϟϥ͕ग़ΔʯώϯτΛಘͨ • ΋ͱ΋ͱ֬ఆ4Ωϟϥ͔͠Ͱͳ͍Ψνϟ Τϯτϩϐʔখ͍͞ • ͢΂ͯͷϥϯΫ͕ಉ֬཰ͷΨνϟ Τϯτϩϐʔେ͖͍ • ࣄ৅͕ى͜Δͱ஌ͬͨͱ͖ͷΤϯτϩϐʔ = −log()

Slide 10

Slide 10 text

10 / N ฏۉΤϯτϩϐʔ • ฏۉΤϯτϩϐʔ͸ʮෳ਺ͷࣄ৅ʯ͕ى͜Δͱ͖ͷ ͋Δࣄ৅Λ஌ͬͨͱ͖ͷʮخ͠͞ʯͷฏۉ ฏۉΤϯτϩϐʔ͕େ͖͍΄ͲෳࡶͰᐆດ • = − ∑( × log) • ΨνϟͰܭࢉͯ͠ΈΔ • ʮ4 "ʯ • ʮ4 "ʯ • ʮ4 "ʯ

Slide 11

Slide 11 text

11 / N ฏۉΤϯτϩϐʔ • ฏۉΤϯτϩϐʔ͸ʮෳ਺ͷࣄ৅ʯ͕ى͜Δͱ͖ͷ ͋Δࣄ৅Λ஌ͬͨͱ͖ͷʮخ͠͞ʯͷฏۉ ฏۉΤϯτϩϐʔ͕େ͖͍΄ͲෳࡶͰᐆດ • = − ∑( × log) • ΨνϟͰܭࢉͯ͠ΈΔ • ʮ4 "ʯ • ʮ4 "ʯ • ʮ4 "ʯ

Slide 12

Slide 12 text

12 / N *%ͷΤϯτϩϐʔ • αϯϓϧू߹ͷΤϯτϩϐʔ • , Ͱ෼ׂͨ࣌͠ͷΤϯτϩϐʔ 0 , 1 • % , ' ͕খ͘͞ͳΔΑ͏ʹ, ΛఆΊΔ

Slide 13

Slide 13 text

13 / N ఀࢭ৚݅ • ͢΂ͯͷ༿ϊʔυͷαϯϓϧσʔλ͕෼ྨ͞Εͨ࣌ • ∀ Ͱ෼ׂͰ͖ͳ͍ • Τϯτϩϐʔ͕͋ΔΑΓݮΒͳ͍ • ਂ͕͞࠷େਂ͞ʹ౸ୡͨ͠ • , ͸࣮ݧతʹઃఆ͢Δ

Slide 14

Slide 14 text

14 / N • ࠷దղ͸อূ͞Εͳ͍ • աֶश͢ΔՄೳੑߴ͍ • όοΫτϥοΫͰվળ͢Δ͔΋͠Εͳ͍ • վྑͷྫʹ$͕͋Δ • ࿈ଓɾ཭ࢄͰ΋࢖͑Δ • QSVOJOHΛ͢Δ ෼ྨʹد༩͠ͳ͍ࢬΛ࡟আ͢Δ

Slide 15

Slide 15 text

4VQQPSU7FDUPS.BDIJOF

Slide 16

Slide 16 text

16 / N • جຊ͸Ͱ཈͍͑ͯΔ ͦ͜Ͱɺ47.ͷͭͷݒ೦ࣄ߲Λߟ͑Δ ϊΠζσʔλ͕͋ͬͯ௒ฏ໘Ͱ׬શʹ෼ྨͰ͖ͳ͍ͱ͖͸ Ͳ͏͢Δʁ ௒ฏ໘ʢઢܗʣͰ෼ׂͰ͖ͳ͍ͱ͖͸Ͳ͏͢Δʁ

Slide 17

Slide 17 text

17 / N 47.SFWJFX • 47.͕ຬͨ͢΂͖৚݅ • 47.ͷ໨తؔ਺ ϋʔυϚʔδϯ • w ) Λ࠷খʹ͢Ε͹ਖ਼ͱෛͷ෯͕޿͕ͬͯ͏Ε͍͠ • ೋ࣍ܭը࠷దԽͰղ͘͜ͱ͕Ͱ͖Δ • * ) ͸ɺޯ഑߱Լ๏ͳͲͰඍ෼ͨ͠ͱ͖ʹָͳͷͰ͚ͭΔ

Slide 18

Slide 18 text

18 / N ϊΠζରࡦ • ઢܗ෼཭Ͱ͖ͳ͍σʔλͷͨΊʹώϯδଛࣦ ؔ਺ Λಋೖ • = max(0, 1 − ) • max(0, 1 − + (+ − )) • ώϯδଛࣦ΋ খ͍ͨ͘͞͠ʂ 0 1 2 5

Slide 19

Slide 19 text

19 / N ϊΠζରࡦ • ώϯδଛࣦΛಋೖͨ͠ͱ͖ͷ࠷খԽ͢Δ໨తؔ਺ ॏΈ෇͚ ʢιϑτϚʔδϯʣ • ͕େ͖͍ͱʮʯ • ͕খ͍͞ͱʮʯ 0 2

Slide 20

Slide 20 text

20 / N ϊΠζରࡦ • ώϯδଛࣦΛಋೖͨ͠ͱ͖ͷ࠷খԽ͢Δ໨తؔ਺ ॏ Έ෇͚ ʢιϑτϚʔδϯʣ • ͕େ͖͍ͱʮਅΜதΛऔΔʯ • ͕খ͍͞ͱʮਅΜதແࢹ ͩ͢͠ʯ 0 2

Slide 21

Slide 21 text

21 / N ݻ༗ඇઢܗੑ ໨త 47.Ͱઢܗ෼཭Ͱ͖ͳ͍σʔλʹରॲ͍ͨ͠ ରࡦ๏ • ʮΦϦδφϧͷۭؒʯΛʮߴ࣍ݩۭؒʯʹม׵ͯ͠ ͦͷۭؒͰઢܗ෼཭͢Δ ໨తؔ਺ͷ࠷దԽʹ͓͍ͯ͜ͷม׵Λ༻͍Δ͜ͱΛ ʮΧʔωϧτϦοΫʯͱ͍͏

Slide 22

Slide 22 text

22 / N ΧʔωϧτϦοΫྫ • ϕΫτϧΛߴ࣍ݩʹม׵͢Δؔ਺Λఆٛ͢Δ : x → x • x = [, ]ͷͱ͖ , = (2, 2, 2)ͱ͍͏ؔ਺ͱ͢Δ

Slide 23

Slide 23 text

23 / N • ͕ݟ͔ͭΕ͹ઢܗ෼཭Ͱ͖Δ͕ ࣮ࡍʹ୳ࡧ͢Δͷ͸ܭࢉྔ͕ݫ͍͠ • ઌۦऀ͕ʮΧʔωϧؔ਺ʯͳΔ΋ͷΛݟ͚͍ͭͯΔͨΊ ͜ͷؔ਺Λ࢖ͬͯߴ࣍ݩʹҠͤ͹͍͍ • ͨͩ͜͠ͷΧʔωϧͷಈ࡞Λཧղ͢Δʹ͸ɺ47.͕ , Λݟ͚ͭΔ࠷దԽΞϧΰϦζϜΛཧղ͠ͳ͍ͱ͍͚ͳ͍

Slide 24

Slide 24 text

24 / N • ݩͷ໨తؔ਺͸࠷దԽ໰୊ͱͯ͠ϥάϥϯδϡ৐਺๏Ͱ ղ͘͜ͱ͕Ͱ͖Δʢ๻͸ϥάϥϯδϡ΋͍֮͑ͯ·ͤΜʣ • + ͸ϥάϥϯδϡ৐਺ • Լଆͷࣜʹ͢Δ͜ͱͰɺತੑͷೋ࣍࠷దԽ໰୊ʹͳΓ ΑΓޮ཰తʹೋ࣍ܭը໰୊ͱͯ͠ղ͚Δ • ͜ΕͰྑͦ͞͏ŋŋŋʁʁʁʁ

Slide 25

Slide 25 text

25 / N • צͷӶ͍ಡऀͳΒ͓ؾ͖ͮͩͱࢥ͏͕! 3 ্͕ͷࣜʹ͋Δ • ΋͠Ͱߴ࣍ݩʹ͢Δͱ ! # ͸ܭࢉྔ͕ ॏ͘ͳͬͯ͠·͏໰୊͕͋Δ • ͜͜Ͱʮ! 3 ͷ݁Ռ͑͞෼͔Ε͹ྑ͍ʯ ͦ͜Ͱɺ΋Χοτ಺ੵ΋Χοτ͔ͯ͠ΘΓʹ ΧʔωϧτϦοΫΛ༻͍Ε͹Α͍

Slide 26

Slide 26 text

26 / N τϦοΫͷྫ ! , " = ! " # カーネル関数

Slide 27

Slide 27 text

27 / N • ༗໊ͳΧʔωϧؔ਺ʹ3#'Χʔωϧ͕͋Δ • x − x4 2 ͸ͭͷϕΫτϧͷϢʔΫϦουڑ཭ͷ৐ • = ) 25, ͸1ͭͷ܇࿅σʔλ͕༩͑ΔӨڹͷൣғ • ͕খ͍͞΄Ͳԕ͘·ͰӨڹͯ͠ ޓ͍ͷڥքͰࣝผۂઢ͕Ҿ͔ΕΔ ୯७ • ͕େ͖͍ͱ͚ۙͩ͘Өڹͯ͠ ͍ͼͭͳܗͷࣝผۂઢ͕Ҿ͔ΕΔ ෳࡶ • ͪΐ͏Ͳ͍͍͸ؤுͬͯ୳͢

Slide 28

Slide 28 text

L/FBSFTU/FJHICPST

Slide 29

Slide 29 text

29 / N L// • L//͸ύϥϝʔλΛ࣋ͨͳֶ͍शΞϧΰϦζϜ • ֶशσʔλΛ͢΂ͯϝϞϦʹهԱ͓͖ͯ͠ ֶशσʔλΛ΋ͱʹ৽͍͠σʔλΛ෼ྨ͢Δ • ৽͍͠σʔλx͕དྷͨΒ΋ͬͱ΋͍ۙݸͷϥϕϧΛΈͯ ෼ྨ΍ճؼͷॲཧΛߦ͏ https://medium.com/@kristian.roopnarine/building-a-k-nearest- neighbor-algorithm-with-the-iris-dataset-b7e76867f5d9

Slide 30

Slide 30 text

30 / N L// • ϢʔΫϦουڑ཭΍ίαΠϯྨࣅ౓Ͱ ࠷΋͍ۙݸΛબͿ • ଞʹ΋৭ʑछྨ͕͋Δ • ͸ϋΠύʔύϥϝʔλͳͷͰ࣮ݧతʹ୳ͦ͏ σʔλ͔Βֶश͢Δํ๏΋͋Δ͕ষͰड़΂Δ

Slide 31

Slide 31 text

31 / N L//