輪講 The hundred ML 3.3-3.5

https://github.com/tsukuba-mas/The_Hundred_ML

Transcript

1. ྠߨ 5IF
   IVOESFE
   .-  HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog ganariya ganariya
2. 
   %FDJTJPO
   5SFF
   -FBSOJOH
3. 3 / N ֓ཁ • ܾఆ໦͸ͦͷ໊ͷ௨ΓܾఆΛߦ͏ͨΊͷ%"( • άϥϑͷ֤ϊʔυͰ͸ಛ௃ྔͷ൪໨ͷ஋ ! (#)Λج४ʹͯ͠ σʔλΛࠨӈʹ෼ྨ͢Δ • ࠨϊʔυ͸ج४஋ະຬ • ӈϊʔυ͸ج४஋Ҏ্ • ஫ ʮ*%ʯͱ͍͏ΞϧΰϦζϜͱೋ෼໦͕ѻΘΕ͍ͯΔ͕ ͞ΒʹΑΓྑ͍ΞϧΰϦζϜ΍ଞΫϥε෼ྨ͕͋Δ
4. 4 / N 
   1SPCMFN
   4UBUFNFOU • ߦ͍͍ͨ͜ͱ͸{0, 1}ͷ஋෼ྨ • ͦͷͨΊʹɺܾఆ໦ͱ͍͏ϞσϧΛ࡞੒͢Δ
5. 5 / N 
   *%
   ର਺໬౓ • *%ͱ͍͏ΞϧΰϦζϜΛ༻͍Δ • ࠷దԽج४͸ҎԼͷର਺໬౓Λ༻͍Δ • %&' ͸ܾఆ໦ͦͷ΋ͷͰ͋Γɺݸͷσʔλͷ෼ྨ͕໬΋Β ͘͠෼ྨ͢Δ͜ͱΛ໨ࢦ͢ • ϩδεςΟοΫճؼͱҟͳΓύϥϝʔλΛ୳ࡧͤͣ %&' = Pr( = 1|)͕໬΋Β͘͠ͳΔϞσϧΛߏங͢Δ
6. 6 / N 
   ΞϧΰϦζϜ खॱ̍ • = { ! , ! ) !() * Λϥϕϧ෇͚͞Εͨαϯϓϧͱ͢Δ • ࠜϊʔυͷఆ਺Ϟσϧ%&' + %&' + = 1 || 2 , ,. ∈+ !"# $ は根における = 1の割合・確率 定数である この時点であればどんな⼊⼒xを⼊れても 分類は「これまでのサンプルにおけるy=1の 割合」で⾏うしか無い
7. 7 / N 
   ΞϧΰϦζϜ खॱ • ಛ௃ྔ = 1, … , ͱᮢ஋ΛఆΊͯࠓͷϊʔυ+ ͷσʔλΛ ̎ͭͷू߹(ࢠϊʔυ)0 , 1 ʹ෼ྨ͢Δ • % = {(x, )| x, ∈ , x & < } • ' = {(x, )| x, ∈ , x & ≥ } • ະ஌σʔλx͕༩͑ΒΕͨ࣌ ࢠϊʔυʹҠಈͯ͠ ͞Βʹਖ਼֬ʹ෼ྨͰ͖Δ • खॱ̎Λ͋ͱ͸܁Γฦ͢
8. 8 / N 
   
   ύϥϝʔλ໰୊ • ͜͜Ͱൃੜ͢Δ໰୊఺ͱͯ͠ ʮ্खʹ, Λઃఆ͢Δʯඞཁ͕͋Δ ্खʹϥϕϧͰ෼ׂ͞Εͯ΄͍͠ • ʮΤϯτϩϐʔʯΛ༻͍ͯ͏·͘෼ׂ͢Δ͜ͱʹ͢Δ
9. 9 / N 
   
   Τϯτϩϐʔ • Τϯτϩϐʔ͸ෳࡶ͞Ͱ͋Γʮ৘ใͷՁ஋ʯ ௨৴ཧ࿦ ͱ ଊ͑Δͱ෼͔Γ΍͍͢ • ͋ͳͨ͸ࠓʮ4Ωϟϥ͕ग़ΔʯώϯτΛಘͨ • ΋ͱ΋ͱ֬ఆ4Ωϟϥ͔͠Ͱͳ͍Ψνϟ 
   Τϯτϩϐʔখ͍͞ • ͢΂ͯͷϥϯΫ͕ಉ֬཰ͷΨνϟ 
   Τϯτϩϐʔେ͖͍ • ࣄ৅͕ى͜Δͱ஌ͬͨͱ͖ͷΤϯτϩϐʔ = −log()
10. 10 / N 
    
    ฏۉΤϯτϩϐʔ • ฏۉΤϯτϩϐʔ͸ʮෳ਺ͷࣄ৅ʯ͕ى͜Δͱ͖ͷ ͋Δࣄ৅Λ஌ͬͨͱ͖ͷʮخ͠͞ʯͷฏۉ ฏۉΤϯτϩϐʔ͕େ͖͍΄ͲෳࡶͰᐆດ • = − ∑( × log) • ΨνϟͰܭࢉͯ͠ΈΔ • 
    ʮ4
    
    "ʯ • 
    ʮ4
    "ʯ • 
    ʮ4
    "ʯ
11. 11 / N 
    
    ฏۉΤϯτϩϐʔ • ฏۉΤϯτϩϐʔ͸ʮෳ਺ͷࣄ৅ʯ͕ى͜Δͱ͖ͷ ͋Δࣄ৅Λ஌ͬͨͱ͖ͷʮخ͠͞ʯͷฏۉ ฏۉΤϯτϩϐʔ͕େ͖͍΄ͲෳࡶͰᐆດ • = − ∑( × log) • ΨνϟͰܭࢉͯ͠ΈΔ • 
    ʮ4
    
    "ʯ • 
    ʮ4
    "ʯ • 
    ʮ4
    "ʯ
12. 12 / N 
    
    *%ͷΤϯτϩϐʔ • αϯϓϧू߹ͷΤϯτϩϐʔ • , Ͱ෼ׂͨ࣌͠ͷΤϯτϩϐʔ 0 , 1 • % , ' ͕খ͘͞ͳΔΑ͏ʹ, ΛఆΊΔ
13. 13 / N 
    
    ఀࢭ৚݅ • ͢΂ͯͷ༿ϊʔυͷαϯϓϧσʔλ͕෼ྨ͞Εͨ࣌ • ∀ Ͱ෼ׂͰ͖ͳ͍ • Τϯτϩϐʔ͕͋ΔΑΓݮΒͳ͍ • ਂ͕͞࠷େਂ͞ʹ౸ୡͨ͠ • , ͸࣮ݧతʹઃఆ͢Δ
14. 14 / N 
    • ࠷దղ͸อূ͞Εͳ͍ • աֶश͢ΔՄೳੑߴ͍ • όοΫτϥοΫͰվળ͢Δ͔΋͠Εͳ͍ • վྑͷྫʹ$͕͋Δ • ࿈ଓɾ཭ࢄͰ΋࢖͑Δ • QSVOJOHΛ͢Δ ෼ྨʹد༩͠ͳ͍ࢬΛ࡟আ͢Δ
15. 
    4VQQPSU
    7FDUPS
    .BDIJOF
16. 16 / N 
    • جຊ͸Ͱ཈͍͑ͯΔ ͦ͜Ͱɺ47.ͷͭͷݒ೦ࣄ߲Λߟ͑Δ  ϊΠζσʔλ͕͋ͬͯ௒ฏ໘Ͱ׬શʹ෼ྨͰ͖ͳ͍ͱ͖͸ Ͳ͏͢Δʁ  ௒ฏ໘ʢઢܗʣͰ෼ׂͰ͖ͳ͍ͱ͖͸Ͳ͏͢Δʁ
17. 17 / N 
    
    47.
    SFWJFX • 47.͕ຬͨ͢΂͖৚݅ • 47.ͷ໨తؔ਺ ϋʔυϚʔδϯ • w ) Λ࠷খʹ͢Ε͹ਖ਼ͱෛͷ෯͕޿͕ͬͯ͏Ε͍͠ • ೋ࣍ܭը࠷దԽͰղ͘͜ͱ͕Ͱ͖Δ • * ) ͸ɺޯ഑߱Լ๏ͳͲͰඍ෼ͨ͠ͱ͖ʹָͳͷͰ͚ͭΔ
18. 18 / N 
    
    ϊΠζରࡦ • ઢܗ෼཭Ͱ͖ͳ͍σʔλͷͨΊʹώϯδଛࣦ ؔ਺ Λಋೖ • = max(0, 1 − ) • max(0, 1 − + (+ − )) • ώϯδଛࣦ΋ খ͍ͨ͘͞͠ʂ 0 1 2 5
19. 19 / N 
    
    ϊΠζରࡦ • ώϯδଛࣦΛಋೖͨ͠ͱ͖ͷ࠷খԽ͢Δ໨తؔ਺ ॏΈ෇͚ ʢιϑτϚʔδϯʣ • ͕େ͖͍ͱʮʯ • ͕খ͍͞ͱʮʯ 0 2
20. 20 / N 
    
    ϊΠζରࡦ • ώϯδଛࣦΛಋೖͨ͠ͱ͖ͷ࠷খԽ͢Δ໨తؔ਺ ॏ Έ෇͚ ʢιϑτϚʔδϯʣ • ͕େ͖͍ͱʮਅΜதΛऔΔʯ • ͕খ͍͞ͱʮਅΜதແࢹ ͩ͢͠ʯ 0 2
21. 21 / N 
    
    ݻ༗ඇઢܗੑ ໨త 47.Ͱઢܗ෼཭Ͱ͖ͳ͍σʔλʹରॲ͍ͨ͠ ରࡦ๏ • ʮΦϦδφϧͷۭؒʯΛʮߴ࣍ݩۭؒʯʹม׵ͯ͠ ͦͷۭؒͰઢܗ෼཭͢Δ ໨తؔ਺ͷ࠷దԽʹ͓͍ͯ͜ͷม׵Λ༻͍Δ͜ͱΛ ʮΧʔωϧτϦοΫʯͱ͍͏
22. 22 / N 
    
    ΧʔωϧτϦοΫྫ • ϕΫτϧΛߴ࣍ݩʹม׵͢Δؔ਺Λఆٛ͢Δ : x → x • x = [, ]ͷͱ͖ , = (2, 2, 2)ͱ͍͏ؔ਺ͱ͢Δ
23. 23 / N 
    
    • ͕ݟ͔ͭΕ͹ઢܗ෼཭Ͱ͖Δ͕ ࣮ࡍʹ୳ࡧ͢Δͷ͸ܭࢉྔ͕ݫ͍͠ • ઌۦऀ͕ʮΧʔωϧؔ਺ʯͳΔ΋ͷΛݟ͚͍ͭͯΔͨΊ ͜ͷؔ਺Λ࢖ͬͯߴ࣍ݩʹҠͤ͹͍͍ • ͨͩ͜͠ͷΧʔωϧͷಈ࡞Λཧղ͢Δʹ͸ɺ47.͕ , Λݟ͚ͭΔ࠷దԽΞϧΰϦζϜΛཧղ͠ͳ͍ͱ͍͚ͳ͍
24. 24 / N 
    
    • ݩͷ໨తؔ਺͸࠷దԽ໰୊ͱͯ͠ϥάϥϯδϡ৐਺๏Ͱ ղ͘͜ͱ͕Ͱ͖Δʢ๻͸ϥάϥϯδϡ΋͍֮͑ͯ·ͤΜʣ • + ͸ϥάϥϯδϡ৐਺ • Լଆͷࣜʹ͢Δ͜ͱͰɺತੑͷೋ࣍࠷దԽ໰୊ʹͳΓ ΑΓޮ཰తʹೋ࣍ܭը໰୊ͱͯ͠ղ͚Δ • ͜ΕͰྑͦ͞͏ŋŋŋʁʁʁʁ
25. 25 / N 
    
    • צͷӶ͍ಡऀͳΒ͓ؾ͖ͮͩͱࢥ͏͕! 3 ্͕ͷࣜʹ͋Δ • ΋͠Ͱߴ࣍ݩʹ͢Δͱ ! # ͸ܭࢉྔ͕ ॏ͘ͳͬͯ͠·͏໰୊͕͋Δ • ͜͜Ͱʮ! 3 ͷ݁Ռ͑͞෼͔Ε͹ྑ͍ʯ ͦ͜Ͱɺ΋Χοτ಺ੵ΋Χοτ͔ͯ͠ΘΓʹ ΧʔωϧτϦοΫΛ༻͍Ε͹Α͍
26. 26 / N 
    
    τϦοΫͷྫ ! , " = ! " # カーネル関数
27. 27 / N 
    
    • ༗໊ͳΧʔωϧؔ਺ʹ3#'Χʔωϧ͕͋Δ • x − x4 2 ͸ͭͷϕΫτϧͷϢʔΫϦουڑ཭ͷ৐ • = ) 25, ͸1ͭͷ܇࿅σʔλ͕༩͑ΔӨڹͷൣғ • ͕খ͍͞΄Ͳԕ͘·ͰӨڹͯ͠ ޓ͍ͷڥքͰࣝผۂઢ͕Ҿ͔ΕΔ ୯७ • ͕େ͖͍ͱ͚ۙͩ͘Өڹͯ͠ ͍ͼͭͳܗͷࣝผۂઢ͕Ҿ͔ΕΔ ෳࡶ • ͪΐ͏Ͳ͍͍͸ؤுͬͯ୳͢
28. 
    L/FBSFTU
    /FJHICPST
29. 29 / N 
    
    L// • L//͸ύϥϝʔλΛ࣋ͨͳֶ͍शΞϧΰϦζϜ • ֶशσʔλΛ͢΂ͯϝϞϦʹهԱ͓͖ͯ͠ ֶशσʔλΛ΋ͱʹ৽͍͠σʔλΛ෼ྨ͢Δ • ৽͍͠σʔλx͕དྷͨΒ΋ͬͱ΋͍ۙݸͷϥϕϧΛΈͯ ෼ྨ΍ճؼͷॲཧΛߦ͏ https://medium.com/@kristian.roopnarine/building-a-k-nearest- neighbor-algorithm-with-the-iris-dataset-b7e76867f5d9
30. 30 / N 
    
    L// • ϢʔΫϦουڑ཭΍ίαΠϯྨࣅ౓Ͱ ࠷΋͍ۙݸΛબͿ • ଞʹ΋৭ʑछྨ͕͋Δ • ͸ϋΠύʔύϥϝʔλͳͷͰ࣮ݧతʹ୳ͦ͏ σʔλ͔Βֶश͢Δํ๏΋͋Δ͕ষͰड़΂Δ
31. 31 / N 
    
    L//