Tweet
Tweet

Slide 1

Slide 1 text

,FSBTΛ࢖ͬͯ ը૾෼ྨΛ΍ͬͯΈΔ 1ZUIPOػցֶशษڧձJO৽ׁ3FTUBSU!௕Ԭ ּݪ޺ !LBTBDDIJGVM

Slide 2

Slide 2 text

ࣗݾ঺հ w ּݪ޺ !LBTBDDIJGVM w ৽ׁࢢࡏॅ w 3VCZ͕͓ؾʹೖΓ ࠓճ͸1ZUIPOͰ͢ w +"846(৽ׁ୅ද w +B445৽ׁ࣮ߦҕһ

Slide 3

Slide 3 text

ࠓճͷ಺༰ ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ σΟʔϓϥʔχϯάͷ࢓૊Έ ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏ ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

Slide 4

Slide 4 text

ࠓճͷ಺༰ ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ σΟʔϓϥʔχϯάͷ࢓૊Έ ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏ ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

Slide 5

Slide 5 text

σϞ֓ཁ w ը૾෼ྨΛߦ͍·͢ɻ w ʮڭࢣ͋Γֶशʯͷʮ෼ྨʯ w ը૾ͷ෼ྨΫϥε͸छྨʢʮϥʔϝϯʯͱʮ͏ͲΜʯʣ w +VQZUFS/PUFCPPL ΋͘͠͸(PPHMF$PMBC Ͱɺ,FSBT Λ࢖ͬͯը૾෼ྨϞσϧΛ࡞੒͠ɺ࣮ࡍʹֶशɾਪ࿦Λߦ ͍·͢ɻ

Slide 6

Slide 6 text

ϥʔϝϯ

Slide 7

Slide 7 text

͏ͲΜ

Slide 8

Slide 8 text

ڭࢣ͋Γֶश wֶशσʔλʹʮਖ਼ղʯͱͳΔڭࢣσʔλ͕͍͍ͭͯΔ w෼ྨ wະ஌ͷσʔλΛɺ͍͔ͭ͘ͷΫϥεʢΧςΰϦʣʹ෼ྨ͢Δ w໨తม਺͕ʮ࣭తม਺ʯʢΧςΰϦม਺ʣͰ͋Δ΋ͷ wྫɿਓͷإͷը૾͔ΒʮੑผʯΛ൑ఆ͢Δ wճؼ wະ஌ͷσʔλ͔Βɺ਺஋Λ༧ଌ͢Δ w໨తม਺͕ʮྔతม਺ʯʢ਺஋ʣͰ͋Δ΋ͷ wྫɿਓͷإͷը૾͔Βʮ೥ྸʯΛ൑ఆ͢Δ

Slide 9

Slide 9 text

ڭࢣ͋Γֶश ΓΜ͝ όφφ ೣ ݘ ֶशσʔλ ֶशɹ

Slide 10

Slide 10 text

ڭࢣ͋Γֶश ΓΜ͝ όφφ ೣ ݘ Ͳͷ෼ྨʹ౰ͯ͸·Δ͔ʁ ਪ࿦ɹ ະ஌ͷը૾σʔλ

Slide 11

Slide 11 text

ϋϯζΦϯͷશମਤ ਖ਼ղϥϕϧ෇ ֶशը૾σʔλ ֶश ਪ࿦ ֶशࡁ Ϟσϧ ະ஌ͷ ը૾σʔλ ࣗ࡞ͷ Ϟσϧ ൑ఆ

Slide 12

Slide 12 text

(PPHMF$PMBCPSBUPSZ w IUUQTDPMBCSFTFBSDIHPPHMFDPN w +VQZUFSOPUFCPPLͬΆ͘࢖͑ΔαʔϏε wແྉͰ(16͕࢖͑Δ /7*%*"5FTMB, w࡞੒ͨ͠ϊʔτϒοΫ͸(PPHMF%SJWFʹอଘ͞ΕΔ w෼ϧʔϧͱ࣌ؒϧʔϧʹ஫ҙ

Slide 13

Slide 13 text

,FSBT w σΟʔϓϥʔχϯάͰΑ͘࢖͏ػೳΛ࢖͍΍ͨ͘͢͠ɺ 1ZUIPOͷϥούʔϥΠϒϥϦ w 5FOTPS'MPXʗ$/5,ʗ5IFBOPͳͲ w σϑΥϧτ͸5FOTPS'MPXΛόοΫΤϯυʹ࢖͏ w ,FSBTͰ࡞੒ֶͨ͠शࡁϞσϧΛɺ5FOTPS'MPXͷֶशࡁ Ϟσϧʹม׵͢Δπʔϧ΍ɺ$PSF.-Ϟσϧʹม׵͢Δͨ Ίͷπʔϧ͕͋Δ

Slide 14

Slide 14 text

ࠓճͷ಺༰ ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ σΟʔϓϥʔχϯάͷ࢓૊Έ ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏ ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

Slide 15

Slide 15 text

w χϡʔϥϧωοτϫʔΫͷ૚͕ଟ͍΋ͷʢ૚Ҏ্ʣ σΟʔϓϥʔχϯά ೖྗ૚ ग़ྗ૚ தؒ૚ʢӅΕ૚ʣ

Slide 16

Slide 16 text

χϡʔϥϧωοτϫʔΫ w γφϓεͷ݁߹ʹΑͬͯωοτϫʔΫΛܗ੒ͨ͠ਓ޻χϡʔ ϩϯʢϊʔυʣ͕ɺֶशʹΑͬͯ݁߹ڧ౓ʢॏΈʣΛม Խͤͯ͞໰୊ղܾΛߦ͏ػցֶशϞσϧ x1 x2 1 b w1 w2 h y y = h( n ∑ i=1 wi xi + b) ୯७ύʔηϓτϩϯ ׆ੑԽؔ਺͸ɺ εςοϓؔ਺΍γάϞΠυؔ਺౳͕౰ॳ࢖ΘΕ͍͕ͯͨɺ σΟʔϓϥʔχϯάͰ͸3F-6͕ओʹ࢖ΘΕΔɻ h h(x) = { 1 (x > 0) 0 (otherwise) εςοϓؔ਺ h(x) = max(x,0) 3F-6

Slide 17

Slide 17 text

׆ੑԽؔ਺ w ύʔηϓτϩϯͷग़ྗ࣌ʹ࣮ߦ͢Δؔ਺ w σΟʔϓϥʔχϯάͰ͸ɺ3F-6͕Α͘࢖༻͞ΕΔɻ·ͨ ग़ྗ૚Ͱͷ׆ੑԽؔ਺ͱͯ͠TPGUNBY΋ h(x) = { 1 (x > 0) 0 (otherwise) εςοϓؔ਺ h(x) = 1 1 + e−x γάϞΠυؔ਺ h(x) = tanh x ૒ۂઢਖ਼઀ؔ਺ h(x) = max(x,0) 3F-6

Slide 18

Slide 18 text

w ೖྗσʔλɿը૾ͷϐΫηϧσʔλ ºº w ग़ྗσʔλɿ<ϥʔϝϯͰ͋Δ֬཰ ͏ͲΜͰ͋Δ֬཰> ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ < >

Slide 19

Slide 19 text

w ྫ͑͹ɺҎԼͷΑ͏ͳ݁Ռ͕ग़ͨͱ͠·͢ɻ w ֶशϞσϧͷ΢ΣΠτͱόΠΞεͷ஋ͷॳظ஋͸ϥϯμϜ Ͱ͢ɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ < >

Slide 20

Slide 20 text

w ڭࢣσʔλ͸< >ͷΑ͏ͳɺਖ਼ղ஋͕Ͱଞશͯ ͱͳΔϕΫτϧ 0OF)PU7FDUPS Λ༩͑ͯɺग़ྗ݁Ռͱ ͷࠩΛൺ΂·͢ɻ͜ͷ৔߹͸͕ࠩখ͍͞Ͱ͢Ͷɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ < > ڭࢣσʔλ < > ൺֱ

Slide 21

Slide 21 text

w ྫ͑͹ɺ< >ͷΑ͏ͳग़ྗ݁ՌͰ͋Ε͹ɺڭࢣσʔ λͱͷࠩ͸େ͖͘ͳΓ·͢ɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ < > ڭࢣσʔλ < > ൺֱ

Slide 22

Slide 22 text

w ग़ྗ݁Ռͱڭࢣσʔλͷࠩ ଛࣦ-PTT ΛධՁ͢Δؔ਺ ଛ ࣦؔ਺ ͱΦϓςΟϚΠβΛ࢖ͬͯɺଛࣦ͕খ͘͞ͳΔΑ ͏ʹ΢ΣΠτͱόΠΞεΛֶशʹΑͬͯগͣͭ͠มԽͤ͞ ͍͖ͯ·͢ɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ < > ڭࢣσʔλ < > ଛࣦؔ਺ ΦϓςΟϚΠβ ΢ΣΠτͱόΠΞεΛมߋ

Slide 23

Slide 23 text

w ΢ΣΠτ΍όΠΞεͷௐ੔͸ɺग़ྗ૚ଆ͔Βೖྗ૚ଆʹ͔ ͚ͯॱ൪ʹߦ͍·͢ɻʢޡࠩٯ఻೻๏#BDL 1SPQBHBUJPOʣ ֶशͷྲྀΕ

Slide 24

Slide 24 text

ଛࣦؔ਺ w Α͘࢖͏ଛࣦؔ਺ w ճؼฏۉೋ৐ޡࠩ .FBO4RVFSFE&SSPS w ෼ྨަࠩΤϯτϩϐʔ $SPTT&OUSPQZ w ࠓճ͸ଟΫϥε෼ྨͳͷͰަࠩΤϯτϩϐʔ ,FSBTͰͷ໊শ͸ɺ DBUFHPSJDBMDSPTTFOUSPQZ Λ࢖༻͢Δ E = 1 N N ∑ n=1 (yn − tn) 2 E = − 1 N N ∑ n=1 K ∑ k=1 tnk log ynk

Slide 25

Slide 25 text

ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ

Slide 26

Slide 26 text

ΦϓςΟϚΠβ w1 E w جຊతͳΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ

Slide 27

Slide 27 text

ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ

Slide 28

Slide 28 text

ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ

Slide 29

Slide 29 text

ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ

Slide 30

Slide 30 text

ΦϓςΟϚΠβ w1 E w ࠷ऴతʹɺଛࣦؔ਺ͷ࠷খ஋ ۃখ஋ ʹऩଋ͢Δ·Ͱ܁Γฦ͢ɻ w ֶश཰গͣͭ͠΢ΣΠτΛมߋ͢Δׂ߹

Slide 31

Slide 31 text

w ΢ΣΠτ͕ͭͷ৔߹͸ɺ࣍ݩ্ۭؒͷޯ഑ʹج͍ͮͯ΢ΣΠ τΛগͣͭ͠มԽͤ͞Δɻ ΦϓςΟϚΠβ

Slide 32

Slide 32 text

w ޯ഑߱Լ๏͔ΒɺΑΓߴ౓ͳ࠷దԽख๏͕ఏҊ͞Ε͖ͯͨɻ w ݱࡏ͸ɺʮ"EBNʯ΍ʮ3.4QSPQʯͱݺ͹ΕΔ࠷దԽख๏Λ࢖͏͜ͱ͕ଟ ͍ɻ ΦϓςΟϚΠβ

Slide 33

Slide 33 text

ࠓճͷ಺༰ ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ σΟʔϓϥʔχϯάͷ࢓૊Έ ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏ ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

Slide 34

Slide 34 text

w શ݁߹૚Λ࢖ͬͯଟ૚ͷχϡʔϥϧωοτϫʔΫΛ࡞ͬͯ ΈΑ͏ ࠷ॳʹ࡞ͬͯΈΔϞσϧ ग़ྗ૚ શ݁߹૚ શ݁߹૚ ը૾σʔλ ฏ׈Խ૚

Slide 35

Slide 35 text

ϋϯζΦϯ ΍ͬͯΈΑ͏

Slide 36

Slide 36 text

w ϋϯζΦϯΛߦ͏ࡍͷ਽ܗͷϊʔτϒοΫ͕͋Γ·͢ͷͰɺ ͪ͜ΒΛར༻͢ΔͱศརͰ͢ɻ w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET POCMPCNBTUFSDOO@FYFSDJTF@UFNQMBUFJQZOC w ಉࠝͷςΩετϒοΫ΋͝ࢀߟ͍ͩ͘͞ɻ w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET POCMPCNBTUFSLFSBT@IBOETPO@UFYUCPPLJQZOC ϋϯζΦϯ

Slide 37

Slide 37 text

ࠓճͷ಺༰ ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ σΟʔϓϥʔχϯάͷ࢓૊Έ ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏ ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

Slide 38

Slide 38 text

৞ࠐΈχϡʔϥϧωοτϫʔΫ $POWPMVUJPOBM/FVSBM/FUXPSL w ը૾ೝࣝɺ෺ମݕग़ͳͲΛಘҙͱ͢Δ w ৞ΈࠐΈ૚ $POWPMVUJPO-BZFS ɺϓʔϦϯά૚ 1PPMJOH-BZFS Ͱಛ௃நग़͠ɺग़ྗଆͷશ݁߹૚Ͱ෼ྨ w ৞ΈࠐΈ૚ͷϑΟϧλͷॏΈͱશ݁߹૚ͷॏΈֶ͕शʹΑͬ ܾͯఆ͞Ε͍ͯ͘

Slide 39

Slide 39 text

৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 ಛ௃Ϛοϓ͕ ੜ੒͞ΕΔ ೖྗ ϑΟϧλ

Slide 40

Slide 40 text

৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 ಛ௃Ϛοϓ͕ ੜ੒͞ΕΔ ೖྗ ϑΟϧλ

Slide 41

Slide 41 text

৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 45 ಛ௃Ϛοϓ͕ ੜ੒͞ΕΔ ೖྗ ϑΟϧλ

Slide 42

Slide 42 text

৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 45 60 ಛ௃Ϛοϓ͕ ੜ੒͞ΕΔ ೖྗ ϑΟϧλ

Slide 43

Slide 43 text

৞ΈࠐΈ૚ w ৞ΈࠐΈ૚͸ɺιʔϕϧϑΟϧλͷΑ͏ͳը૾ͷྠֲநग़ ͳͲɺը૾ͷಛ௃Λநग़͢Δɻ w طଘͷϑΟϧλɿϑΟϧλͷ܎਺ΛਓͷखͰઃఆ͢Δɻ w ৞ΈࠐΈ૚ͷϑΟϧλɿϑΟϧλͷ܎਺ΛֶशʹΑͬͯࣗ ಈతʹઃఆ͢Δɻ -1 0 1 -2 0 2 -1 0 1 -1 -2 -1 0 0 0 1 2 1 ιʔϕϧϑΟϧλ

Slide 44

Slide 44 text

ϓʔϦϯά૚ w ೖྗσʔλΛѻ͍΍͍͢ܗʹ͢Δ w ඍখͳҐஔมԽʹڧ͘ͳͬͨΓɺաֶशΛ཈͑ͨΓɺܭ ࢉίετΛ཈͑ͨΓ w .BY1PPMJOH΍"WFSBHF1PPMJOHͳͲ͕͋Δ 1 2 3 4 6 7 8 9 11 12 13 14 16 17 18 19 ೖྗ 7 9 17 19 .BY1PPMJOH

Slide 45

Slide 45 text

w ৞ΈࠐΈ૚૚ɺϓʔϦϯά૚૚Λલஈʹ ࣍ʹ࡞ͬͯΈΔϞσϧ ৞ΈࠐΈ૚ શ݁߹૚ ϓʔϦϯά૚ ฏ׈Խ૚

Slide 46

Slide 46 text

ϋϯζΦϯ ΍ͬͯΈΑ͏

Slide 47

Slide 47 text

w ઌ΄Ͳ࢖༻ͨ͠਽ܗͷϊʔτϒοΫΛमਖ਼ͯ͠ɺ$//Λ ߏஙͯ͠Έ·͠ΐ͏ɻ w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET POCMPCNBTUFSDOO@FYFSDJTF@UFNQMBUFJQZOC ϋϯζΦϯ

Slide 48

Slide 48 text

ิ଍

Slide 49

Slide 49 text

7(( w 7JTVBM(FPNFUSZ(SPVQ͕࡞੒ͨ͠$// w *-473$Ͱ࢖ΘΕͨɺΫϥεͷը૾෼ྨΛߦ͏ w *-473$ʹͯɺ෼ྨޡΓ཰ w ৞ΈࠐΈ૚૚ɺશ݁߹૚૚ w ߏ଄͕Θ͔Γ΍͍͢

Slide 50

Slide 50 text

w ৞ΈࠐΈ૚૚ɺશ݁߹૚૚ w ೖྗ͸ɺºͷνϟϯωϧ 3(# 7((ͷߏ଄ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹૚