The Hundred Machine Learning 7.4-7.7

Slide 1

Slide 1 text

ྠߨ 5IF.- <r > HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog ganariya ganariya

Slide 2

Slide 2 text

2 / N όΠΞεͱ෼ࢄ • όΠΞε • ෼ࢄ 予測値

Slide 3

Slide 3 text

.VMUJ-BCFM$MBTTJGJDBUJPO

Slide 4

Slide 4 text

4 / N .VMUJ$MBTTWT.VMUJ-BCFM 多クラスモデル (決定⽊ softmax) ねこうさぎいぬ多ラベルモデル (決定⽊ binary cross entropy) ミシン⾞警察官タキシード複数出⼒

Slide 5

Slide 5 text

5 / N ଟϥϕϧ෼ྨ ֶशΞϧΰϦζϜ • σʔληοτΛʮը૾ϥϕϧʯ͕ҰରҰʹͳΔΑ͏ʹ ૢ࡞ͯ͠ɺ৽͍͠σʔληοτʹ͢Δ • ৽͍͠σʔληοτΛ࢖ͬͯʮଟΫϥεϞσϧʯΛֶ श͢Δ ミシン⾞警察官タキシード

Slide 6

Slide 6 text

6 / N ଟϥϕϧ෼ྨ Ϟσϧͱ༧ଌ • ࢖༻Ͱ͖ΔϞσϧ͸ʮଟΫϥε෼ྨʯ • ܾఆ໦ • ϩδεςΟοΫճؼ • /FVSBM/FUXPSL • ग़ྗ஋͸Ϋϥε਺࣍ݩͷϕΫτϧͰ < >ͷ֬཰Ͱ͋Δ NN ミシン⾞警察官タキシード⽝ sigmoid

Slide 7

Slide 7 text

7 / N ଟϥϕϧ෼ྨ // • //ʹ͓͚Δଟϥϕϧ෼ྨ໰୊ • ֤VOJUͷίετؔ਺CJOBSZDSPTTFOUSPQZ • ∈ 1, … , , ∈ 1, … , ͸ϥϕϧ Ϋϥε ͷ਺ • !,# ͸൪໨ͷσʔληοτͷ࣍ݩ໨ͷϥϕϧͷ֬཰ • ֬཰తޯ഑߱Լ๏ͱ૬ੑ͕ྑ͍ • ࠷খԽج४͸ BWH FBDIVOJU

Slide 8

Slide 8 text

8 / N ଟϥϕϧ෼ྨ 'BLF$MBTT • ϥϕϧ਺͕গͳ͍৔߹ ֤ଐੑ͕औΓ͏Δ஋ͷ ૯૊߹ͤͰِΫϥεΛ ࡞ͬͯଟ෼ྨͰ͖Δ • ϝϦοτͱͯ͠ʮϥϕϧؒͷ૬ؔʯΛߟ͑ͯ෼ྨ͢Δ ͜ͱ͕Ͱ͖Δ • ʮTQBNͦ͏ ༏ઌ౓͕ߴͦ͏ʯͷϝʔϧ͸Ͱ͖Δ͚ͩ ൃੜ͠ͳ͍Α͏ʹ͍ͨ͠

Slide 9

Slide 9 text

&OTFNCMF-FBSOJOH

Slide 10

Slide 10 text

10 / N Ξϯαϯϒϧֶश UMES • ,BHHMFͷίϯϖͰΑ্͘ҐʹೖΔΞϧΰϦζϜ • ऑֶशثΛෳ਺࢖ͬͯ૊Έ߹ΘͤΔ • ൚ԽೳྗΛ্͛Δ アンサンブル Bagging Boosting Random Forest

Slide 11

Slide 11 text

11 / N Ξϯαϯϒϧͷख๏ • ϒʔεςΟϯά • ΦϦδφϧͷσʔλΛ༻͍ͯऑֶशثΛ࡞Δ • ͦͷޙɺ܁Γฦ͠ʮલϞσϧͷޡࠩΛमਖ਼͢ΔʯΑ͏ʹ ৽͍͠ϞσϧΛߏங͢Δ • όΪϯά • ݩͷσʔλ͔ΒʮίϐʔʯΛϥϯμϜʹ࡞੒͠ খ͞ͳऑֶशثΛେྔʹ࡞ͬͯҙݟΛ૊Έ߹ΘͤΔ • ༗໊ͳ΋ͷ͕ϥϯμϜϑΥϨετ

Slide 12

Slide 12 text

12 / N WBOJMMBCBHHJOH • ݩͷֶशσʔλ͔ΒϒʔτετϥοϓͰऔΓग़͠ ݸͷܾఆ໦Λߏங͢Δ ೖྗxʹରͯ͠ݸͷग़ྗͷฏۉΛऔΔ 学習全データ ! " # ブートストラップ重複許してランダムにデータを取り出す

Slide 13

Slide 13 text

13 / N ϥϯμϜϑΥϨετ • ઌఔͷWBOJMMBCBHHJOHʹҰ෦मਖ਼ΛՃ͑ͨϞσϧ • ֤ܾఆ໦Ͱ෼ׂج४ͷಛ௃ྔΛϥϯμϜʹݸʹߜΔ ! " # 元特徴量

Slide 14

Slide 14 text

14 / N ͳͥಛ௃ྔΛߜΔͷʁ • ͳͥͰ͠ΐ͏͔

Slide 15

Slide 15 text

15 / N ͳͥಛ௃ྔΛߜΔͷʁ • ܾఆ໦ಉ͕࢜૬ؔ෇͍ͯ͠·͏ • ऑֶशثΛෳ਺࡞Δҙຯ͕ͳ͍ • ͋Δಛ௃ྔʹґଘͯ͠͠·͏Մೳੑ͕͋Δ • ਓؒͷίϛϡχςΟʹ౳͍͠ • ͋Δࢥ૝ʹภͬͨਓ͕ؒू·Δͱ໰୊͕ൃੜ͢Δ • ձࣾ΋ՄೳͳݶΓʮ͍Ζ͍ΖͳλΠϓʯ͕ू·ͬͨ΄͏͕ ੒ޭ͢ΔͱݴΘΕ͍ͯΔ

Slide 16

Slide 16 text

16 / N 3'ͷϝϦοτ • ϥϯμϜϑΥϨετ͸ΞϯαϯϒϧֶशͰ ࠷΋޿͘༻͍ΒΕΔ • ࠷ऴϞσϧͷ෼ࢄ͕খ͘͞ͳΔ • ෼ࢄ͕খ͍͞ͱ͍͏͜ͱ͸ʮաֶशʯ͍ͯ͠ͳ͍ • ग़ྗ஋͕͹Β͔ͭͳ͍

Slide 17

Slide 17 text

17 / N (SBEJFOU#PPTUJOH • (SBEJFOU#PPTUJOH ޯ഑ϒʔεςΟϯά • ऑֶशثΛ܁Γฦ͠࡞੒ͯ͠ લϞσϧͷޡࠩΛগͣͭ͠ݮΒ͍ͯ͘͠ • ·ͣ͸ճؼ໰୊ʢ࣮਺༧ଌʣʹ͍ͭͯߟ͑Δ

Slide 18

Slide 18 text

18 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ

Slide 19

Slide 19 text

19 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ新しいラベル% % を作る residual(残余誤差)と呼ばれる

Slide 20

Slide 20 text

20 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ ! この時点で新全体モデルが構築できる

Slide 21

Slide 21 text

21 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ ! 新たに誤差を作成する $ のみのときより誤差が減っている

Slide 22

Slide 22 text

22 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ ! "

Slide 23

Slide 23 text

23 / N (SBEJFOU#PPTUJOH ܾఆ໦ $ 元データ集合 % は個⽬のデータ ! " 誤差を直接修正していく

Slide 24

Slide 24 text

24 / N ޯ഑ϒʔεςΟϯάʁ • ͳͥʮޯ഑ϒʔεςΟϯάʯ͸ʮޯ഑ϒʔεςΟϯ άʯͳͷ͔ʁ • ͜Ε·ͰͷճؼϞσϧͰ͸ඍ෼ʹΑΓʮޯ഑ʯΛٻΊ ͯҠಈ͍ͯͨ͠ • ޯ഑ϒʔεςΟϯάͰ͸௚઀ʮ࢒ࠩޡࠩʯͰҠಈ͢Δ • ম͖ͳ·͠ͱ͔ 140ͬΆ͍

Slide 25

Slide 25 text

25 / N (#GPS$MBTTJGJDBUJPO • ෼ྨ໰୊Ͱͷޯ഑ϒʔεςΟϯά CJOBSZ • ݸͷܾఆ໦ • ΞϯαϯϒϧֶशʹΑΔ༧ଌ • ֤ܾఆ໦ͷ༧ଌΛ߹ܭͯ͠γάϞΠυͰ< >ͷ֬཰ͱ͢Δ • ໬౓$ Λ࠷େԽ͢Δ MPH

Slide 26

Slide 26 text

26 / N ֶशΞϧΰϦζϜ • = & = ' ()' , = ( * ∑+ + ͱॳظԽ͢Δ • ֤ΠςϨʔγϣϯ ݸ໨ͷܾఆ໦ߏங • ݸ໨ͷσʔλͷޯ഑Λܭࢉ͢Δ • ! Λ༻͍ͯσʔληοτΛߋ৽͢Δ • ৽͍ܾ͠ఆ໦% Λߏங͢Δ • ߋ৽εςοϓ% Λܭࢉ͢Δ • ݸ໨ͷܾఆ໦ͱશମϞσϧΛߏங͢Δ

Slide 27

Slide 27 text

27 / N ϝϦοτ σϝϦοτ • ޯ഑ϒʔεςΟϯά͸ਫ਼౓ͷ໘ͰϥϯμϜϑΥϨετ ʹൺ΂ͯलͰ͍ͯΔ • ͨͩ͠ɺஞ࣍ॲཧͳͨΊ܇࿅ॲཧ͕஗͍

Slide 28

Slide 28 text

3//ͷ3FWJFX

Slide 29

Slide 29 text

29 / N 3// • ʮ಺෦هԱʯΛ࣋ͭ͜ͱͰ࿈ଓσʔλΛॲཧͰ͖Δ • ࠨଆͱӈଆ͸ʮಉ͡ʯ ӈଆ͸ʮ࣌ܥྻͰ෼͔Γ΍͘͢ͳΔΑ͏ʹʯల։͚ͨͩ͠ • -45.΍HBUFE3//Ͱԕ͍هԱ΋ࢀরͰ͖ΔΑ͏ʹ ͳͬͨ

Slide 30

Slide 30 text

30 / N ಈ࡞ྫ • 5IJTJTB\\^^ σʔληοτͷ̍σʔλ TJ[F

Slide 31

Slide 31 text

31 / N ಈ࡞ྫ • 5IJTJTB\\^^

Slide 32

Slide 32 text

32 / N ಈ࡞ྫ • 5IJTJTB\\^^

Slide 33

Slide 33 text

33 / N ಈ࡞ྫ • 5IJTJTB\\^^

Slide 34

Slide 34 text

34 / N #BH0G8PSET • ࣮ࡍ໰୊͜ͷʮ5IJTʯͬͯͲ͏ೖ͍ͬͯΔͷʁ • ͦͷ··ೖΒͳ͘ͳ͍ʁ • ਺஋ϕΫτϧʹม׵͢Δ • ྫ͑͹༗໊ͳ୯ޠ਺࣍ݩʹݻఆ͢Δ • ࠷ۙ͸෼ࢄදݱ 8PSE7FD

Slide 35

Slide 35 text

35 / N ಈ࡞ྫ #P8 • 5IJTJTB\\^^

Slide 36

Slide 36 text

-FBSOJOHUP-BCMF 4FRVFODFT

Slide 37

Slide 37 text

37 / N 4FRVFODF • 4FRVFODF γʔέϯε ͸ඇৗʹॏཁͳσʔλ • ࿩͠ݴ༿ • Իָ • ϏσΦ • 4FRVFODFMBCFMJOH • γʔέϯεͷʮ֤ཁૉ͝ͱʹ֤ϥϕϧʯΛׂΓ౰ͯΔ໰୊ • ಛ௃ϕΫτϧू߹ ϥϕϧϕΫτϧू߹ • ! = [x& ' , … , x! ()!*+!)>͸ݸ໨ͷσʔλϕΫτϧ • ! ΋ಉ༷ʹݸ໨ͷσʔλ

Slide 38

Slide 38 text

38 / N $POEJUPOBM 3BOEPN'JFME • γʔέϯεϥϕϦϯά͸3//͚ͩͰͳ͘ ৚݅෇͖֬཰৔ $3' ͱ͍͏Ϟσϧ΋͋Δ ಛ௃ϕΫτϧ͕ଟ͘ͷ৘ใྔΛ͍࣋ͬͯΔͱ͖ʹྑ͍ • ϕΫτϧͷಛ௃ྔΛઐ໳Ո͕ઃఆ͢Δ ೉͍͠ • ʮϩδεςΟοΫճؼʯͷΞϧΰϦζϜΛγʔέϯε ʹҰൠԽͨ͠΋ͷ • ૒ํ޲HBUFE 3//ΑΓ΋ྑ͍ਫ਼౓Λग़͢͜ͱ͕͋Δ • ͨͩ͠ɺ$3'ͷֶश͸ඇৗʹ஗͍

Slide 39

Slide 39 text

4FR4FR-FBSOJOH https://qiita.com/halhorn/items/646d323ac45 7715866d4

Slide 40

Slide 40 text

40 / N TFRTFR • TFRTFR͸TFRVFODFMBCFMJOHQSPCMFNͷҰൠԽ +, + ͷ௕͕͞ՄมʹͰ͖Δ • ຋༁ͳͲଟ͘ͷࣗવݴޠॲཧͰ༻͍ΒΕΔ • ʮೖྗ͞ΕΔϕΫτϧΛղऍ͢ΔʯΤϯίʔμʔ ʮղऍ͞ΕͨϕΫτϧ͔Βग़ྗϕΫτϧΛੜ੒͢Δʯ σίʔμʔ ͷ͔̎ͭΒͳΔ

Slide 41

Slide 41 text

41 / N TFRTFRΞʔΩςΫνϟ • Τϯίʔμʔ • 3//΍$//ͷΑ͏ͳΞʔΩςΫνϟ • ೖྗ͞ΕͨϕΫτϧΛʮղऍʯ͢ΔϕΫτϧ ʮUIPVHIUWFDUPSʯΛੜ੒ͯ͠σίʔμʔʹ • σίʔμʔ • Τϯίʔμʔ͔ΒUIPVHIUWFDUPSΛड͚औͬͯ ࣮ࡍʹγʔέϯεΛੜ੒͢Δ

Slide 42

Slide 42 text

42 / N TFRTFRΤϯίʔμʔ

Slide 43

Slide 43 text

43 / N TFRTFRΤϯίʔμʔ

Slide 44

Slide 44 text

44 / N TFRTFRΤϯίʔμʔ

Slide 45

Slide 45 text

45 / N TFRTFRΤϯίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

Slide 46

Slide 46 text

46 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

Slide 47

Slide 47 text

47 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

Slide 48

Slide 48 text

48 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ

Slide 49

Slide 49 text

49 / N TFRTFRֶश • ΤϯίʔμʔͱσίʔμʔΛಉ࣌ʹ ܇࿅σʔλΛ༻ֶ͍ͯश͢Δ ޡࠩ͸σίʔμʔଆ͔ΒΤϯίʔμʔଆ΁ٯ఻ ೻͞ΕΔ

Slide 50

Slide 50 text

50 / N "UUFOUJPO • "UUFOUJPO͸ TFRTFR΍$//ͳͲͰซ༻ͯ͠ ༻͍ΒΕΔΞʔΩςΫνϟ • ʮΤϯίʔμʔଆͷͲͷ෦෼ʹண໨͢Δ͔ʁʯΛ "UUFOUJPO͸σίʔμʔଆʹڭ͑Δ

Slide 51

Slide 51 text

51 / N TFRTFRͷܽ఺ • TFRTFRͰ͸ʮΤϯίʔμʔʯͰͷ࠷ޙͷग़ྗʹ͓͚ ΔʮӅΕϕΫτϧͷΈʯΛσίʔμʔʹ౉͢ • ͲͷೖྗϕΫτϧʹ஫໨͢΂͖͔෼͔Βͳ͍ • ৘ใྔ͕ൈ͚མͪͯ͠·͏

Slide 52

Slide 52 text

52 / N Ξςϯγϣϯྫ • σίʔμʔ͸ ग़ྗγʔέϯεੜ੒࣌ʹ "UUFOUJPOػߏ͔ΒϕΫτϧΛऔΓग़ͯ͠ ʮͲͷೖྗʹண໨͢Δ͔ʁʯΛܾΊΔ

Slide 53

Slide 53 text

53 / N Ξςϯγϣϯྫ ը૾ྫ