機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility

Transcript

1. ػցֶशʹ͓͚Δ
   σʔλͷ࠶ݱੑʹ͍ͭͯ  ΫοΫύουגࣜձࣾ
   છ୩༔Ұ࿠

2.  ࣗݾ঺հ ‣ છ୩
   ༔Ұ࿠
   <:VJDIJSP
   4PNFZB>
   ‣ ౦޻େܭࢉ޻ֶ
   म࢜
    ܗࣜख๏ɺΞΫλʔϞσϧɺ౳
   ‣ ΫοΫύουגࣜձࣾ
   

    ೥৽ଔೖࣾ
   ݚڀ։ൃ෦
   ΤϯδχΞ ‣ UXJUUFSDPNBZFNPT@Z
   ‣ HJUIVCDPNBZFNPT
   ‣ XXXBZFNPTNF
3. None

4. Ϩγϐ਺
   ສ඼
   Ҏ্ ݄࣍ར༻ऀ਺
   ໿ ສਓ
   ೥݄຤࣌఺

5. Χࠃʹల։ ݴޠʹରԠ ೥݄຤࣌఺

6. ‣ ೥݄ઃཱ
   ‣ ਖ਼ࣾһ໊
   
   Πϯλʔϯ໊
   ‣ ػցֶश͕த৺
   ‣ 1ZUIPO 

   ݚڀ։ൃ෦

7.  ྉཧ͖Ζ͘  ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
   ʹΑΔྉཧը૾ͷࣗಈೝࣝ εϚʔτϑΥϯͷࣸਅͷ಺ɺ
   ྉཧࣸਅΛࣗಈతʹऩूه࿥

8. ‣ ೥݄ઃཱ
   ‣ ਖ਼ࣾһ໊
   
   Πϯλʔϯ໊
   ‣ ػցֶश͕த৺  ݚڀ։ൃ෦

9. 

10.  λεΫ λεΫ

11.  λεΫ λεΫ

12.  λεΫ λεΫ /FX

13. ‣ DMPOFͯ͠ɺखݩͰUFTUTTQFDTΛ૸ΒͤΔ
    ‣ JTTVFͰ࿩͢
    ‣ GPSLͯ͠1VMM
    3FRVFTU
    ‣ FUD  ෳ਺ਓͰͷιϑτ΢ΣΞ։ൃʁ

14. ‣ ࣮ݧ΍ϞσϧΛ࠶ݱ͢Δʁ
    ‣ ԾઆΛཱͯͯ৽ͨͳ࣮ݧΛ͢Δʁ
    ‣ ·ͱΊΔʁ
    ‣ ෳ਺ਓͰฒྻʹʁ  ෳ਺ਓͰͷػցֶशʁ

15. ‣ ػցֶशΛར༻ͯ͠ܧଓతʹ੒ՌΛग़͢ඞཁ͕͋Δ
    ‣ νʔϜͰྑ͍ײ͡ʹ΍Γ͍ͨ
     ιϑτ΢ΣΞ։ൃͷϊ΢ϋ΢ͳͲΛࢀߟʹ
    ‣ σʔλͷ࠶ݱੑ  ػցֶशΤϯδχΞϦϯά

16.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ຊ೔ͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip

    install akagi

17.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ຊ೔ͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip

    install akagi

18. σʔλ ܇࿅σʔλ ςετσʔλ

19. σʔλ ܇࿅σʔλ ςετσʔλ ෼ੳ

20. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ ෼ੳ ࣮૷

21. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश

22. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ

23. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ Ϟσϧ`

    ൺֱ

24. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ Ϟσϧ`

    ൺֱ ࣮ݧͷ࠶ݱੑ
    ʽ
    σʔλͷ࠶ݱੑ

25.  Ϟσϧʗ࣮ݧ σʔλ 1ZUIPOεΫϦϓτ
 +VQZUFS
    /PUFCPPL

26. 

27. 

28. 

29. 

30. 

31.  ώϡʔϚϯΤϥʔʹऑ͍

32.  ώϡʔϚϯΤϥʔʹऑ͍ ࡞ۀ͕௕͘ͳΔͱ໘౗ɹɹɹɹ

33. ‣ σʔλ͕खݩʹ͋Δ
    ‣ σʔλ͕4QSFBETIFFUʹ͋Δ
    ‣ σʔλ͕ʜ  ͳͥ͜͏ͳͬͯ͠·͏ͷ͔ 1ZUIPOεΫϦϓτ͔Β཭Ε͍ͯΔ ^

    ֶशɺςετ

34. find . -type file -size +100M

35.  Ͳ͏ͳΓ͍͔ͨ

36.  Ͳ͏ͳΓ͍͔ͨ

37.  Ͳ͏ͳΓ͍͔ͨ σʔλ͕1ZUIPOͰॻ͔Ε͍ͯΔʂ

38.  Ͳ͏ͳΓ͍͔ͨ ͜͏ͳΓ͍ͨ

39. ‣ σʔλιʔε͕ҟͳΔ৔ॴ͔ΒΞΫηεͰ͖Δ
     ·͋େ֓ͦ͏
    ‣ σʔλιʔε΁ͷΞΫηε͕࣮ߦՄೳͳ1ZUIPOίʔυʹͳ͍ͬͯΔ
     ͜Ε͕ग़དྷͯͳ͍  ͜͏ͳΔ৚݅

40. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘
     .Z42-
    
    NZTRMDMJFOU
    
     3FETIJGU
    1(
    
    QTZDPQH
    
    

     4
    
    CPUP
     -PDBM
    
    PT
    PTQBUI  ͳͥͳͷ͔

41. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘
    ‣ ΍͸ΓखݩʹDTWͰ͋ͬͨ΄͏ָ͕
     DTWʹॻ͖ग़ͯ͠࢖ͬͨΓ͢Δ  ͳͥͳͷ͔

42. ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
     σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
     σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍
    ͔Βʁ  Θ͔ͬͨ͜ͱ

43.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
     σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
     σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍
    ͔Βʁ

44.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
     σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
     σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍
    ͔Βʁ

45. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕
 1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹
 ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍  Ծઆ

46. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕
 1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹
 ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍  Ծઆ

47.  1SPDFTT 'FUDI -PBE ‣ ϦϞʔτͳσʔλιʔε͔ΒඞཁͳσʔλΛμ΢ϯϩʔυ͢Δ ‣ σʔλΛϝϞϦʹϩʔυ͢Δ ‣ σʔλΛλεΫ΍Ϟσϧʹ߹ΘͤͯՃ޻͢Δ

48.  1SPDFTT 'FUDI -PBE

49.  ͜͜͸·͋·͋ڞ௨ 1SPDFTT 'FUDI -PBE ͜͜͸λεΫʹΑ༷ͬͯʑ

50.  1SPDFTT 'FUDI -PBE BLBHJ

51. ‣ ༷ʑͳ ϦϞʔτ σʔλιʔε͔ΒσʔλΛμ΢ϯϩʔυ
     σʔλͷΩϟογϡΛ࡞੒ʗ؅ཧ
    ‣ औಘͨ͠σʔλʹରͯ͠ΠςϨʔτ͢Δ
    ‣ ͜ΕΒ࣮ߦՄೳͳ1ZUIPOίʔυͰදݱ

     BLBHJͷ΍Δ͜ͱ
52. None

53. উͬͨ

54. ‣ σʔλͷऔಘ෦෼Λ࣮ߦՄೳͳ1ZUIPOεΫϦϓτͰهड़Մೳ
     σʔλιʔεຖͷ࣮૷Λ͢ΔΑΓָʹ
    ‣ σʔλͷ࣮ମ͸όʔδϣϯ؅ཧ͠ͳͯ͘ྑ͍
     ผͷϗετͰHJU
    DMPOF
    
    ࣮ߦ͢Ε͹࠶ݱग़དྷΔ
    ‣ ҟͳΔ࣌ࠁɺҟͳΔ؀ڥͰσʔλΛ࠶ݱ͢Δࣄ͕ग़དྷΔ
    

     ෳ਺ͷϗετͰύϥϝʔλΛม͑ͯಉ࣌ʹֶशɺͳͲ͕΍Γ΍͘͢  ظ଴Ͱ͖Δ͜ͱ

55.  ┌──────────┐ │DataSource│◀─────────┬─────────────────────┬────────────────┐ └──────────┘ │ │ │ 1│ │ │

    │ │ │ │ │ │ ┌─────────────────────┐┌──────────────────┐┌────────────┐ │ │SpreadsheetDataSource││RedshiftDataSource││S3DataSource│ *│ └─────────────────────┘└──────────────────┘└────────────┘ ┌──────────┐ │ DataFile │ └──────────┘ 1│ │ │ 1│ ┌──────────┐ │ Content │◀────────┬────────────────┬───────────┐ └──────────┘ │ │ │ ┌──────────────────┐┌────────────┐┌─────────┐ │SpreadsheetContent││LocalContent││S3Content│ └──────────────────┘└────────────┘└─────────┘

56. ‣ (JU
    -'4
     ಋೖ͸ख͔ܰ΋
     σʔλͷ࣮ମΛڞ༗͍ͯ͠ΔͷͰҙຯతͳૢ࡞͕ग़དྷͳ͍
     ྫ
    ΫΤϦͷॻ͖׵͑  ઌߦख๏

57. ‣ %BUB
    7FSTJPO
    $POUSPM
     σʔλͷόʔδϣϯ؅ཧ
     ͜Ε͸ͪΐͬͱ໘നͦ͏  ઌߦख๏  IUUQTEBUBWFSTJPODPOUSPMDPN

58.  ࣮੷

59.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
     σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
     σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍
    ͔Βʁ ‣ BLBHJ͕σʔλͷμ΢ϯϩʔυΛαϙʔτ͢Δ
     ༷ʑͳσʔλιʔε͔Β
    ‣ σʔλͷ࠶ݱੑ
    ˺
    ࣮ݧͷ࠶ݱੑΛ޲্

60. ‣ ґવख͕ؒศར͞Λ্ճΔ৔߹͕গͳ͘ͳ͍
     ը૾ηοτͳͲɺϩʔΧϧʹམͱ͔ͯ͠Βૢ࡞͍ͨ͠
    ‣ ࣮ݧͦͷ΋ͷ σʔλऔಘޙ ΋΍͸Γ࠶ݱੑΛࣦ͍ͭͭ͋Δ
     ࣮ݧʹͲͷΑ͏ͳҙਤ͕͋ͬͯɺͲͷΑ͏ͳ݁Ռ͕ಘΒΕͨͷ͔

     ՝୊

61. ‣ σʔλͷόʔδϣϯΛݻఆ͍ͨ͠
     ࠷৽ͷσʔλ͕ཉ͍͠
     ͋ͷਓͱಉ͡σʔλ͕ཉ͍͠
    ‣ αϙʔτग़དྷΔσʔλιʔεΛ૿΍͢
    ‣ ݱঢ়"NB[PO
    3FETIJGU

    
    "NB[PO
    4
    (PPHMF
    4QSFBETIFFUͷΈ
     .Z42-
    IUUQGUQ
    )5.-
    UBCMF  ࠓޙͷల๬

62. 2