機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility

https://pycon.jp/2017/ja/
https://www.youtube.com/watch?v=-OSgUsqwCdo

Transcript

1. ػցֶशʹ͓͚Δ
   σʔλͷ࠶ݱੑʹ͍ͭͯ  ΫοΫύουגࣜձࣾ
   છ୩༔Ұ࿠
2.  ࣗݾ঺հ ‣ છ୩
   ༔Ұ࿠
   <:VJDIJSP
   4PNFZB>
   ‣ ౦޻େܭࢉ޻ֶ
   म࢜
    ܗࣜख๏ɺΞΫλʔϞσϧɺ౳
   ‣ ΫοΫύουגࣜձࣾ
    ೥৽ଔೖࣾ
   ݚڀ։ൃ෦
   ΤϯδχΞ ‣ UXJUUFSDPNBZFNPT@Z
   ‣ HJUIVCDPNBZFNPT
   ‣ XXXBZFNPTNF
4. Ϩγϐ਺
   ສ඼
   Ҏ্ ݄࣍ར༻ऀ਺
   ໿ ສਓ
   ೥݄຤࣌఺
5. Χࠃʹల։ ݴޠʹରԠ ೥݄຤࣌఺
6. ‣ ೥݄ઃཱ
   ‣ ਖ਼ࣾһ໊
   
   Πϯλʔϯ໊
   ‣ ػցֶश͕த৺
   ‣ 1ZUIPO  ݚڀ։ൃ෦
7.  ྉཧ͖Ζ͘  ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
   ʹΑΔྉཧը૾ͷࣗಈೝࣝ εϚʔτϑΥϯͷࣸਅͷ಺ɺ
   ྉཧࣸਅΛࣗಈతʹऩूه࿥
8. ‣ ೥݄ઃཱ
   ‣ ਖ਼ࣾһ໊
   
   Πϯλʔϯ໊
   ‣ ػցֶश͕த৺  ݚڀ։ൃ෦
9. 
10.  λεΫ λεΫ
11.  λεΫ λεΫ
12.  λεΫ λεΫ /FX
13. ‣ DMPOFͯ͠ɺखݩͰUFTUTTQFDTΛ૸ΒͤΔ
    ‣ JTTVFͰ࿩͢
    ‣ GPSLͯ͠1VMM
    3FRVFTU
    ‣ FUD  ෳ਺ਓͰͷιϑτ΢ΣΞ։ൃʁ
14. ‣ ࣮ݧ΍ϞσϧΛ࠶ݱ͢Δʁ
    ‣ ԾઆΛཱͯͯ৽ͨͳ࣮ݧΛ͢Δʁ
    ‣ ·ͱΊΔʁ
    ‣ ෳ਺ਓͰฒྻʹʁ  ෳ਺ਓͰͷػցֶशʁ
15. ‣ ػցֶशΛར༻ͯ͠ܧଓతʹ੒ՌΛग़͢ඞཁ͕͋Δ
    ‣ νʔϜͰྑ͍ײ͡ʹ΍Γ͍ͨ
     ιϑτ΢ΣΞ։ൃͷϊ΢ϋ΢ͳͲΛࢀߟʹ
    ‣ σʔλͷ࠶ݱੑ  ػցֶशΤϯδχΞϦϯά
16.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ຊ೔ͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip install akagi
17.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ຊ೔ͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip install akagi
18. σʔλ ܇࿅σʔλ ςετσʔλ
19. σʔλ ܇࿅σʔλ ςετσʔλ ෼ੳ
20. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ ෼ੳ ࣮૷
21. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश
22. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ
23. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ Ϟσϧ` ൺֱ
24. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ Ϟσϧ` ൺֱ ࣮ݧͷ࠶ݱੑ
    ʽ
    σʔλͷ࠶ݱੑ
25.  Ϟσϧʗ࣮ݧ σʔλ 1ZUIPOεΫϦϓτ
 +VQZUFS
    /PUFCPPL
26. 
27. 
28. 
29. 
30. 
31.  ώϡʔϚϯΤϥʔʹऑ͍
32.  ώϡʔϚϯΤϥʔʹऑ͍ ࡞ۀ͕௕͘ͳΔͱ໘౗ɹɹɹɹ
33. ‣ σʔλ͕खݩʹ͋Δ
    ‣ σʔλ͕4QSFBETIFFUʹ͋Δ
    ‣ σʔλ͕ʜ  ͳͥ͜͏ͳͬͯ͠·͏ͷ͔ 1ZUIPOεΫϦϓτ͔Β཭Ε͍ͯΔ ^ ֶशɺςετ
34. find . -type file -size +100M
35.  Ͳ͏ͳΓ͍͔ͨ
36.  Ͳ͏ͳΓ͍͔ͨ
37.  Ͳ͏ͳΓ͍͔ͨ σʔλ͕1ZUIPOͰॻ͔Ε͍ͯΔʂ
38.  Ͳ͏ͳΓ͍͔ͨ ͜͏ͳΓ͍ͨ
39. ‣ σʔλιʔε͕ҟͳΔ৔ॴ͔ΒΞΫηεͰ͖Δ
     ·͋େ֓ͦ͏
    ‣ σʔλιʔε΁ͷΞΫηε͕࣮ߦՄೳͳ1ZUIPOίʔυʹͳ͍ͬͯΔ
     ͜Ε͕ग़དྷͯͳ͍  ͜͏ͳΔ৚݅
40. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘
     .Z42-
    
    NZTRMDMJFOU
    
     3FETIJGU
    1(
    
    QTZDPQH
    
     4
    
    CPUP
     -PDBM
    
    PT
    PTQBUI  ͳͥͳͷ͔
41. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘
    ‣ ΍͸ΓखݩʹDTWͰ͋ͬͨ΄͏ָ͕
     DTWʹॻ͖ग़ͯ͠࢖ͬͨΓ͢Δ  ͳͥͳͷ͔
42. ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
     σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
     σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍
    ͔Βʁ  Θ͔ͬͨ͜ͱ
43.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
     σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
     σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍
    ͔Βʁ
44.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
     σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
     σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍
    ͔Βʁ
45. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕
 1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹
 ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍  Ծઆ
46. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕
 1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹
 ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍  Ծઆ
47.  1SPDFTT 'FUDI -PBE ‣ ϦϞʔτͳσʔλιʔε͔ΒඞཁͳσʔλΛμ΢ϯϩʔυ͢Δ ‣ σʔλΛϝϞϦʹϩʔυ͢Δ ‣ σʔλΛλεΫ΍Ϟσϧʹ߹ΘͤͯՃ޻͢Δ
48.  1SPDFTT 'FUDI -PBE
49.  ͜͜͸·͋·͋ڞ௨ 1SPDFTT 'FUDI -PBE ͜͜͸λεΫʹΑ༷ͬͯʑ
50.  1SPDFTT 'FUDI -PBE BLBHJ
51. ‣ ༷ʑͳ ϦϞʔτ σʔλιʔε͔ΒσʔλΛμ΢ϯϩʔυ
     σʔλͷΩϟογϡΛ࡞੒ʗ؅ཧ
    ‣ औಘͨ͠σʔλʹରͯ͠ΠςϨʔτ͢Δ
    ‣ ͜ΕΒ࣮ߦՄೳͳ1ZUIPOίʔυͰදݱ  BLBHJͷ΍Δ͜ͱ
53. উͬͨ
54. ‣ σʔλͷऔಘ෦෼Λ࣮ߦՄೳͳ1ZUIPOεΫϦϓτͰهड़Մೳ
     σʔλιʔεຖͷ࣮૷Λ͢ΔΑΓָʹ
    ‣ σʔλͷ࣮ମ͸όʔδϣϯ؅ཧ͠ͳͯ͘ྑ͍
     ผͷϗετͰHJU
    DMPOF
    
    ࣮ߦ͢Ε͹࠶ݱग़དྷΔ
    ‣ ҟͳΔ࣌ࠁɺҟͳΔ؀ڥͰσʔλΛ࠶ݱ͢Δࣄ͕ग़དྷΔ
     ෳ਺ͷϗετͰύϥϝʔλΛม͑ͯಉ࣌ʹֶशɺͳͲ͕΍Γ΍͘͢  ظ଴Ͱ͖Δ͜ͱ
55.  ┌──────────┐ │DataSource│◀─────────┬─────────────────────┬────────────────┐ └──────────┘ │ │ │ 1│ │ │ │ │ │ │ │ │ ┌─────────────────────┐┌──────────────────┐┌────────────┐ │ │SpreadsheetDataSource││RedshiftDataSource││S3DataSource│ *│ └─────────────────────┘└──────────────────┘└────────────┘ ┌──────────┐ │ DataFile │ └──────────┘ 1│ │ │ 1│ ┌──────────┐ │ Content │◀────────┬────────────────┬───────────┐ └──────────┘ │ │ │ ┌──────────────────┐┌────────────┐┌─────────┐ │SpreadsheetContent││LocalContent││S3Content│ └──────────────────┘└────────────┘└─────────┘
56. ‣ (JU
    -'4
     ಋೖ͸ख͔ܰ΋
     σʔλͷ࣮ମΛڞ༗͍ͯ͠ΔͷͰҙຯతͳૢ࡞͕ग़དྷͳ͍
     ྫ
    ΫΤϦͷॻ͖׵͑  ઌߦख๏
57. ‣ %BUB
    7FSTJPO
    $POUSPM
     σʔλͷόʔδϣϯ؅ཧ
     ͜Ε͸ͪΐͬͱ໘നͦ͏  ઌߦख๏  IUUQTEBUBWFSTJPODPOUSPMDPN
58.  ࣮੷
59.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
     σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
     σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍
    ͔Βʁ ‣ BLBHJ͕σʔλͷμ΢ϯϩʔυΛαϙʔτ͢Δ
     ༷ʑͳσʔλιʔε͔Β
    ‣ σʔλͷ࠶ݱੑ
    ˺
    ࣮ݧͷ࠶ݱੑΛ޲্
60. ‣ ґવख͕ؒศར͞Λ্ճΔ৔߹͕গͳ͘ͳ͍
     ը૾ηοτͳͲɺϩʔΧϧʹམͱ͔ͯ͠Βૢ࡞͍ͨ͠
    ‣ ࣮ݧͦͷ΋ͷ σʔλऔಘޙ ΋΍͸Γ࠶ݱੑΛࣦ͍ͭͭ͋Δ
     ࣮ݧʹͲͷΑ͏ͳҙਤ͕͋ͬͯɺͲͷΑ͏ͳ݁Ռ͕ಘΒΕͨͷ͔  ՝୊
61. ‣ σʔλͷόʔδϣϯΛݻఆ͍ͨ͠
     ࠷৽ͷσʔλ͕ཉ͍͠
     ͋ͷਓͱಉ͡σʔλ͕ཉ͍͠
    ‣ αϙʔτग़དྷΔσʔλιʔεΛ૿΍͢
    ‣ ݱঢ়"NB[PO
    3FETIJGU
    "NB[PO
    4
    (PPHMF
    4QSFBETIFFUͷΈ
     .Z42-
    IUUQGUQ
    )5.-
    UBCMF  ࠓޙͷల๬