機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility

機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility

7dc8611c26c3ca62c551109c65d04270?s=128

Yuichiro Someya

September 09, 2017
Tweet

Transcript

  1. ػցֶशʹ͓͚Δ σʔλͷ࠶ݱੑʹ͍ͭͯ  ΫοΫύουגࣜձࣾછ୩༔Ұ࿠

  2.  ࣗݾ঺հ ‣ છ୩༔Ұ࿠<:VJDIJSP4PNFZB> ‣ ౦޻େܭࢉ޻ֶम࢜  ܗࣜख๏ɺΞΫλʔϞσϧɺ౳ ‣ ΫοΫύουגࣜձࣾ

     ೥৽ଔೖࣾݚڀ։ൃ෦ΤϯδχΞ ‣ UXJUUFSDPNBZFNPT@Z ‣ HJUIVCDPNBZFNPT ‣ XXXBZFNPTNF
  3. None
  4. Ϩγϐ਺ ສ඼Ҏ্ ݄࣍ར༻ऀ਺ ໿ ສਓ ೥݄຤࣌఺

  5. Χࠃʹల։ ݴޠʹରԠ ೥݄຤࣌఺

  6. ‣ ೥݄ઃཱ ‣ ਖ਼ࣾһ໊ Πϯλʔϯ໊ ‣ ػցֶश͕த৺ ‣ 1ZUIPO 

    ݚڀ։ൃ෦
  7.  ྉཧ͖Ζ͘  ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ʹΑΔྉཧը૾ͷࣗಈೝࣝ εϚʔτϑΥϯͷࣸਅͷ಺ɺ ྉཧࣸਅΛࣗಈతʹऩूه࿥

  8. ‣ ೥݄ઃཱ ‣ ਖ਼ࣾһ໊ Πϯλʔϯ໊ ‣ ػցֶश͕த৺  ݚڀ։ൃ෦

  9. 

  10.  λεΫ λεΫ

  11.  λεΫ λεΫ

  12.  λεΫ λεΫ /FX

  13. ‣ DMPOFͯ͠ɺखݩͰUFTUTTQFDTΛ૸ΒͤΔ ‣ JTTVFͰ࿩͢ ‣ GPSLͯ͠1VMM3FRVFTU ‣ FUD  ෳ਺ਓͰͷιϑτ΢ΣΞ։ൃʁ

  14. ‣ ࣮ݧ΍ϞσϧΛ࠶ݱ͢Δʁ ‣ ԾઆΛཱͯͯ৽ͨͳ࣮ݧΛ͢Δʁ ‣ ·ͱΊΔʁ ‣ ෳ਺ਓͰฒྻʹʁ  ෳ਺ਓͰͷػցֶशʁ

  15. ‣ ػցֶशΛར༻ͯ͠ܧଓతʹ੒ՌΛग़͢ඞཁ͕͋Δ ‣ νʔϜͰྑ͍ײ͡ʹ΍Γ͍ͨ  ιϑτ΢ΣΞ։ൃͷϊ΢ϋ΢ͳͲΛࢀߟʹ ‣ σʔλͷ࠶ݱੑ  ػցֶशΤϯδχΞϦϯά

  16.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ຊ೔ͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip

    install akagi
  17.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ຊ೔ͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip

    install akagi
  18. σʔλ ܇࿅σʔλ ςετσʔλ

  19. σʔλ ܇࿅σʔλ ςετσʔλ ෼ੳ

  20. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ ෼ੳ ࣮૷

  21. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश

  22. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ

  23. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ Ϟσϧ`

    ൺֱ
  24. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ Ϟσϧ`

    ൺֱ ࣮ݧͷ࠶ݱੑʽσʔλͷ࠶ݱੑ
  25.  Ϟσϧʗ࣮ݧ σʔλ 1ZUIPOεΫϦϓτ
 +VQZUFS/PUFCPPL

  26. 

  27. 

  28. 

  29. 

  30. 

  31.  ώϡʔϚϯΤϥʔʹऑ͍

  32.  ώϡʔϚϯΤϥʔʹऑ͍ ࡞ۀ͕௕͘ͳΔͱ໘౗ɹɹɹɹ

  33. ‣ σʔλ͕खݩʹ͋Δ ‣ σʔλ͕4QSFBETIFFUʹ͋Δ ‣ σʔλ͕ʜ  ͳͥ͜͏ͳͬͯ͠·͏ͷ͔ 1ZUIPOεΫϦϓτ͔Β཭Ε͍ͯΔ ^

    ֶशɺςετ
  34. find . -type file -size +100M

  35.  Ͳ͏ͳΓ͍͔ͨ

  36.  Ͳ͏ͳΓ͍͔ͨ

  37.  Ͳ͏ͳΓ͍͔ͨ σʔλ͕1ZUIPOͰॻ͔Ε͍ͯΔʂ

  38.  Ͳ͏ͳΓ͍͔ͨ ͜͏ͳΓ͍ͨ

  39. ‣ σʔλιʔε͕ҟͳΔ৔ॴ͔ΒΞΫηεͰ͖Δ  ·͋େ֓ͦ͏ ‣ σʔλιʔε΁ͷΞΫηε͕࣮ߦՄೳͳ1ZUIPOίʔυʹͳ͍ͬͯΔ  ͜Ε͕ग़དྷͯͳ͍  ͜͏ͳΔ৚݅

  40. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘  .Z42-NZTRMDMJFOU   3FETIJGU 1( QTZDPQH 

     4CPUP  -PDBMPT PTQBUI  ͳͥͳͷ͔
  41. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘ ‣ ΍͸ΓखݩʹDTWͰ͋ͬͨ΄͏ָ͕  DTWʹॻ͖ग़ͯ͠࢖ͬͨΓ͢Δ  ͳͥͳͷ͔

  42. ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ  σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ  σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ  Θ͔ͬͨ͜ͱ

  43.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ  σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ  σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ
  44.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ  σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ  σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ
  45. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕
 1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹
 ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍  Ծઆ

  46. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕
 1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹
 ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍  Ծઆ

  47.  1SPDFTT 'FUDI -PBE ‣ ϦϞʔτͳσʔλιʔε͔ΒඞཁͳσʔλΛμ΢ϯϩʔυ͢Δ ‣ σʔλΛϝϞϦʹϩʔυ͢Δ ‣ σʔλΛλεΫ΍Ϟσϧʹ߹ΘͤͯՃ޻͢Δ

  48.  1SPDFTT 'FUDI -PBE

  49.  ͜͜͸·͋·͋ڞ௨ 1SPDFTT 'FUDI -PBE ͜͜͸λεΫʹΑ༷ͬͯʑ

  50.  1SPDFTT 'FUDI -PBE BLBHJ

  51. ‣ ༷ʑͳ ϦϞʔτ σʔλιʔε͔ΒσʔλΛμ΢ϯϩʔυ  σʔλͷΩϟογϡΛ࡞੒ʗ؅ཧ ‣ औಘͨ͠σʔλʹରͯ͠ΠςϨʔτ͢Δ ‣ ͜ΕΒ࣮ߦՄೳͳ1ZUIPOίʔυͰදݱ

     BLBHJͷ΍Δ͜ͱ
  52. None
  53. উͬͨ

  54. ‣ σʔλͷऔಘ෦෼Λ࣮ߦՄೳͳ1ZUIPOεΫϦϓτͰهड़Մೳ  σʔλιʔεຖͷ࣮૷Λ͢ΔΑΓָʹ ‣ σʔλͷ࣮ମ͸όʔδϣϯ؅ཧ͠ͳͯ͘ྑ͍  ผͷϗετͰHJUDMPOF࣮ߦ͢Ε͹࠶ݱग़དྷΔ ‣ ҟͳΔ࣌ࠁɺҟͳΔ؀ڥͰσʔλΛ࠶ݱ͢Δࣄ͕ग़དྷΔ

     ෳ਺ͷϗετͰύϥϝʔλΛม͑ͯಉ࣌ʹֶशɺͳͲ͕΍Γ΍͘͢  ظ଴Ͱ͖Δ͜ͱ
  55.  ┌──────────┐ │DataSource│◀─────────┬─────────────────────┬────────────────┐ └──────────┘ │ │ │ 1│ │ │

    │ │ │ │ │ │ ┌─────────────────────┐┌──────────────────┐┌────────────┐ │ │SpreadsheetDataSource││RedshiftDataSource││S3DataSource│ *│ └─────────────────────┘└──────────────────┘└────────────┘ ┌──────────┐ │ DataFile │ └──────────┘ 1│ │ │ 1│ ┌──────────┐ │ Content │◀────────┬────────────────┬───────────┐ └──────────┘ │ │ │ ┌──────────────────┐┌────────────┐┌─────────┐ │SpreadsheetContent││LocalContent││S3Content│ └──────────────────┘└────────────┘└─────────┘
  56. ‣ (JU-'4  ಋೖ͸ख͔ܰ΋  σʔλͷ࣮ମΛڞ༗͍ͯ͠ΔͷͰҙຯతͳૢ࡞͕ग़དྷͳ͍  ྫΫΤϦͷॻ͖׵͑  ઌߦख๏

  57. ‣ %BUB7FSTJPO$POUSPM  σʔλͷόʔδϣϯ؅ཧ  ͜Ε͸ͪΐͬͱ໘നͦ͏  ઌߦख๏  IUUQTEBUBWFSTJPODPOUSPMDPN

  58.  ࣮੷

  59.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ  σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ  σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ ‣ BLBHJ͕σʔλͷμ΢ϯϩʔυΛαϙʔτ͢Δ  ༷ʑͳσʔλιʔε͔Β ‣ σʔλͷ࠶ݱੑ˺࣮ݧͷ࠶ݱੑΛ޲্
  60. ‣ ґવख͕ؒศར͞Λ্ճΔ৔߹͕গͳ͘ͳ͍  ը૾ηοτͳͲɺϩʔΧϧʹམͱ͔ͯ͠Βૢ࡞͍ͨ͠ ‣ ࣮ݧͦͷ΋ͷ σʔλऔಘޙ ΋΍͸Γ࠶ݱੑΛࣦ͍ͭͭ͋Δ  ࣮ݧʹͲͷΑ͏ͳҙਤ͕͋ͬͯɺͲͷΑ͏ͳ݁Ռ͕ಘΒΕͨͷ͔

     ՝୊
  61. ‣ σʔλͷόʔδϣϯΛݻఆ͍ͨ͠  ࠷৽ͷσʔλ͕ཉ͍͠  ͋ͷਓͱಉ͡σʔλ͕ཉ͍͠ ‣ αϙʔτग़དྷΔσʔλιʔεΛ૿΍͢ ‣ ݱঢ়"NB[PO3FETIJGU

    "NB[PO4 (PPHMF4QSFBETIFFUͷΈ  .Z42- IUUQGUQ )5.-UBCMF  ࠓޙͷల๬
  62. 2