Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility

Yuichiro Someya
September 09, 2017

機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility

Yuichiro Someya

September 09, 2017
Tweet

More Decks by Yuichiro Someya

Other Decks in Programming

Transcript

  1. ػցֶशʹ͓͚Δ
    σʔλͷ࠶ݱੑʹ͍ͭͯ

    ΫοΫύουגࣜձࣾછ୩༔Ұ࿠

    View Slide


  2. ࣗݾ঺հ
    ‣ છ୩༔Ұ࿠<:VJDIJSP4PNFZB>
    ‣ ౦޻େܭࢉ޻ֶम࢜
    ܗࣜख๏ɺΞΫλʔϞσϧɺ౳
    ‣ ΫοΫύουגࣜձࣾ
    ೥৽ଔೖࣾݚڀ։ൃ෦ΤϯδχΞ
    ‣ UXJUUFSDPNBZFNPT@Z
    ‣ HJUIVCDPNBZFNPT
    ‣ XXXBZFNPTNF

    View Slide

  3. View Slide

  4. Ϩγϐ਺
    ສ඼Ҏ্
    ݄࣍ར༻ऀ਺
    ໿ ສਓ
    ೥݄຤࣌఺

    View Slide

  5. Χࠃʹల։
    ݴޠʹରԠ
    ೥݄຤࣌఺

    View Slide

  6. ‣ ೥݄ઃཱ
    ‣ ਖ਼ࣾһ໊Πϯλʔϯ໊
    ‣ ػցֶश͕த৺
    ‣ 1ZUIPO

    ݚڀ։ൃ෦

    View Slide


  7. ྉཧ͖Ζ͘

    ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
    ʹΑΔྉཧը૾ͷࣗಈೝࣝ
    εϚʔτϑΥϯͷࣸਅͷ಺ɺ
    ྉཧࣸਅΛࣗಈతʹऩूه࿥

    View Slide

  8. ‣ ೥݄ઃཱ
    ‣ ਖ਼ࣾһ໊Πϯλʔϯ໊
    ‣ ػցֶश͕த৺

    ݚڀ։ൃ෦

    View Slide


  9. View Slide


  10. λεΫ λεΫ

    View Slide


  11. λεΫ λεΫ

    View Slide


  12. λεΫ λεΫ
    /FX

    View Slide

  13. ‣ DMPOFͯ͠ɺखݩͰUFTUTTQFDTΛ૸ΒͤΔ
    ‣ JTTVFͰ࿩͢
    ‣ GPSLͯ͠1VMM3FRVFTU
    ‣ FUD

    ෳ਺ਓͰͷιϑτ΢ΣΞ։ൃʁ

    View Slide

  14. ‣ ࣮ݧ΍ϞσϧΛ࠶ݱ͢Δʁ
    ‣ ԾઆΛཱͯͯ৽ͨͳ࣮ݧΛ͢Δʁ
    ‣ ·ͱΊΔʁ
    ‣ ෳ਺ਓͰฒྻʹʁ

    ෳ਺ਓͰͷػցֶशʁ

    View Slide

  15. ‣ ػցֶशΛར༻ͯ͠ܧଓతʹ੒ՌΛग़͢ඞཁ͕͋Δ
    ‣ νʔϜͰྑ͍ײ͡ʹ΍Γ͍ͨ
    ιϑτ΢ΣΞ։ൃͷϊ΢ϋ΢ͳͲΛࢀߟʹ
    ‣ σʔλͷ࠶ݱੑ

    ػցֶशΤϯδχΞϦϯά

    View Slide


  16. σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯
    ໰୊ఏى
    ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ
    BLBHJͷ঺հ
    ར༻ྫͱ࣮੷
    ຊ೔ͷτϐοΫ
    QZDPOKQ@
    IUUQHJUIVCDPNBZFNPTBLBHJ
    pip install akagi

    View Slide


  17. σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯
    ໰୊ఏى
    ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ
    BLBHJͷ঺հ
    ར༻ྫͱ࣮੷
    ຊ೔ͷτϐοΫ
    QZDPOKQ@
    IUUQHJUIVCDPNBZFNPTBLBHJ
    pip install akagi

    View Slide

  18. σʔλ
    ܇࿅σʔλ ςετσʔλ

    View Slide

  19. σʔλ
    ܇࿅σʔλ ςετσʔλ
    ෼ੳ

    View Slide

  20. 1ZUIPO
    σʔλ
    ܇࿅σʔλ ςετσʔλ
    ෼ੳ
    ࣮૷

    View Slide

  21. 1ZUIPO
    σʔλ
    ܇࿅σʔλ ςετσʔλ
    Ϟσϧ
    ෼ੳ
    ࣮૷
    ֶश

    View Slide

  22. 1ZUIPO
    σʔλ
    ܇࿅σʔλ ςετσʔλ
    Ϟσϧ
    ෼ੳ
    ࣮૷
    ֶश
    ධՁ

    View Slide

  23. 1ZUIPO
    σʔλ
    ܇࿅σʔλ ςετσʔλ
    Ϟσϧ
    ෼ੳ
    ࣮૷
    ֶश
    ධՁ
    Ϟσϧ`
    ൺֱ

    View Slide

  24. 1ZUIPO
    σʔλ
    ܇࿅σʔλ ςετσʔλ
    Ϟσϧ
    ෼ੳ
    ࣮૷
    ֶश
    ධՁ
    Ϟσϧ`
    ൺֱ
    ࣮ݧͷ࠶ݱੑʽσʔλͷ࠶ݱੑ

    View Slide


  25. Ϟσϧʗ࣮ݧ
    σʔλ
    1ZUIPOεΫϦϓτ

    +VQZUFS/PUFCPPL

    View Slide


  26. View Slide


  27. View Slide


  28. View Slide


  29. View Slide


  30. View Slide


  31. ώϡʔϚϯΤϥʔʹऑ͍

    View Slide


  32. ώϡʔϚϯΤϥʔʹऑ͍
    ࡞ۀ͕௕͘ͳΔͱ໘౗ɹɹɹɹ

    View Slide

  33. ‣ σʔλ͕खݩʹ͋Δ
    ‣ σʔλ͕4QSFBETIFFUʹ͋Δ
    ‣ σʔλ͕ʜ

    ͳͥ͜͏ͳͬͯ͠·͏ͷ͔
    1ZUIPOεΫϦϓτ͔Β཭Ε͍ͯΔ
    ^
    ֶशɺςετ

    View Slide

  34. find . -type file -size +100M

    View Slide


  35. Ͳ͏ͳΓ͍͔ͨ

    View Slide


  36. Ͳ͏ͳΓ͍͔ͨ

    View Slide


  37. Ͳ͏ͳΓ͍͔ͨ
    σʔλ͕1ZUIPOͰॻ͔Ε͍ͯΔʂ

    View Slide


  38. Ͳ͏ͳΓ͍͔ͨ
    ͜͏ͳΓ͍ͨ

    View Slide

  39. ‣ σʔλιʔε͕ҟͳΔ৔ॴ͔ΒΞΫηεͰ͖Δ
    ·͋େ֓ͦ͏
    ‣ σʔλιʔε΁ͷΞΫηε͕࣮ߦՄೳͳ1ZUIPOίʔυʹͳ͍ͬͯΔ
    ͜Ε͕ग़དྷͯͳ͍

    ͜͏ͳΔ৚݅

    View Slide

  40. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘
    .Z42-NZTRMDMJFOU
    3FETIJGU 1(
    QTZDPQH
    4CPUP
    -PDBMPT PTQBUI

    ͳͥͳͷ͔

    View Slide

  41. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘
    ‣ ΍͸ΓखݩʹDTWͰ͋ͬͨ΄͏ָ͕
    DTWʹॻ͖ग़ͯ͠࢖ͬͨΓ͢Δ

    ͳͥͳͷ͔

    View Slide

  42. ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
    σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
    σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ

    Θ͔ͬͨ͜ͱ

    View Slide


  43. σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯
    ໰୊ఏى
    ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ
    BLBHJͷ঺հ
    ར༻ྫͱ࣮੷
    ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
    σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
    σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ

    View Slide


  44. σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯
    ໰୊ఏى
    ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ
    BLBHJͷ঺հ
    ར༻ྫͱ࣮੷
    ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
    σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
    σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ

    View Slide

  45. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕

    1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹

    ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍


    Ծઆ

    View Slide

  46. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕

    1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹

    ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍


    Ծઆ

    View Slide


  47. 1SPDFTT
    'FUDI
    -PBE
    ‣ ϦϞʔτͳσʔλιʔε͔ΒඞཁͳσʔλΛμ΢ϯϩʔυ͢Δ
    ‣ σʔλΛϝϞϦʹϩʔυ͢Δ
    ‣ σʔλΛλεΫ΍Ϟσϧʹ߹ΘͤͯՃ޻͢Δ

    View Slide


  48. 1SPDFTT
    'FUDI
    -PBE

    View Slide


  49. ͜͜͸·͋·͋ڞ௨
    1SPDFTT
    'FUDI
    -PBE
    ͜͜͸λεΫʹΑ༷ͬͯʑ

    View Slide


  50. 1SPDFTT
    'FUDI
    -PBE
    BLBHJ

    View Slide

  51. ‣ ༷ʑͳ ϦϞʔτ
    σʔλιʔε͔ΒσʔλΛμ΢ϯϩʔυ
    σʔλͷΩϟογϡΛ࡞੒ʗ؅ཧ
    ‣ औಘͨ͠σʔλʹରͯ͠ΠςϨʔτ͢Δ
    ‣ ͜ΕΒ࣮ߦՄೳͳ1ZUIPOίʔυͰදݱ

    BLBHJͷ΍Δ͜ͱ

    View Slide

  52. View Slide

  53. উͬͨ

    View Slide

  54. ‣ σʔλͷऔಘ෦෼Λ࣮ߦՄೳͳ1ZUIPOεΫϦϓτͰهड़Մೳ
    σʔλιʔεຖͷ࣮૷Λ͢ΔΑΓָʹ
    ‣ σʔλͷ࣮ମ͸όʔδϣϯ؅ཧ͠ͳͯ͘ྑ͍
    ผͷϗετͰHJUDMPOF࣮ߦ͢Ε͹࠶ݱग़དྷΔ
    ‣ ҟͳΔ࣌ࠁɺҟͳΔ؀ڥͰσʔλΛ࠶ݱ͢Δࣄ͕ग़དྷΔ
    ෳ਺ͷϗετͰύϥϝʔλΛม͑ͯಉ࣌ʹֶशɺͳͲ͕΍Γ΍͘͢

    ظ଴Ͱ͖Δ͜ͱ

    View Slide


  55. ┌──────────┐
    │DataSource│◀─────────┬─────────────────────┬────────────────┐
    └──────────┘ │ │ │
    1│ │ │ │
    │ │ │ │
    │ ┌─────────────────────┐┌──────────────────┐┌────────────┐
    │ │SpreadsheetDataSource││RedshiftDataSource││S3DataSource│
    *│ └─────────────────────┘└──────────────────┘└────────────┘
    ┌──────────┐
    │ DataFile │
    └──────────┘
    1│


    1│
    ┌──────────┐
    │ Content │◀────────┬────────────────┬───────────┐
    └──────────┘ │ │ │
    ┌──────────────────┐┌────────────┐┌─────────┐
    │SpreadsheetContent││LocalContent││S3Content│
    └──────────────────┘└────────────┘└─────────┘

    View Slide

  56. ‣ (JU-'4
    ಋೖ͸ख͔ܰ΋
    σʔλͷ࣮ମΛڞ༗͍ͯ͠ΔͷͰҙຯతͳૢ࡞͕ग़དྷͳ͍
    ྫΫΤϦͷॻ͖׵͑

    ઌߦख๏

    View Slide

  57. ‣ %BUB7FSTJPO$POUSPM
    σʔλͷόʔδϣϯ؅ཧ
    ͜Ε͸ͪΐͬͱ໘നͦ͏

    ઌߦख๏
    IUUQTEBUBWFSTJPODPOUSPMDPN

    View Slide


  58. ࣮੷

    View Slide


  59. σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯
    ໰୊ఏى
    ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ
    BLBHJͷ঺հ
    ར༻ྫͱ࣮੷
    ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ
    σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ
    σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ
    ‣ BLBHJ͕σʔλͷμ΢ϯϩʔυΛαϙʔτ͢Δ
    ༷ʑͳσʔλιʔε͔Β
    ‣ σʔλͷ࠶ݱੑ˺࣮ݧͷ࠶ݱੑΛ޲্

    View Slide

  60. ‣ ґવख͕ؒศར͞Λ্ճΔ৔߹͕গͳ͘ͳ͍
    ը૾ηοτͳͲɺϩʔΧϧʹམͱ͔ͯ͠Βૢ࡞͍ͨ͠
    ‣ ࣮ݧͦͷ΋ͷ σʔλऔಘޙ
    ΋΍͸Γ࠶ݱੑΛࣦ͍ͭͭ͋Δ
    ࣮ݧʹͲͷΑ͏ͳҙਤ͕͋ͬͯɺͲͷΑ͏ͳ݁Ռ͕ಘΒΕͨͷ͔

    ՝୊

    View Slide

  61. ‣ σʔλͷόʔδϣϯΛݻఆ͍ͨ͠
    ࠷৽ͷσʔλ͕ཉ͍͠
    ͋ͷਓͱಉ͡σʔλ͕ཉ͍͠
    ‣ αϙʔτग़དྷΔσʔλιʔεΛ૿΍͢
    ‣ ݱঢ়"NB[PO3FETIJGU "NB[PO4 (PPHMF4QSFBETIFFUͷΈ
    .Z42- IUUQGUQ )5.-UBCMF

    ࠓޙͷల๬

    View Slide

  62. 2

    View Slide