Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習におけるデータの再現性について / Machine Learning and Data...

Avatar for Yuichiro Someya Yuichiro Someya
September 09, 2017
Programming
7
6.5k

機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility

https://pycon.jp/2017/ja/
https://www.youtube.com/watch?v=-OSgUsqwCdo

Avatar for Yuichiro Someya

Yuichiro Someya

September 09, 2017
Tweet

More Decks by Yuichiro Someya

See All by Yuichiro Someya
にんげんがさき 基盤はあと / Developers over ML platform
Avatar for Yuichiro Someya ayemos
0
14k
機械学習をスモールスタートさせる方法 / small machine learning
Avatar for Yuichiro Someya ayemos
3
2k
アットホームな分析基盤の作り方 / Homemade Machine Learning Toolkits
Avatar for Yuichiro Someya ayemos
1
980
サービス開発、機械学習、クラウド / the trinity of machine learning
Avatar for Yuichiro Someya ayemos
0
3.5k
成長を止めない機械学習のやり方 / Don't stop 'til you get enough (data).
Avatar for Yuichiro Someya ayemos
15
5.2k
AWS で加速する機械学習 / Accelerate Machine Learning with AWS
Avatar for Yuichiro Someya ayemos
1
320
クックパッドの機械学習基盤 2018 / Machine Learning Platform at Cookpad ~ 2018 ~
Avatar for Yuichiro Someya ayemos
15
20k
PyTorchとCaffe2とONNXと深層学習モデルのデプロイについて
Avatar for Yuichiro Someya ayemos
1
3k
クックパッドにおけるAWS GPUインスタンスの利用事例 / Powering by AWS GPU Instances in Cookpad Inc
Avatar for Yuichiro Someya ayemos
0
420

Other Decks in Programming

See All in Programming
iOS 26にアップデートすると実機でのHot Reloadができない？
Avatar for Aoi Umigishi umigishiaoi
0
140
Claude Code + Container Use と Cursor で作る ローカル並列開発環境のススメ / ccc local dev
Avatar for Yuichi Maekawa kaelaela
12
7.3k
バイブスあるコーディングで ~PHP~ 便利ツールをつくるプラクティス
Avatar for uzulla uzulla
1
190
Advanced Micro Frontends: Multi Version/ Framework Scenarios @WAD 2025, Berlin
Avatar for Manfred Steyer manfredsteyer
PRO
0
410
マッチングアプリにおけるフリックUIで苦労したこと
Avatar for yuhei yuheiito
0
230
Claude Code で Astro blog を Pages から Workers へ移行してみた
Avatar for Kei Kamikawa codehex
0
130
副作用と戦う PHP リファクタリング ─ ドメインイベントでビジネスロジックを解きほぐす
Avatar for Takuma Kajikawa kajitack
2
380
レベル1の開発生産性向上に取り組む − 日々の作業の効率化・自動化を通じた改善活動
Avatar for kesoji kesoji
1
330
バイブコーディング超えてバイブデプロイ〜CloudflareMCPで実現する、未来のアプリケーションデリバリー〜
Avatar for azukiazusa azukiazusa1
2
650
TypeScriptでDXを上げろ！ Hono編
Avatar for Yusuke Wada yusukebe
3
830
リッチエディターを安全に開発・運用するために
Avatar for una unachang113
1
220
Claude Code派？Gemini CLI派？ みんなで比較LT会！_20250716
Avatar for じゅん junholee
1
660

Featured

See All Featured
Code Review Best Practice
Avatar for Trisha Gee trishagee
69
19k
4 Signs Your Business is Dying
Avatar for Josh Pigford shpigford
184
22k
Unsuck your backbone
Avatar for Amy Palamountain ammeep
671
58k
Imperfection Machines: The Place of Print at Facebook
Avatar for Scott Boms scottboms
267
13k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
Avatar for Marc Duiker marcduiker
30
2.2k
Fireside Chat
Avatar for paigeccino paigeccino
37
3.5k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
83
9.1k
It's Worth the Effort
Avatar for 3n 3n
185
28k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
251
21k
KATA
Avatar for Megan Lloyd mclloyd
30
14k
GraphQLとの向き合い方2022年版
Avatar for Yosuke Kurami quramy
49
14k
A better future with KSS
Avatar for Kyle Neath kneath
238
17k

Transcript

  1. ػցֶशʹ͓͚Δ σʔλͷ࠶ݱੑʹ͍ͭͯ  ΫοΫύουגࣜձࣾછ୩༔Ұ࿠

  2.  ࣗݾ঺հ ‣ છ୩༔Ұ࿠<:VJDIJSP4PNFZB> ‣ ౦޻େܭࢉ޻ֶम࢜  ܗࣜख๏ɺΞΫλʔϞσϧɺ౳ ‣ ΫοΫύουגࣜձࣾ

     ೥৽ଔೖࣾݚڀ։ൃ෦ΤϯδχΞ ‣ UXJUUFSDPNBZFNPT@Z ‣ HJUIVCDPNBZFNPT ‣ XXXBZFNPTNF
  3. None

  4. Ϩγϐ਺ ສ඼Ҏ্ ݄࣍ར༻ऀ਺ ໿ ສਓ ೥݄຤࣌఺

  5. Χࠃʹల։ ݴޠʹରԠ ೥݄຤࣌఺

  6. ‣ ೥݄ઃཱ ‣ ਖ਼ࣾһ໊ Πϯλʔϯ໊ ‣ ػցֶश͕த৺ ‣ 1ZUIPO 

    ݚڀ։ൃ෦

  7.  ྉཧ͖Ζ͘  ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ʹΑΔྉཧը૾ͷࣗಈೝࣝ εϚʔτϑΥϯͷࣸਅͷ಺ɺ ྉཧࣸਅΛࣗಈతʹऩूه࿥

  8. ‣ ೥݄ઃཱ ‣ ਖ਼ࣾһ໊ Πϯλʔϯ໊ ‣ ػցֶश͕த৺  ݚڀ։ൃ෦

  9. 

  10.  λεΫ λεΫ

  11.  λεΫ λεΫ

  12.  λεΫ λεΫ /FX

  13. ‣ DMPOFͯ͠ɺखݩͰUFTUTTQFDTΛ૸ΒͤΔ ‣ JTTVFͰ࿩͢ ‣ GPSLͯ͠1VMM3FRVFTU ‣ FUD  ෳ਺ਓͰͷιϑτ΢ΣΞ։ൃʁ

  14. ‣ ࣮ݧ΍ϞσϧΛ࠶ݱ͢Δʁ ‣ ԾઆΛཱͯͯ৽ͨͳ࣮ݧΛ͢Δʁ ‣ ·ͱΊΔʁ ‣ ෳ਺ਓͰฒྻʹʁ  ෳ਺ਓͰͷػցֶशʁ

  15. ‣ ػցֶशΛར༻ͯ͠ܧଓతʹ੒ՌΛग़͢ඞཁ͕͋Δ ‣ νʔϜͰྑ͍ײ͡ʹ΍Γ͍ͨ  ιϑτ΢ΣΞ։ൃͷϊ΢ϋ΢ͳͲΛࢀߟʹ ‣ σʔλͷ࠶ݱੑ  ػցֶशΤϯδχΞϦϯά

  16.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ຊ೔ͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip

    install akagi

  17.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ຊ೔ͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip

    install akagi

  18. σʔλ ܇࿅σʔλ ςετσʔλ

  19. σʔλ ܇࿅σʔλ ςετσʔλ ෼ੳ

  20. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ ෼ੳ ࣮૷

  21. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश

  22. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ

  23. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ Ϟσϧ`

    ൺֱ

  24. 1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ෼ੳ ࣮૷ ֶश ධՁ Ϟσϧ`

    ൺֱ ࣮ݧͷ࠶ݱੑʽσʔλͷ࠶ݱੑ

  25.  Ϟσϧʗ࣮ݧ σʔλ 1ZUIPOεΫϦϓτ
 +VQZUFS/PUFCPPL

  26. 

  27. 

  28. 

  29. 

  30. 

  31.  ώϡʔϚϯΤϥʔʹऑ͍

  32.  ώϡʔϚϯΤϥʔʹऑ͍ ࡞ۀ͕௕͘ͳΔͱ໘౗ɹɹɹɹ

  33. ‣ σʔλ͕खݩʹ͋Δ ‣ σʔλ͕4QSFBETIFFUʹ͋Δ ‣ σʔλ͕ʜ  ͳͥ͜͏ͳͬͯ͠·͏ͷ͔ 1ZUIPOεΫϦϓτ͔Β཭Ε͍ͯΔ ^

    ֶशɺςετ

  34. find . -type file -size +100M

  35.  Ͳ͏ͳΓ͍͔ͨ

  36.  Ͳ͏ͳΓ͍͔ͨ

  37.  Ͳ͏ͳΓ͍͔ͨ σʔλ͕1ZUIPOͰॻ͔Ε͍ͯΔʂ

  38.  Ͳ͏ͳΓ͍͔ͨ ͜͏ͳΓ͍ͨ

  39. ‣ σʔλιʔε͕ҟͳΔ৔ॴ͔ΒΞΫηεͰ͖Δ  ·͋େ֓ͦ͏ ‣ σʔλιʔε΁ͷΞΫηε͕࣮ߦՄೳͳ1ZUIPOίʔυʹͳ͍ͬͯΔ  ͜Ε͕ग़དྷͯͳ͍  ͜͏ͳΔ৚݅

  40. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘  .Z42-NZTRMDMJFOU   3FETIJGU 1( QTZDPQH 

     4CPUP  -PDBMPT PTQBUI  ͳͥͳͷ͔

  41. ‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘ ‣ ΍͸ΓखݩʹDTWͰ͋ͬͨ΄͏ָ͕  DTWʹॻ͖ग़ͯ͠࢖ͬͨΓ͢Δ  ͳͥͳͷ͔

  42. ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ  σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ  σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ  Θ͔ͬͨ͜ͱ

  43.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ  σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ  σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ

  44.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ  σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ  σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ

  45. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕
 1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹
 ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍  Ծઆ

  46. σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕
 1ZUIPOεΫϦϓτͰָʹॻ͚Ε͹
 ࣮ݧશମͷ࠶ݱੑ͕޲্͢Δ ͔΋͠Εͳ͍  Ծઆ

  47.  1SPDFTT 'FUDI -PBE ‣ ϦϞʔτͳσʔλιʔε͔ΒඞཁͳσʔλΛμ΢ϯϩʔυ͢Δ ‣ σʔλΛϝϞϦʹϩʔυ͢Δ ‣ σʔλΛλεΫ΍Ϟσϧʹ߹ΘͤͯՃ޻͢Δ

  48.  1SPDFTT 'FUDI -PBE

  49.  ͜͜͸·͋·͋ڞ௨ 1SPDFTT 'FUDI -PBE ͜͜͸λεΫʹΑ༷ͬͯʑ

  50.  1SPDFTT 'FUDI -PBE BLBHJ

  51. ‣ ༷ʑͳ ϦϞʔτ σʔλιʔε͔ΒσʔλΛμ΢ϯϩʔυ  σʔλͷΩϟογϡΛ࡞੒ʗ؅ཧ ‣ औಘͨ͠σʔλʹରͯ͠ΠςϨʔτ͢Δ ‣ ͜ΕΒ࣮ߦՄೳͳ1ZUIPOίʔυͰදݱ

     BLBHJͷ΍Δ͜ͱ
  52. None

  53. উͬͨ

  54. ‣ σʔλͷऔಘ෦෼Λ࣮ߦՄೳͳ1ZUIPOεΫϦϓτͰهड़Մೳ  σʔλιʔεຖͷ࣮૷Λ͢ΔΑΓָʹ ‣ σʔλͷ࣮ମ͸όʔδϣϯ؅ཧ͠ͳͯ͘ྑ͍  ผͷϗετͰHJUDMPOF࣮ߦ͢Ε͹࠶ݱग़དྷΔ ‣ ҟͳΔ࣌ࠁɺҟͳΔ؀ڥͰσʔλΛ࠶ݱ͢Δࣄ͕ग़དྷΔ

     ෳ਺ͷϗετͰύϥϝʔλΛม͑ͯಉ࣌ʹֶशɺͳͲ͕΍Γ΍͘͢  ظ଴Ͱ͖Δ͜ͱ

  55.  ┌──────────┐ │DataSource│◀─────────┬─────────────────────┬────────────────┐ └──────────┘ │ │ │ 1│ │ │

    │ │ │ │ │ │ ┌─────────────────────┐┌──────────────────┐┌────────────┐ │ │SpreadsheetDataSource││RedshiftDataSource││S3DataSource│ *│ └─────────────────────┘└──────────────────┘└────────────┘ ┌──────────┐ │ DataFile │ └──────────┘ 1│ │ │ 1│ ┌──────────┐ │ Content │◀────────┬────────────────┬───────────┐ └──────────┘ │ │ │ ┌──────────────────┐┌────────────┐┌─────────┐ │SpreadsheetContent││LocalContent││S3Content│ └──────────────────┘└────────────┘└─────────┘

  56. ‣ (JU-'4  ಋೖ͸ख͔ܰ΋  σʔλͷ࣮ମΛڞ༗͍ͯ͠ΔͷͰҙຯతͳૢ࡞͕ग़དྷͳ͍  ྫΫΤϦͷॻ͖׵͑  ઌߦख๏

  57. ‣ %BUB7FSTJPO$POUSPM  σʔλͷόʔδϣϯ؅ཧ  ͜Ε͸ͪΐͬͱ໘നͦ͏  ઌߦख๏  IUUQTEBUBWFSTJPODPOUSPMDPN

  58.  ࣮੷

  59.  σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ࡯ ໰୊ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓ૊Έͷ঺հ BLBHJͷ঺հ ར༻ྫͱ࣮੷ ‣ Ϟσϧ΍࣮ݧͷ࠶ݱͷͨΊ͸σʔλͷ࠶ݱ͕ඞཁ  σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ

    ‣ σʔλͷ࠶ݱੑ͸௿͘ͳΓ͕ͪ  σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ ‣ BLBHJ͕σʔλͷμ΢ϯϩʔυΛαϙʔτ͢Δ  ༷ʑͳσʔλιʔε͔Β ‣ σʔλͷ࠶ݱੑ˺࣮ݧͷ࠶ݱੑΛ޲্

  60. ‣ ґવख͕ؒศར͞Λ্ճΔ৔߹͕গͳ͘ͳ͍  ը૾ηοτͳͲɺϩʔΧϧʹམͱ͔ͯ͠Βૢ࡞͍ͨ͠ ‣ ࣮ݧͦͷ΋ͷ σʔλऔಘޙ ΋΍͸Γ࠶ݱੑΛࣦ͍ͭͭ͋Δ  ࣮ݧʹͲͷΑ͏ͳҙਤ͕͋ͬͯɺͲͷΑ͏ͳ݁Ռ͕ಘΒΕͨͷ͔

     ՝୊

  61. ‣ σʔλͷόʔδϣϯΛݻఆ͍ͨ͠  ࠷৽ͷσʔλ͕ཉ͍͠  ͋ͷਓͱಉ͡σʔλ͕ཉ͍͠ ‣ αϙʔτग़དྷΔσʔλιʔεΛ૿΍͢ ‣ ݱঢ়"NB[PO3FETIJGU

    "NB[PO4 (PPHMF4QSFBETIFFUͷΈ  .Z42- IUUQGUQ )5.-UBCMF  ࠓޙͷల๬

  62. 2