Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
機械学習におけるデータの再現性について / Machine Learning and Data...
Search
Yuichiro Someya
September 09, 2017
Programming
6.9k
7
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
機械学習におけるデータの再現性について / Machine Learning and Data Reproducibility
https://pycon.jp/2017/ja/
https://www.youtube.com/watch?v=-OSgUsqwCdo
Yuichiro Someya
September 09, 2017
Transcript
62 slides
ػցֶशʹ͓͚Δ σʔλͷ࠶ݱੑʹ͍ͭͯ ΫοΫύουגࣜձࣾછ୩༔Ұ
ࣗݾհ ‣ છ୩༔Ұ<:VJDIJSP4PNFZB> ‣ ౦େܭࢉֶम࢜ ܗࣜख๏ɺΞΫλʔϞσϧɺ ‣ ΫοΫύουגࣜձࣾ
৽ଔೖࣾݚڀ։ൃ෦ΤϯδχΞ ‣ UXJUUFSDPNBZFNPT@Z ‣ HJUIVCDPNBZFNPT ‣ XXXBZFNPTNF
None
Ϩγϐ ສҎ্ ݄࣍ར༻ऀ ສਓ ݄࣌
Χࠃʹల։ ݴޠʹରԠ ݄࣌
‣ ݄ઃཱ ‣ ਖ਼ࣾһ໊ Πϯλʔϯ໊ ‣ ػցֶश͕த৺ ‣ 1ZUIPO
ݚڀ։ൃ෦
ྉཧ͖Ζ͘ ΈࠐΈχϡʔϥϧωοτϫʔΫ ʹΑΔྉཧը૾ͷࣗಈೝࣝ εϚʔτϑΥϯͷࣸਅͷɺ ྉཧࣸਅΛࣗಈతʹऩूه
‣ ݄ઃཱ ‣ ਖ਼ࣾһ໊ Πϯλʔϯ໊ ‣ ػցֶश͕த৺ ݚڀ։ൃ෦
λεΫ λεΫ
λεΫ λεΫ
λεΫ λεΫ /FX
‣ DMPOFͯ͠ɺखݩͰUFTUTTQFDTΛΒͤΔ ‣ JTTVFͰ͢ ‣ GPSLͯ͠1VMM3FRVFTU ‣ FUD ෳਓͰͷιϑτΣΞ։ൃʁ
‣ ࣮ݧϞσϧΛ࠶ݱ͢Δʁ ‣ ԾઆΛཱͯͯ৽ͨͳ࣮ݧΛ͢Δʁ ‣ ·ͱΊΔʁ ‣ ෳਓͰฒྻʹʁ ෳਓͰͷػցֶशʁ
‣ ػցֶशΛར༻ͯ͠ܧଓతʹՌΛग़͢ඞཁ͕͋Δ ‣ νʔϜͰྑ͍ײ͡ʹΓ͍ͨ ιϑτΣΞ։ൃͷϊϋͳͲΛࢀߟʹ ‣ σʔλͷ࠶ݱੑ ػցֶशΤϯδχΞϦϯά
σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓΈͷհ BLBHJͷհ ར༻ྫͱ࣮ ຊͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip
install akagi
σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓΈͷհ BLBHJͷհ ར༻ྫͱ࣮ ຊͷτϐοΫ QZDPOKQ@ IUUQHJUIVCDPNBZFNPTBLBHJ pip
install akagi
σʔλ ܇࿅σʔλ ςετσʔλ
σʔλ ܇࿅σʔλ ςετσʔλ ੳ
1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ ੳ ࣮
1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ੳ ࣮ ֶश
1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ੳ ࣮ ֶश ධՁ
1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ੳ ࣮ ֶश ධՁ Ϟσϧ`
ൺֱ
1ZUIPO σʔλ ܇࿅σʔλ ςετσʔλ Ϟσϧ ੳ ࣮ ֶश ධՁ Ϟσϧ`
ൺֱ ࣮ݧͷ࠶ݱੑʽσʔλͷ࠶ݱੑ
Ϟσϧʗ࣮ݧ σʔλ 1ZUIPOεΫϦϓτ +VQZUFS/PUFCPPL
ώϡʔϚϯΤϥʔʹऑ͍
ώϡʔϚϯΤϥʔʹऑ͍ ࡞ۀ͕͘ͳΔͱ໘ɹɹɹɹ
‣ σʔλ͕खݩʹ͋Δ ‣ σʔλ͕4QSFBETIFFUʹ͋Δ ‣ σʔλ͕ʜ ͳͥ͜͏ͳͬͯ͠·͏ͷ͔ 1ZUIPOεΫϦϓτ͔ΒΕ͍ͯΔ ^
ֶशɺςετ
find . -type file -size +100M
Ͳ͏ͳΓ͍͔ͨ
Ͳ͏ͳΓ͍͔ͨ
Ͳ͏ͳΓ͍͔ͨ σʔλ͕1ZUIPOͰॻ͔Ε͍ͯΔʂ
Ͳ͏ͳΓ͍͔ͨ ͜͏ͳΓ͍ͨ
‣ σʔλιʔε͕ҟͳΔॴ͔ΒΞΫηεͰ͖Δ ·͋େ֓ͦ͏ ‣ σʔλιʔεͷΞΫηε͕࣮ߦՄೳͳ1ZUIPOίʔυʹͳ͍ͬͯΔ ͜Ε͕ग़དྷͯͳ͍ ͜͏ͳΔ݅
‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘ .Z42-NZTRMDMJFOU 3FETIJGU 1( QTZDPQH
4CPUP -PDBMPT PTQBUI ͳͥͳͷ͔
‣ σʔλιʔεຖʹ݁ߏ৭ʑॻ͘ ‣ ΓखݩʹDTWͰ͋ͬͨ΄͏ָ͕ DTWʹॻ͖ग़ͯͬͨ͠Γ͢Δ ͳͥͳͷ͔
‣ Ϟσϧ࣮ݧͷ࠶ݱͷͨΊσʔλͷ࠶ݱ͕ඞཁ σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ ‣ σʔλͷ࠶ݱੑ͘ͳΓ͕ͪ σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ Θ͔ͬͨ͜ͱ
σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓΈͷհ BLBHJͷհ ར༻ྫͱ࣮ ‣ Ϟσϧ࣮ݧͷ࠶ݱͷͨΊσʔλͷ࠶ݱ͕ඞཁ σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
‣ σʔλͷ࠶ݱੑ͘ͳΓ͕ͪ σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ
σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓΈͷհ BLBHJͷհ ར༻ྫͱ࣮ ‣ Ϟσϧ࣮ݧͷ࠶ݱͷͨΊσʔλͷ࠶ݱ͕ඞཁ σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
‣ σʔλͷ࠶ݱੑ͘ͳΓ͕ͪ σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ
σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕ 1ZUIPOεΫϦϓτͰָʹॻ͚Ε ࣮ݧશମͷ࠶ݱੑ্͕͢Δ ͔͠Εͳ͍ Ծઆ
σʔλΛऔಘͯ͠Ωϟογϡ͢Δॲཧ͕ 1ZUIPOεΫϦϓτͰָʹॻ͚Ε ࣮ݧશମͷ࠶ݱੑ্͕͢Δ ͔͠Εͳ͍ Ծઆ
1SPDFTT 'FUDI -PBE ‣ ϦϞʔτͳσʔλιʔε͔ΒඞཁͳσʔλΛμϯϩʔυ͢Δ ‣ σʔλΛϝϞϦʹϩʔυ͢Δ ‣ σʔλΛλεΫϞσϧʹ߹ΘͤͯՃ͢Δ
1SPDFTT 'FUDI -PBE
͜͜·͋·͋ڞ௨ 1SPDFTT 'FUDI -PBE ͜͜λεΫʹΑ༷ͬͯʑ
1SPDFTT 'FUDI -PBE BLBHJ
‣ ༷ʑͳ ϦϞʔτ σʔλιʔε͔ΒσʔλΛμϯϩʔυ σʔλͷΩϟογϡΛ࡞ʗཧ ‣ औಘͨ͠σʔλʹରͯ͠ΠςϨʔτ͢Δ ‣ ͜ΕΒ࣮ߦՄೳͳ1ZUIPOίʔυͰදݱ
BLBHJͷΔ͜ͱ
None
উͬͨ
‣ σʔλͷऔಘ෦Λ࣮ߦՄೳͳ1ZUIPOεΫϦϓτͰهड़Մೳ σʔλιʔεຖͷ࣮Λ͢ΔΑΓָʹ ‣ σʔλͷ࣮ମόʔδϣϯཧ͠ͳͯ͘ྑ͍ ผͷϗετͰHJUDMPOF࣮ߦ͢Ε࠶ݱग़དྷΔ ‣ ҟͳΔ࣌ࠁɺҟͳΔڥͰσʔλΛ࠶ݱ͢Δࣄ͕ग़དྷΔ
ෳͷϗετͰύϥϝʔλΛม͑ͯಉ࣌ʹֶशɺͳͲ͕Γ͘͢ ظͰ͖Δ͜ͱ
┌──────────┐ │DataSource│◀─────────┬─────────────────────┬────────────────┐ └──────────┘ │ │ │ 1│ │ │
│ │ │ │ │ │ ┌─────────────────────┐┌──────────────────┐┌────────────┐ │ │SpreadsheetDataSource││RedshiftDataSource││S3DataSource│ *│ └─────────────────────┘└──────────────────┘└────────────┘ ┌──────────┐ │ DataFile │ └──────────┘ 1│ │ │ 1│ ┌──────────┐ │ Content │◀────────┬────────────────┬───────────┐ └──────────┘ │ │ │ ┌──────────────────┐┌────────────┐┌─────────┐ │SpreadsheetContent││LocalContent││S3Content│ └──────────────────┘└────────────┘└─────────┘
‣ (JU-'4 ಋೖख͔ܰ σʔλͷ࣮ମΛڞ༗͍ͯ͠ΔͷͰҙຯతͳૢ࡞͕ग़དྷͳ͍ ྫΫΤϦͷॻ͖͑ ઌߦख๏
‣ %BUB7FSTJPO$POUSPM σʔλͷόʔδϣϯཧ ͜Εͪΐͬͱ໘നͦ͏ ઌߦख๏ IUUQTEBUBWFSTJPODPOUSPMDPN
࣮
σʔλͷ࠶ݱੑʹ͍ͭͯͷߟ ఏى ࠶ݱੑΛߴΊΔͨΊͷऔΓΈͷհ BLBHJͷհ ར༻ྫͱ࣮ ‣ Ϟσϧ࣮ݧͷ࠶ݱͷͨΊσʔλͷ࠶ݱ͕ඞཁ σʔλͷ࠶ݱ͕༰қʹՄೳͰ͋Δ͜ͱ͕ॏཁ
‣ σʔλͷ࠶ݱੑ͘ͳΓ͕ͪ σʔλऔಘॲཧ͕1ZUIPOεΫϦϓτͰॻ͔Ε͍ͯͳ͍͔Βʁ ‣ BLBHJ͕σʔλͷμϯϩʔυΛαϙʔτ͢Δ ༷ʑͳσʔλιʔε͔Β ‣ σʔλͷ࠶ݱੑ˺࣮ݧͷ࠶ݱੑΛ্
‣ ґવख͕ؒศར͞Λ্ճΔ߹͕গͳ͘ͳ͍ ը૾ηοτͳͲɺϩʔΧϧʹམͱ͔ͯ͠Βૢ࡞͍ͨ͠ ‣ ࣮ݧͦͷͷ σʔλऔಘޙ Γ࠶ݱੑΛࣦ͍ͭͭ͋Δ ࣮ݧʹͲͷΑ͏ͳҙਤ͕͋ͬͯɺͲͷΑ͏ͳ݁Ռ͕ಘΒΕͨͷ͔
՝
‣ σʔλͷόʔδϣϯΛݻఆ͍ͨ͠ ࠷৽ͷσʔλ͕ཉ͍͠ ͋ͷਓͱಉ͡σʔλ͕ཉ͍͠ ‣ αϙʔτग़དྷΔσʔλιʔεΛ૿͢ ‣ ݱঢ়"NB[PO3FETIJGU
"NB[PO4 (PPHMF4QSFBETIFFUͷΈ .Z42- IUUQGUQ )5.-UBCMF ࠓޙͷల
2
More Decks by Yuichiro Someya
See All by Yuichiro Someya
にんげんがさき 基盤はあと / Developers over ML platform
ayemos
0
15k
機械学習をスモールスタートさせる方法 / small machine learning
ayemos
3
2.1k
アットホームな分析基盤の作り方 / Homemade Machine Learning Toolkits
ayemos
1
1.1k
サービス開発、機械学習、クラウド / the trinity of machine learning
ayemos
0
3.7k
成長を止めない機械学習のやり方 / Don't stop 'til you get enough (data).
ayemos
15
5.4k
AWS で加速する機械学習 / Accelerate Machine Learning with AWS
ayemos
1
380
クックパッドの機械学習基盤 2018 / Machine Learning Platform at Cookpad ~ 2018 ~
ayemos
15
22k
PyTorchとCaffe2とONNXと深層学習モデルのデプロイについて
ayemos
1
3.1k
クックパッドにおけるAWS GPUインスタンスの利用事例 / Powering by AWS GPU Instances in Cookpad Inc
ayemos
0
480
Other Decks in Programming
See All in Programming
そのデザイントークン、Flutterでも同じ見た目になりますか?
nakamizu
0
450
Secure Your Coding Agent Like It’s Malware (v1.5) 🇬🇧 @Code.talks 2026
richargh
0
190
Proxmox x Talos Linux x Terraform で実現するなんかいい感じの Kubernetes クラスタ / A Sleek Kubernetes Cluster Powered by Proxmox, Talos Linux, and Terraform
nnaka2992
0
290
作れるエンジニアから、価値を届けるエンジニアへ
ryunakayama
1
340
AIが生成したコードは読むべきか?抽象化設計とコードの品質保証 / abstraction-design-and-quality
minodriven
17
9.5k
Apple Intelligenceとオンデバイス時代の到来
yahir0
0
250
SFCで実現する病院・医療システムの動的組み立て式UI
koukimiura
1
190
はじめてのPLATEAU
nokonoko1203
1
660
あなたはMCPの機能を、まだ知らない。
4geru
1
710
Materialが消えた日 〜真っ白なFlutterキャンバスにRenderObjectで絵を描く〜
umigishiaoi
0
170
AppFunctionsの内部実装を紐解く
hiroaki404
0
110
protojson における文字化けの扱い
kazuki1023
0
460
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
123
22k
Evolving SEO for Evolving Search Engines
ryanjones
0
370
Balancing Empowerment & Direction
lara
6
1.4k
Redefining SEO in the New Era of Traffic Generation
szymonslowik
1
530
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
kimpetersen
PRO
0
540
Done Done
chrislema
187
17k
A Soul's Torment
seathinner
9
3.9k
Thoughts on Productivity
jonyablonski
76
5.5k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
17k
Lightning talk: Run Django tests with GitHub Actions
sabderemane
0
330
Applied NLP in the Age of Generative AI
inesmontani
PRO
4
2.6k
The SEO identity crisis: Don't let AI make you average
varn
0
630