Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
アットホームな分析基盤の作り方 / Homemade Machine Learning Toolkits
Search
Yuichiro Someya
July 23, 2018
Programming
1
860
アットホームな分析基盤の作り方 / Homemade Machine Learning Toolkits
分析基盤トーク #1
https://daft.connpass.com/event/93036/
Yuichiro Someya
July 23, 2018
Tweet
Share
More Decks by Yuichiro Someya
See All by Yuichiro Someya
にんげんがさき 基盤はあと / Developers over ML platform
ayemos
0
12k
機械学習をスモールスタートさせる方法 / small machine learning
ayemos
3
1.8k
サービス開発、機械学習、クラウド / the trinity of machine learning
ayemos
0
3.1k
成長を止めない機械学習のやり方 / Don't stop 'til you get enough (data).
ayemos
15
4.9k
AWS で加速する機械学習 / Accelerate Machine Learning with AWS
ayemos
1
300
クックパッドの機械学習基盤 2018 / Machine Learning Platform at Cookpad ~ 2018 ~
ayemos
15
18k
PyTorchとCaffe2とONNXと深層学習モデルのデプロイについて
ayemos
1
2.8k
クックパッドにおけるAWS GPUインスタンスの利用事例 / Powering by AWS GPU Instances in Cookpad Inc
ayemos
0
360
How we use GPUs in Cookpad
ayemos
0
110
Other Decks in Programming
See All in Programming
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
shinyorke
7
1.9k
LPIXEL×CADDi_kaerururu
kaerururu
3
300
【KMC春合宿2024】実装視点で見るNeural Radiance Fields
runningoutrate
0
150
デザインシステムで Tailwind CSSとCSS in JSに分散投資をしたら良かった話
fsubal
14
3.2k
ISUCONってなんだか難しそう……!!でも、初めてのISUCONにPHPで挑戦してきました!
kotomin_m
1
300
GitHub Copilot Tips and Tricks
yuichielectric
26
7.4k
PHPerKaigi 2024〜10年以上動いているレガシーなバッチシステムを Kubernetes(Amazon EKS) に移行する取り組み〜
tshinowpub
1
220
チームでモデリングを育てるうえで 考えたこと・気づいたこと / Cultivating Modeling in Teams: Thoughts and Insights
mackey0225
5
2.2k
Data Contracts In Practice With Debezium and Apache Flink (Kafka Summit London)
gunnarmorling
2
280
AppDeveloperCon 2024 EU: Building polyglot developer experiences in 2024
salaboy
0
380
今の SmartHR にエンジニアで入社するとどうなるの?
daisukeshinoku
1
260
設計の知識と技能で駆動するソフトウェア開発
masuda220
PRO
18
10k
Featured
See All Featured
BBQ
matthewcrist
78
8.7k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
Thoughts on Productivity
jonyablonski
57
3.8k
Visualization
eitanlees
135
14k
Embracing the Ebb and Flow
colly
78
4.1k
Docker and Python
trallard
33
2.6k
How to train your dragon (web standard)
notwaldorf
71
5.1k
Ruby is Unlike a Banana
tanoku
95
10k
Why Our Code Smells
bkeepers
PRO
330
56k
Happy Clients
brianwarren
91
6.3k
Gamification - CAS2011
davidbonilla
76
4.5k
4 Signs Your Business is Dying
shpigford
174
21k
Transcript
ΞοτϗʔϜͳ ੳج൫ͷ࡞Γํ BZFNPT
ࣗݾհ છ୩༔Ұ<:VJDIJSP4PNFZB> ౦ژۀେֶେֶӃܭࢉֶम࢜ ΫοΫύουגࣜձࣾݚڀ։ൃ෦ ϦαʔνΤϯδχΞ݄d ػցֶशج൫
Ϩγϐσʔλͷੳ UXJUUFSDPN!BZFNPT@Z HJUIVCDPNBZFNPT IUUQTXXXBZFNPTNF
ΫοΫύουݚڀ։ൃ෦ ݄ʹൃ ໊࣌ͷϝϯόʔ ݄ݱࡏࠃʹ໊ ւ֎ʹ໊
ΫοΫύουͱػցֶश .ZϑΥϧμ ͓ؾʹೖΓػೳ ͷϨγϐΛࣗಈΧςΰϦྨ ʮྉཧ͖Ζ͘ʯεϚʔτϑΥϯͷྉཧࣸਅΛΧϨϯμʔܗࣜ ͰৼΓฦΓ ࡐྉ໊ͷਖ਼نԽ
ʑ ৄ͘͠IUUQTUFDIMJGFDPPLQBEDPN
BHFOEB ΫοΫύουͷੳج൫ͷհ ੳج൫ͷ͜Ε͔Β
ج൫հͦͷ;PPFZ
None
ੳͱ࣮ݧΛ֤͕ࣗࣗ༝ʹߦ͏ͨΊͷ࠷ݶͷج൫
ج൫հͦͷ̍;PPFZ ܭࢉػڥߏங༻$IBU#PU ܭࢉػڥͷ࡞ʗ্ཱͪ͛ʗఀࢭʗআ ΞΠυϧঢ়ଶͷܭࢉػΛࣗಈఀࢭ
None
$6%" DV%// $6%" DV%// %FFQ-FBSOJOH".*+BO FUD 0VUHPJOH8FCIPPLT
TMBDL@VJE6 DPNNBOEDSFBUFXPSLCFODI MBNCEB*OWPLF 71$ 4VCOFU /BNFλά ڥಛ༗ͷઃఆ͜͜ͰΔ ΠϯελϯεʹATMBDL@VJEAΛ λά͚ͯ͠ॴ༗ऀΛཧ͢Δ DSFBUFXPSLCFODI ;PPFZ
ATTIBZFNPTXPSLCFODIEOTDPNA ;PPFZ *ODPNJOH8FCIPPLT TTI
;PPFZ 4UPQ ΞΠυϧͳΠϯελϯεΛࣗಈఀࢭ
ج൫հͦͷ̍;PPFZ ͷԾ*NBHF %FFQ-FBSOJOH".* Λར༻Մೳ Πϯελϯε࡞ͷೖΓޱΛҰຊԽ ωοτϫʔΫɺηΩϡϦςΟपΓͷࡉ͔͍ઃఆΛٵऩ
ར༻ଆ*NBHFΛ൪߸ͰબͿ͚ͩ ࣾΠϯϑϥͷมԽʹରͯ͠πʔϧͷΞοϓσʔτͰରԠ ւ֎ͷϝϯόʔར༻ IUUQTBXTBNB[PODPNKQNBDIJOFMFBSOJOHBNJT
ج൫հͦͷ̍;PPFZ ֤͕ࣗSPPUΛऔΕΔΠϯελϯεΛ͍ग़͢ গʑલ࣌తʁ ॊೈੑߴ͘ɺ࣮ݧஈ֊ͷڥͱ͍ͯ͠৺͕Α͍ ࣗಈఀࢭ͋ΔͷͰ֤ࣗ҆৺ͯ͠ඞཁͳ্ཱ͚ͩͪ͛ΒΕΔ
ʮ࣮ݧʯΛؚΊαϙʔτ͢Δڞ௨ج൫Λ࣋ͨͳ͍ͷͰ ʮ࣮ݧʯʮຊ൪ʯͷ1PSUBCJMJUZผ్ิڧ͢Δඞཁ͕͋Δ
ج൫հͦͷσʔλج൫
None
͍ΘΏΔ%8) 42-ϕʔεͷ&5-ج൫
σʔλج൫ ͜ΕओʹผνʔϜ σʔλج൫άϧʔϓ ʹΑΔཧ "NB[PO3FETIJGUʹΑΔ%8)ߏங .Z42-3FETIJGUͷΠϯϙʔτδϣϒΛίʔυཧ
ৄ͘͠IUUQTUFDIMJGFDPPLQBEDPNFOUSZ
σʔλج൫ͷར༻ঢ়گ %8)͕ਆ &5- ࣮ݧͷʹ֤͕ࣗߦ͍ɺεΫϦϓτԽ͢Δࣄ͕ଟ͍ ڞ௨&5-ج൫ͷར༻ɺதؒσʔλͷڞ༗ͳͲʹର͢Δχʔζ ͦ͜·Ͱେ͖͘ͳ͍
ݱঢ়
ج൫հͦͷίʔυཧ
ج൫հͦͷίʔυཧ ج൫ʁ DPPLJFDVUUFSEBUBTDJFODF ࣾGPSL Λར༻ ϓϩδΣΫτߏͷςϯϓϨʔτ
ATSDEBUBA ATSDNPEFMAσʔλੜɺֶशεΫϦϓτ AEBUBA ANPEFMTAσʔλɺϞσϧ HJUʹDIFDLJOͤͣɺ4ͱTZOD͢Δ ANBLFTZOD@EBUB@UP@TA
ج൫հͦͷίʔυཧ IUUQTHJUIVCDPNEPDLFSTDJFODFDPPLJFDVUUFSEPDLFS TDJFODF DPPLJFDVUUFSEBUBTDJFODFΛࢀߟʹͨ͠ςϯϓϨʔτ EPDLFSΛར༻͠ɺϓϩδΣΫτͷ࣮ݱੑΛ͞ΒʹߴΊΔ OPUFCPPLͷ্ཱͪ͛
1PSUGPSXBSEߦ͏UBSHFU
ج൫·ͱΊ ݱঢ়౷ҰԽ͞ΕͨػցֶशϓϥοτϑΥʔϜΛར༻͍ͯ͠ͳ͍ ࣗπʔϧͷΈ߹Θͤ %8)Ͱ͓͓ΉͶճ͍ͬͯΔ ج൫ͦͷͷͷཧίετͳͲߟྀͭͭ͠ਐΊͨ݁Ռ ݱঢ় ൺֱతΧδϡΞϧͳӡ༻ͱͳ͍ͬͯΔ
ੳج൫ͷࠓޙ ʙΞοτϗʔϜͳੳج൫͔Βେ౷Ұج൫ͷಓͷΓʙ ͔͜͜Βߟ
ੳج൫ͷࠜຊత՝ (FOFSJDBOE&YUFOTJCMF
ੳج൫ͷࠜຊత՝ 5'9"5FOTPS'MPX#BTFE1SPEVDUJPO4DBMF.BDIJOF-FBSOJOH1MBUGPSN ΑΓ l5IFNBDIJOFMFBSOJOHQMBUGPSNNVTUCFHFOFSJD FOPVHIUPIBOEMFUIFNPTUDPNNPOTFUPGMFBSOJOH UBTLTBTXFMMBTCFFYUFOTJCMFUPTVQQPSUPOFP⒎ BUZQJDBMVTFDBTFTz ҙ༁ ػցֶशج൫แׅత͔֦ͭுՄೳͰ͋Δ͖
(FOFSJDBOE&YUFOTJWF ʰ࣮ݧ͔Βຊ൪ӡ༻·Ͱɺ౷߹తͳڥͰػցֶशʱ ͠Α͏ͱ͍ͯ͠Δ (FOFSJDͳΔ͘ଟ͘ͷϢʔεέʔεʹ ಁաతʹ ରԠ͍ͨ͠ ྑ͍நԽͱ"1*֦ॆͷؤுΓ͖ͬͱେม
&YUFOTJWFྫ֎తͳέʔεʹରͯ͠ গͳ͍࿑ྗͰ ରԠ͍ͨ͠ ҙͷίʔυΛࠩ͠ࠐΊΔॴΛ༻ҙ͢Δɺͱ͔ʜ
(FOFSJDBOE&YUFOTJWF αϙʔτ͢ΔͷόϦΤʔγϣϯͱͷઓ͍ଓ͘ ྨʗճؼ͘Β͍ͷநԽ͔Β࿙Εͯ͠·͏෦͕ແࢹͰ͖ͳ͍ ྔʹͳ͍ͬͯΔ ཁग़య ج൫ͱ͍͏ܕʹΊΔ͜ͱͰࣦΘΕΔॊೈੑͷ૯ྔΛ༧ଌ͢Δ͜
ͱग़དྷͳ͍ ཁग़య
ߟ ج൫େมͳͣͳͷͰ ࡞Δਓͱ͏ਓ͕૿͑ͯίϛϡχςΟ͕ ͢Δඞཁ͕͋Δ ҰํɺνʔϜͷεέʔϧʹ࠷దԽ͞ΕͨπʔϧΛར༻ʗࣗͯ͠ࡁ·ͤ Δͱ͍͏બࢶ͋Δ ͦͷΑ͏ͳݱ͔Β౷Ұ͞Εͨੳج൫ʹΑͬͯͨΒ͞ΕΔϝϦο
τ͕Πϝʔδ͠ʹ͍͘
ߟ ͷͰɺ લड़ͨ͠Α͏ͳ՝Λ্๊͑ͨͰ ੳج൫͕ଧͪग़͢ϝϦοτԿ͔ɺΛߟ͑Δ ͷ͕େࣄͩͱࢥ͏ ػցֶशΛج൫ͳ͠Ͱεέʔϧͤ͞Δͷ͕ ෆՄೳʹۙ͘ ͍͔͠Βɺ
ಋೖʹ͏ίετ՝Λड͚ೖΕͯͰج൫ʹैͬͯ։ൃ͢Δͱ͍͏બΛ͖͢ɺ ͳͷ͔ εέʔϧ͕͍͠ͱ͍͏࣮ײΛ ۀքશମ͕ ࠓͷ࣌Ͱ ಘ͍ͯΔͷ͔ ڞ௨ج൫Խ͢Δ͜ͱʹΑͬͯಘΒΕΔߴڃͳػೳ "#ςετɺࢹͳͲ ͷັྗΛԡ͠ग़͢ͷ͔ ʑ
ߟ ʮσʔλͷྲྀΕ͕͋ΓɺγεςϜ͕σʔλͱڞʹ͢ΔΑ͏ͳγε ςϜʯ·ͰࢹΛ͛Δͱʜ ػցֶशΛ༻͍ͳ͍ ݕࡧΤϯδϯٞͷର ͱͳΔͷ͕ඞવ ݕࡧΤϯδϯࣗମಠࣗਐԽͯ͠ΔͷͰ৽ͨͳ
ιϦϡʔγϣϯΛଧͪग़͢༨ͳ͍͔͠Εͳ͍͕ʜ ͱ͍͑χϡʔϥϧݕࡧΈ߹ΘͤͨγεςϜʹର͢Δ χʔζࠓޙ૿͍͑ͯͣ͘ ͜͜·Ͱ&YUFOTJCMFʹͳΕΔ͔ ͳΔ͖͔ IUUQTXXXBNB[PODPKQ#VJMEJOH*OUFMMJHFOU4ZTUFNT-FBSOJOH&OHJOFFSJOHFCPPLEQ##82)3
·ͱΊ ΫοΫύουݚڀ։ൃ෦͕ར༻͍ͯ͠Δੳج൫Λհ ෦ʹج൫୲͕͍ͯɺϢʔεέʔεʹরΒ͠߹Θͤͳ͕Βۀվળ ݱঢ়ࣗπʔϧͷΈ߹Θͤ %8)Ͱ͓͓ΉͶຬ ੳج൫ͷ͜Ε͔Β
ݱͱͯͨ͘͠͞ΜͷϢʔεέʔεΛൃ৴͍ͯ͘͠ ػցֶशͷ๊͑Δ՝Λ۩ମԽ͠ɺϝοηʔδͱ͍ͯ͑ͯ͘͠ͷ͕ ॏཁͰେมͦ͏