Slide 1
Slide 1 text
)ZESB
.-GMPX
0QUVOBͷΈ߹ΘͤͰ
खܰʹ࢝ΊΔϋΠύʔύϥϝʔλཧ
౦େӃɾใཧ म࢜՝ఔ
தଜହوʢͳ͔ΉΒ ͍͖ͨʣ
1
0QUVOB .FFUVQ
Slide 2
Slide 2 text
/27
ࣗݾհ
2
■ ϓϩϑΟʔϧ
● ౦େେֶӃ ใཧ Ԑɾখࢁݚ .
● Ի߹ ࣭มٕज़Λීஈݚڀ͍ͯ͠·͢
● 5XJUUFS!TVQJLJUJ ʢΞΠίϯɿӈਤʣ
■ ొஃཧ༝
● Ҏલ NFEJVNDPNPQUVOB ʹͯຊൃදͱಉ͡ʹͯࣥච
● &BTZ)ZQFSQBSBNFUFS.BOBHFNFOUXJUI)ZESB
.-GMPX
BOE0QUVOB
● )ZESB
.-GMPX
0QUVOBͷΈ߹ΘͤͰखܰʹ࢝ΊΔϋΠύʔ
ύϥϝʔλཧ
Slide 3
Slide 3 text
/27
ຊͷ༰
3
■ հ͢Δ͜ͱ
● )ZESB .-GMPX 0QUVOB Λ༻͍ͨޮతͳϋΠύϥཧ
● ͦΕͧΕͷ୯ମͰͷ͍ํ Έ߹Θͤͨ۩ମతͳ͍ํ
■ հ͠ͳ͍͜ͱ
● ͦΕͧΕͷϥΠϒϥϦͷΈ ෦ಈ࡞
○ ૉਓͳͷͰʜ
■ ຊͷڞ༗ࢿྉ [PPNͷνϟοτཝʹܝࡌ
■ αϯϓϧίʔυͪ͜Β
Slide 4
Slide 4 text
ϋΠύϥཧ
Slide 5
Slide 5 text
/27
ϋΠύϥཧͷํ๏
5
"SHQBSTF ʹΑΔཧ IQBSBNQZ ʹΑΔཧ
Slide 6
Slide 6 text
/27
ϋΠύϥཧͷ
6
■ BSHQBSTFʹΑΔϋΠύϥཧ
● ԟʑʹͯ͠ઃఆ͢ΔϋΠύϥ͕େʹͳΓ͕ͪ
● ͲͷϋΠύϥ͕ NPEFMQSFQSPDFTTͳͲʹରԠ͢Δ͔ݟͮΒ͍
■ ઃఆϑΝΠϧΛ༻͍ͨϋΠύϥཧ
● ϋΠύϥมߋͷͨͼʹઃఆϑΝΠϧΛฤू͋Δ͍࡞
■ )ZESB.-GMPX 0QUVOBʹΑΔϋΠύϥཧ
● ઃఆύϥϝʔλΛίϚϯυϥΠϯ͔Βछྨมߋ ࣮ߦՄೳ
● ϋΠύϥͷάϦουαʔν͕༰қʹՄೳ छྨͷཧ͕༰қ
● ڧྗͳϋΠύϥ୳ࡧΛίϚϯυϥΠϯ͔Βར༻Մೳ
Slide 7
Slide 7 text
)ZESB
Slide 8
Slide 8 text
/27
8
■ ಛ
● 'BDFCPPL"*3FTFBSDI͕ެ։͍ͯ͠Δύϥϝʔλཧπʔϧ
● ύϥϝʔλΛ֊ཱͯͯߏతʹ :".-ϑΝΠϧʹهड़
● ίϚϯυϥΠϯ͔ΒઃఆΛ্ॻ͖ ࣮ߦ
● ϋΠύϥͷछྨͷάϦουαʔνΛ ߦͰ࣮ߦՄೳ
IUUQTIZESBDD
)ZESBʹ͍ͭͯ
Slide 9
Slide 9 text
/27
جຊతͳ͍ํ
9
● ཧ͍ͨ͠ϋΠύϥΛ ZBNM ܗࣜͰ $POGJHϑΝΠϧهड़
Slide 10
Slide 10 text
/27
جຊతͳ͍ํ
10
● ؔʹσίϨʔλΛ͢͜ͱͰ͔ؔΒϋΠύϥࢀরՄೳ
Slide 11
Slide 11 text
/27
جຊతͳ͍ํ
11
■ ίϚϯυϥΠϯ͔Βͷͷมߋ ࣮ߦ
● ϋΠύϥͷΛௐͯ͠࠶࣮ߦ͍ͨ͠߹ίϚϯυϥΠϯ͔Β
ϋΠύϥͷΛมߋͯ͠ϓϩάϥϜΛ࠶࣮ߦՄೳ
Slide 12
Slide 12 text
/27
جຊతͳ͍ํ
12
■ ϋΠύϥͷάϦουαʔν
● छྨͷϋΠύϥΛॱʹ༻͍࣮ͯߦ͍ͨ͠߹ɼ$POGJHΛ
ॻ͖͑Δ͜ͱͳ͘ίϚϯυϥΠϯ͔ΒࢦఆՄೳ
● ࢦఆͨ͠ϋΠύϥͷΈ߹ΘͤͷʹԠ࣮ͯ͡ߦ
Slide 13
Slide 13 text
/27
جຊతͳ͍ํ
13
■ )ZESBͷϋΠύϥࣗಈอଘػೳ
● ࣮ߦ͝ͱͷઃఆ࣮ߦதͷग़ྗΛࣗಈͰอଘ͞ΕΔػೳ
● 0VUQVUTσΟϨΫτϦʹ࣮ߦ࣮ߦຖछʑͷઃఆϑΝΠϧ͕
ࣗಈอଘ
● อଘܗࣜͷՄಡੑ͕͘ϋΠύϥൺֱ͕Ͱ͖ͳ͍ʢࠨਤʣͨΊ
.-GMPX Λಋೖ͜͠ΕΛվળʢӈਤʣ
Slide 14
Slide 14 text
.-GMPX
Slide 15
Slide 15 text
/27
.-GMPXͷجຊతͳ͍ํ
15
■ .-GMPX ͱ
● ػցֶशϥΠϑαΠΫϧΛ࣮ݱ͢ΔΦʔϓϯιʔε
● )ZESB ͱΈ߹ΘͤϋΠύϥͷཧ อଘ ൺֱ͕༰қʹ
● ຊൃදͰ .-GMPX 5SBDLJOHΛ༻͍ͨϋΠύϥཧΛհ
■ .-GMPX 5SBDLJOH
● ػցֶशͳͲͷϋΠύϥͷϩΪϯά MPTTBDDVSBDZͳͲͷ
ϝτϦΫε ग़ྗϑΝΠϧͳͲͷཧΛิॿ͢Δ "1*Λఏڙ
● QJQͰΠϯετʔϧՄೳ
Slide 16
Slide 16 text
/27
جຊతͳ͍ํ
16
■ ϋΠύϥͷͱه
● .-GMPX ͕ఏڙ͢ΔϩΪϯάؔΛ༻͍ͯϋΠύϥΛهՄೳ
start_run()
runID の発行
log_param()
ハイパラの登録
log_metric()
メトリックの記録
log_artifact()
出力されたファイル等の記録
…
mlflow ui
localserver:5000でGUI
Slide 17
Slide 17 text
17
)ZESBͱ .-GMPX ͷ࣮ྫ
Slide 18
Slide 18 text
18
hydra.mainデコレータ
パラメータの登録
(log_params())
メトリックの登録
Slide 19
Slide 19 text
19
શࢼߦաఔ͕ࣗಈอଘ ൺֱՄೳ
MPTT BDDVSBDZ
Slide 20
Slide 20 text
/27
)ZESB.-GMPX ·ͱΊ
20
■ )ZESB
● 'BDFCPPL"*3FTFBSDI͕ެ։͍ͯ͠Δύϥϝʔλཧπʔϧ
● ίϚϯυϥΠϯ͔ΒઃఆΛෳมߋ ࣮ߦՄೳ
■ .-GMPX
● ػցֶशͷ࣮ݧཧΛࣗಈͰߦ͏πʔϧ
● (6*্Ͱύϥϝʔλͷҧ͍ʹΑΔ݁Ռͷൺֱ͕༰қʹՄೳ
■ )ZESB.-GMPX 0QUVOB
● )ZESBͷϓϥάΠϯΛར༻ͨ͠ 0QUVOB ͷಋೖํ๏Λղઆ
Slide 21
Slide 21 text
0QUVOB
Slide 22
Slide 22 text
/27
0QUVOB ͷಋೖ
22
■ 0QUVOB ͱ
● ΦʔϓϯιʔεͷϋΠύϥࣗಈ࠷దԽϑϨʔϜϫʔΫ
● ϋΠύϥͷʹؔ͢ΔࢼߦࡨޡΛࣗಈԽ
● ༏ΕͨੑೳΛൃش͢ΔϋΠύϥͷΛࣗಈతʹൃݟ
■ )ZESB .-GMPX 0QUVOB
● )ZESBͷ 0QUVOB 4XFFQFSϓϥάΠϯΛ༻͢Δ͜ͱͰ
)ZESBͰઃఆͨ͠มͷ୳ࡧΛίϚϯυϥΠϯ͔Β࣮ࢪՄೳ
● ࠷దԽ͞ΕΔมͱ݅ΛίϚϯυϥΠϯ͔ΒมߋՄೳ
Slide 23
Slide 23 text
/27
ઃఆϑΝΠϧͷՃ
23
)ZESBͷઃఆϑΝΠϧ0QUVOB ʹؔ͢Δ
۩ମతͳઃఆ߲ΛՃͰॻ͖͜Ή͚ͩ
ࡉ͔ͳ 0QUVOB ͷઃఆ߲ΛมߋՄೳ
l EJSFDUJPO ධՁؔΛ࠷খԽ PS࠷େԽ
l O@USJBMT୳ࡧճͷઃఆ
l /@KPCTฒྻϫʔΧʔͷ
l ʜ
Slide 24
Slide 24 text
/27
NBJOؔͰͷมߋ
24
● σίϨʔλͰͨؔ͠ͷฦΓΛ࠷దԽ͢Δతมʹઃఆ
● ҎԼͷίʔυ BDDVSBDZΛ࠷େԽ͍ͨ͠߹ͷྫ
Slide 25
Slide 25 text
/27
୳ࡧൣғͷࢦఆ
25
● ίϚϯυϥΠϯ͔Β࠷దԽ͍ͨ͠ม͓ΑͼൣғΛࢦఆ
● ҎԼͰ PQUJNJ[FS ͷֶशͱϞσϧͷϊʔυΛ୳ࡧ
○ DIPJDFΧςΰϦܕͷมม͞ΕΔͨΊ PQUJNJ[FS ͷ
ֶश छྨ୳ࡧ͞ΕΔ
○ SBOHF ܕͷมม͞ΕΔͨΊ NPEFMOPEF ͕
<
>ͷൣғ͔ͭͷ݅Ͱ୳ࡧ͞ΕΔ
○ ଞʹ༷ʑͳʹରԠ͍ͯ͠Δ͕͜͜ͰׂѪ
Slide 26
Slide 26 text
/27
.-GMPXͰͷՄࢹԽ
26
● 0QUVOB Ͱ୳ࡧ͞ΕͨϋΠύϥͷ͓ΑͼతؔͷΛ
.-GMPX Ͱߏஙͨ͠ϩʔΧϧαʔόʔ্Ͱ֬ೝՄೳ
Slide 27
Slide 27 text
/27
૯·ͱΊ
27
■ )ZESB.-GMPX 0QUVOB
● ֶश࣌ʹࡶʹͳΓ͕ͪͳύϥϝʔλཧͷܾఆ൛
● )ZESBͱ 0QUVOB ͰύϥϝʔλΛ༰қʹมߋɾ୳ࡧ͠
.-GMPX ͰશύϥϝʔλΛҰݩཧ
■ ͞Βʹֶͼ͍ͨํʹ
● ,FESP8PSLGMPXͷύΠϓϥΠϯཧπʔϧ
○ )ZESB.-GMPX 0QUVOB ,FESP
○ ΑΓ࠶ݱੑͷ͋Δ͍ճ͠Λҙࣝͨ͠ίʔυʹ
https://github.com/quantumblacklabs/kedro
Slide 28
Slide 28 text
/27
ࢀߟࢿྉ
28
● IUUQTDZCFSBHFOUBJCMPHSFTFBSDI
● IUUQTZNZNIBUFOBCMPHDPNFOUSZ
● IUUQT[FSFCPNIBUFOBCMPHDPN)ZESB
● IUUQTTQFBLFSEFDLDPNDIDLTPLYJBPTBLVTIJNFUFEB
LJLVZVUFSVNMPQT