Tweet
Tweet

Slide 1

Slide 1 text

ػցֶश1+ͷσʔλऩूʹ͓͚Δ՝୊Λղܾ͢Δ σʔλج൫ͷऔ૊Έ ӬҪউҰ࿠!TIOBHBJ ίωώτϚϧγΣΦϯϥΠϯʮػցֶशɾσʔλ෼ੳʯ

Slide 2

Slide 2 text

ࣗݾ঺հ ओͳ׆ಈ "84΍Πϯϑϥؔ࿈Ͱͷొஃ͕ଟ͘ػցֶशΠϕϯτͰͷొஃ͸ճ໨ ίωώτΤϯδχΞϒϩάIUUQTUFDIDPOOFIJUPDPNBSDIJWFBVUIPSOBHBJT ίωώτגࣜձࣾɹςΫϊϩδʔਪਐGɹ Πϯϑϥ/σʔλɾػցֶश @shnagai ӬҪউҰ࿠

Slide 3

Slide 3 text

σʔλج൫Λ࡞Δ্Ͱɺ ಛʹػցֶश1+Ͱͷར༻ʹ͋ͨΓߟ͍͑ͯΔ͜ͱΛ࿩͠·͢ɻ

Slide 4

Slide 4 text

ػցֶशΛͱΓ·͘σʔλ෼ੳ؀ڥͷ՝୊ ۀ຿σʔλ Ϛελʔσʔλ ߦಈϩά Aͱ͍͏՝୊Λղͨ͘Ίʹ ߦಈϩάͱϚελʔσʔλΛ ֻ͚߹ΘͤͯϞσϧΛ࡞Δͧʂʂ

Slide 5

Slide 5 text

ػցֶशΛͱΓ·͘σʔλ෼ੳ؀ڥͷ՝୊ ۀ຿σʔλ Ϛελʔσʔλ ߦಈϩά σʔλ͕ͳ͍ͱԿ΋ग़དྷͳ͍ͷͰɺ ·ͣ͸ඞཁͳσʔλΛϩʔΧϧʹ࣋ͬͯ͘Δ

Slide 6

Slide 6 text

ػցֶशΛͱΓ·͘σʔλ෼ੳ؀ڥͷ՝୊ ۀ຿σʔλ Ϛελʔσʔλ ߦಈϩά ᶆσʔλ४උऴΘͬͨͷͰ ෼ੳͯ͠લॲཧͯ͠ϞσϦϯά͍ͯͧ͘͠ʂʂ ᶃԿ͔͠ΒͷखஈͰcsvμ΢ϯϩʔυ ϥΠϒϥϦ͔Β௚઀ࢀর ᶄԿ͔͠ΒͷखஈͰcsvμ΢ϯϩʔυ ϥΠϒϥϦ͔Β௚઀ࢀর ᶅखݩʹඞཁͳσʔλ͕ἧ͔ͬͨΒ ෼ੳ͠΍͍͢Α͏ʹpandasͰσʔλ੔ܗ

Slide 7

Slide 7 text

ࢼߦࡨޡͷ্ɺखݩͰྑͦ͞͏ͳϞσϧ͕ग़དྷͨʂʂ

Slide 8

Slide 8 text

1P$͢ΔͨΊʹຊ൪Ͱಈ͘Ϟσϧ࡞Δͧʂʂ

Slide 9

Slide 9 text

Ϟσϧ࡞੒ͷલʹఆظతͳσʔλऩू͕ඞཁ ۀ຿σʔλ Ϛελʔσʔλ ߦಈϩά ϞσϧΛ࡞Δલʹɺ ᶃᶄᶅͷσʔλऩूͱ੔ܗ͢ΔॲཧΛॻ͍ͯ ຊ൪/stgͰಈ͔͢ඞཁ͕͋Δ… ᶃԿ͔͠ΒͷखஈͰcsvμ΢ϯϩʔυ ϥΠϒϥϦ͔Β௚઀ࢀর ᶄԿ͔͠ΒͷखஈͰcsvμ΢ϯϩʔυ ϥΠϒϥϦ͔Β௚઀ࢀর ᶅखݩʹඞཁͳσʔλ͕ἧ͔ͬͨΒ ෼ੳ͠΍͍͢Α͏ʹpandasͰσʔλ੔ܗ

Slide 10

Slide 10 text

σʔλऩूͷॲཧ͸ߟ͑Δ͜ͱ͕ଟ͍ɻɻ ۀ຿σʔλ Ϛελʔσʔλ ߦಈϩά ͦΕͧΕͲͷݖݶͰΞΫηε͢Ε͹͍͍ͷ͔? ͲͷDBࢀর͢Ε͹͍͍ͷ͔ͳ? ऩू͕࣮֬ʹग़དྷΔΑ͏ʹΤϥʔϋϯυϦϯά΋͠ͳ͍ͱ େྔͷσʔλ݁߹͢Δͷʹେ͖ͳίϯϐϡʔτࢿݯ͕ඞཁ ᶃԿ͔͠ΒͷखஈͰcsvμ΢ϯϩʔυ ϥΠϒϥϦ͔Β௚઀ࢀর ᶄԿ͔͠ΒͷखஈͰcsvμ΢ϯϩʔυ ϥΠϒϥϦ͔Β௚઀ࢀর ᶅखݩʹඞཁͳσʔλ͕ἧ͔ͬͨΒ ෼ੳ͠΍͍͢Α͏ʹpandasͰσʔλ੔ܗ

Slide 11

Slide 11 text

σʔλऩूͷॲཧ͸ߟ͑Δ͜ͱ͕ଟ͍ɻɻ ۀ຿σʔλ Ϛελʔσʔλ ߦಈϩά ͦΕͧΕͲͷݖݶͰΞΫηε͢Ε͹͍͍ͷ͔? ͲͷDBࢀর͢Ε͹͍͍ͷ͔ͳ? ऩू͕࣮֬ʹग़དྷΔΑ͏ʹΤϥʔϋϯυϦϯά΋͠ͳ͍ͱ େྔͷσʔλ݁߹͢Δͷʹେ͖ͳίϯϐϡʔτࢿݯ͕ඞཁ ᶃԿ͔͠ΒͷखஈͰcsvμ΢ϯϩʔυ ϥΠϒϥϦ͔Β௚઀ࢀর ᶄԿ͔͠ΒͷखஈͰcsvμ΢ϯϩʔυ ϥΠϒϥϦ͔Β௚઀ࢀর ᶅखݩʹඞཁͳσʔλ͕ἧ͔ͬͨΒ ෼ੳ͠΍͍͢Α͏ʹpandasͰσʔλ੔ܗ खݩͰ࡞ͬͨσʔλΛఆظతʹߋ৽͍͚ͨͩ͠ͳͷʹ ѹ౗తʹߟྀ͢Δ͜ͱ͕ଟ͘πϥΠ

Slide 12

Slide 12 text

ࣗલͰॻ͘ͱେมͳσʔλऩू͸σʔλج൫Ͱٵऩ

Slide 13

Slide 13 text

ඞཁͳσʔλ͸લ΋ͬͯσʔλج൫Ͱऩू ۀ຿σʔλ Ϛελʔσʔλ ೔࣍ͰඞཁͳσʔλΛBigQueryʹసૹ DataLake ߦಈϩά ۀ຿σʔλ Ϛελʔσʔλ DataMart ML͔Βࢀর͢ΔϏϡʔ DataWarehouse ूܭσʔλ ຊ൪/stgͰͷϞσϧ࡞੒ ։ൃ؀ڥͰͷϞσϧ࡞੒

Slide 14

Slide 14 text

৽ͨʹσʔλऩूॲཧΛॻ͘ඞཁ͸ͳ͍ ۀ຿σʔλ Ϛελʔσʔλ ೔࣍ͰඞཁͳσʔλΛBigQueryʹసૹ DataLake ߦಈϩά ۀ຿σʔλ Ϛελʔσʔλ DataMart ML͔Βࢀর͢ΔϏϡʔ DataWarehouse ूܭσʔλ ຊ൪/stgͰͷϞσϧ࡞੒ ։ൃ؀ڥͰͷϞσϧ࡞੒ ։ൃத

Slide 15

Slide 15 text

໨ࢦ͍ͯ͠Δະདྷ w %8)ج൫Λ੔͑Δ͜ͱͰػցֶश1+ʹ͓͚Δσʔλऩूͷ՝୊Λղܾ w .-ΤϯδχΞ΍σʔλαΠΤϯςΟετ͸࠷΋Ձ஋Λൃشग़དྷΔ ϞσϦϯά΍νϡʔχϯάʹ஫ྗ w εϐʔσΟʔʹػցֶशͷ1P$Λճͤͯ݁Ռͱͯ͠੒ޭ֬౓Λ্͛Δ

Slide 16

Slide 16 text

͞ΒͳΔαʔϏε΁ͷػցֶश׆༻ͷ଍৔ΛݻΊΔͨΊʹ΋ σʔλج൫΋Ұॹʹҭ͍ͯͯ͘ 8F`SF)JSJOH