Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataE...

Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715

Data Engineering Study #1 の発表資料です。
https://forkwell.connpass.com/event/179786/

当日の動画はYoutubeで閲覧可能です。
https://www.youtube.com/watch?v=hFYNuuAaiTg

参考文献
『Software Design (ソフトウェアデザイン) 2020年7月号』
https://amzn.to/30YueL7
『データマネジメントが30分でわかる本』
https://amzn.to/3fmz8Gw

yuzutas0

July 15, 2020
Tweet

More Decks by yuzutas0

Other Decks in Technology

Transcript

  1.  8&#ʹެ։ࡁΈͰ͢%BUB&OHJOFFSJOH4UVEZ ɹࡱӨ΍ϝϞ͸ෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕ͹ͱࢥ͍·͢ɻ ొஃऀͷݸਓతݟղͰ͢ ɹॴଐ૊৫΍୲౰Ҋ݅ͷݟղΛ୅ද͢Δ΋ͷͰ͸͋Γ·ͤΜɻສ͕Ұɺෆշʹײͤͯ͡͞͠·ͬͨ৔߹ɺ ɹશͯొஃऀຊਓͷ੹೚ʹΑΔͱ͜ΖͰ͢ͷͰɺొஃऀຊਓʹ௚઀͓໰͍߹Θ͍͚ͤͨͩΔͱ޾͍Ͱ͢ɻ  μϛʔ৘ใΛަ͍͑ͯ·͢ ɹέʔεελσ Ο͸ෳ਺اۀͷࣄྫΛ౿·͑ͨμϛʔ৘ใͰ͢ɻ

    ɹಛఆاۀͷ৘ใެ։΍শࢍɾ൷൑Λҙਤ͢Δ΋ͷͰ͸͋Γ·ͤΜɻ  ༻ޠ΍πʔϧͷ঺հ͸ݫີͰ͸͋Γ·ͤΜ ɹࣗ͝਎΍ॴଐνʔϜͰͷཧղɾղऍ͕঺հ಺༰ͱҟͳΔ৔߹͸ɺదٓಡΈସ͍͚͑ͯͨͩΔͱ޾͍Ͱ͢ɻ εϥΠυຕNJO ɹؤுͬͯ෇͍͖͍ͯͯͩ͘͞ɻԿ͔ͭͰ΋࣋ͪؼ͍͚ͬͯͨͩΕ͹ͱࢥ͍·͢ɻ ɹ໔੹ɾ஫ҙࣄ߲
  2.  ɹొஃऀ 4IP:PLPZBNB !ZV[VUBT    1Z$PO+1ϕεττʔΫΞϫʔυ༏ल৆ ʮ1ZUIPOͱ#JH2VFSZʹΑΔ෼ੳج൫ͷ%FW0QTʯ 

    %FWFMPQFS`T4VNNJUՆΞϯέʔτຬ଍౓Ґ ʮࣄۀͷάϩʔεΛࢧ͑Δ%BUB0QTͷݱ৔ʯ !*5࿈ࡌهࣄ ʮ։ൃݱ৔ʹσʔλจԽΛਁಁͤ͞Δσʔλج൫େղ๤ʯ ,JOEMFਓؾ౓ϥϯΩϯάҐ ೥݄೔  ʰσʔλϚωδϝϯτ͕෼ͰΘ͔Δຊʱ
  3.  ɹσʔλج൫ਓࡐ΁ͷ஫໨ धཁ l z ฏۉ೥ऩͷߴ͍৬छ͸…(தུ)… ʮData Warehouse ArchitectʯͰ 15ສ4800υϧʢ1702ສ8000ԁʣ

    ITۀքͰฏۉ೥ऩͷߴ͍৬छ͸ιϑτ΢ΣΞΤϯδχΞ ϦϯάϚωʔδϟɺσʔλ΢ΣΞϋ΢εΞʔΩςΫτɺ ιϑτ΢ΣΞ։ൃϚωʔδϟͳͲɻถGlassdoor https://www.publickey1.jp/blog/18/itglassdoor.html
  4.  ɹސ٬ͷͨΊɿσʔλ׆༻ͰՁ஋Λఏڙ͢Δ ϓϩμΫτ Ϣʔβʔ ސ٬ %#ɾϩά ࢪࡦɾۀ຿ ૊৫ԣஅ ౷߹σʔλ FH%8)

    ऩू సૹ %BUB0QTʹ͓͍ͯ ࠷େԽ͢΂͖໨తม਺ ͜ͷαΠΫϧͰ σʔλ͕ॆ࣮͢Δͱ ΑΓޮՌ͕ߴ·Δ ׆༻ Ձ஋
  5.  ɹݱ৔ͷͨΊɿૉૣ͘1%$"Λճ͢ ෼ੳऀ %BUB ͱݱ৔ 0QT ͕ԕ͍ͱɺ࢓༷೺ѲʹखؒऔΔ վળҊ͕ෲམͪ͞Εͳ͍ ɹɹσʔλ࢓༷ʹৄ͍͠ গͳ͘ͱ΋ௐࠪ͠΍͍͢

    ݱ৔୲౰ऀ͕اըɾܭଌΛߦ͏͜ͱͰ ɹɹɾલޙ޻ఔͷϦʔυλΠϜΛ୹ॖͰ͖Δ ɹɹɾଌఆ݁ՌΛվળΞΫγϣϯʹܨ͛ΒΕΔ ੡଄ɾ ࡞ۀ ઃܭ ࢼݧɾ ݕূ ϦϦʔε ޮՌ ଌఆ ཁ݅ ఆٛ ཁٻ ੔ཧ طʹ΍͍ͬͯΔ ෼ੳཁٻ ϩάཁ݅ ܭଌ ΞΠσΞ
  6. ࣗ෼ʹͱͬͯͷϕετʺଞਓʹͱͬͯͷϕετ ൃදऀ͕ώΞϦϯάͨ͠ͱ͖ͷճ౴͸ݟࣄʹόϥόϥ  ɹద੾ͳ7JFX͸෦ॺ΍໾ׂʹΑͬͯҟͳΔ Ϛʔέλʔ ΞφϦετ ϓϩσϡʔαʔ ΤϯδχΞ &YDFM 

    5BCMFBV  3FEBTI  +VQZUFS/PUFCPPL  ؾܰʹ਺ࣈΛม͑ͯ γϛϡϨʔγϣϯ ߴՁ֨ɾߴػೳ ෼ੳཁٻʹରԠ 42-͕ॻ͚Δͻͱ ͓खܰར༻ (JUͰίʔυ؅ཧ ϓϩάϥϜͷԸܙ
  7.  ɹ૚ߏ଄ʹ͓͚ΔͭͷྲྀΕ σʔλϚʔτ ༻్ಛԽ σʔλ΢ΣΞϋ΢ε υϝΠϯ஌ࣝ σʔλϨΠΫ ݩσʔλ σʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕ ࣄۀ΍γεςϜͷ

    શσʔλΛίϐʔ͢Δ μογϡϘʔυ΍ ϨϙʔτͱରʹͳΔ ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕ ूܭɾ෼ੳύλʔϯΛ੔ཧ ˺සग़σʔλ ᶃ ᶄ ᶅ ᶃ ᶃ ᶄ
  8.  ɹαʔϏεϨϕϧͷ߹ҙ ɾ෦ॺ΍༻్͝ͱʹ҉໧తʹظ଴͞Ε͍ͯΔ඼࣭Λચ͍ग़͢ ɾ඼࣭໨ඪʹ͍ͭͯؔ܎ऀͱ߹ҙ͢Δ ྫ ༻్ ໿ଋ૬ख ࿈བྷઌ ར༻σʔλ ظ଴඼࣭

    ະୡ࣌ͷӨڹൣғ  ೔࣍ Ϩϙʔτ Ϛʔέλʔ 4MBDL EBJMZ@LQJ #JH2VFSZͷ ച্ςʔϒϧ ຖӦۀ೔ͷ࣌·Ͱʹ ܽଛͳ͘લ೔ച্͕ Ϩϙʔτ͞ΕΔ͜ͱ ച্ঢ়گʹԠͨ͡ ࢪࡦ͕ଧͯͳ͘ͳΔ ʢػձଛࣦʣ  ʜ ʜ ʜ ʜ ʜ ʜ  ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ
  9.  ɹఆظతʹݟ௚͢ ৼΓฦΓϛʔςΟϯάͰݱঢ় "T*T ͱظ଴ 5P#F Λൺ΂Δ 8IBU ԿΛ͢Δ͔ εϓϦϯτ

    ϨϏϡʔ Ͳ͏΍ͬͯ͢Δ͔ )PX εϓϦϯτ ϓϥϯχϯά Ϩτϩ εϖΫςΟϒ σΠϦʔ εΫϥϜ σΠϦʔ εΫϥϜ σΠϦʔ εΫϥϜ σΠϦʔ εΫϥϜ σΠϦʔ εΫϥϜ
  10.  ɹͭͷٕज़ཁૉ ,JOUPOF .Z42- &NCVML %BUB4UVEJP ݩσʔλ #*πʔϧ &5- %8)

    "JSqPX ϫʔΫϑϩʔΤϯδϯ ˞ଞʹ΋%BUBͷ1SFQBSBUJPO΍$BUBMPHʹಛԽͨ͠πʔϧ͕͋Γ·͢ #JH2VFSZ ૝ఆߏ੒ྫ
  11.  ɹ#*πʔϧͷબఆྫ ؍఺ બ୒ࢶͷྫ ΤϯλʔϓϥΠζ༻్Ͱ ༧ࢉΛ֬อ͍ͯ͠Δ ଟ͘͸ΦϯϓϨɾΫϥ΢υ྆ରԠ 5BCMFBV -PPLFS 2MJL

     5IPVHIU4QPU %0.0  .JDSPTPGU1PXFS#* 1301SFNJVN 3FEBTI .FUBCBTF  ,JCBOB (SBGBOB ແྉͰ࢖͍͍ͨ ແྉͷ৔߹  ࣗࣾߏங͕ඞཁ ߏஙෆཁ .JDSPTPGU1PXFS#* 'SFF  (PPHMF%BUB4UVEJP ࢖͍׳ΕͨπʔϧͰࡁ·͍ͤͨ OPU#* .JDSPTPGU&YDFM (PPHMF4QSFBETIFFU
  12.  ɹ%8)੡඼ͷબఆྫ ؍఺ બ୒ࢶͷྫ ॲཧن໛ ʙ̋̋1# ʙ̋̋5# Ϋϥ΢υ ϕϯμʔ TOPXqBLF

    (PPHMF#JH2VFSZ  "NB[PO3FETIJGU "NB[PO"UIFOB  "[VSF4ZOBQTF"OBMZUJDT 5SFBTVSF%BUB ΦϯϓϨ ߏஙՄೳ 5FSBEBUB 044 )BEPPQ )%'4 )JWF 1SFTUP $MJDL)PVTF ʙ਺ඦ(# OPU%8) 3%#.4Λ෼ੳ༻ʹߏங .Z42- 1PTUHSF42-  &-,ελοΫ &MBTUJDTFBSDI -PHTUBTI ,JCBOB ʙ਺े.#ɹ OPU%8) 4QSFBETIFFU΍&YDFMΛ%#୅ΘΓʹ࢖͏
  13.  ɹ&5- &YUSBDU5SBOTGPSN-PBE  πʔϧͱ͸ σʔλͷநग़ɾม׵ɾ֨ೲΛߦ͏πʔϧ ྫɿϓϥάΠϯͰ༷ʑͳσʔλΛసૹͰ͖Δ&NCVML JO UZQFNZTRM IPTU)045@/".&

    VTFS64&3@/".& QBTTXPSE1"44803% EBUBCBTF%"5"#"4&@/".& UBCMFQVSDIBTF TFMFDUJE VTFS@JE UJUMF DPOUFOUT DSFBUFE@BU VQEBUFE@BU PVU UZQFCJHRVFSZ BVUI@NFUIPEKTPO@LFZ KTPO@LFZpMF KTPO QBUI@QSFpYUNQ pMF@FYUDTWH[ TPVSDF@GPSNBU$47 QSPKFDU#2@130+&$5 EBUBTFUQPTUBQQ@@EBUBMBLF@@NZTRM BVUP@DSFBUF@UBCMFUSVF TDIFNB@pMFBSUJDMFKTPO GPSNBUUFS\UZQFDTW DIBSTFU65' EFMJNJUFS  IFBEFS@MJOFGBMTF^ JO PVU
  14.  ɹ&5-πʔϧͷબఆྫ ؍఺ બ୒ࢶͷྫ ఆظόον ෼ຖ࣮ߦՄೳΛؚΉ  ͍ΘΏΔ&"*ΛؚΉ ΦϯϓϨ ߏஙՄೳ

    ίʔυ &NCVML ը໘ "45&3*"8"31 "MUFSZY $%BUB4ZOD  *OGPSNBUJDB1PXFS$FOUFS 5BMFOE1MBUGPSN Ϋϥ΢υ ϕϯμʔ ίʔυ "84(MVF %BUBCSJDLT ը໘ USPDDP 3FDLPOFS "[VSF%BUB'BDUPSZ ετϦʔϛϯά ϝοηʔδΩϡʔؚΉ Ϋϥ΢υϕϯμʔ "NB[PO,JOFTJT "844/4 424 -BNCEB  $MPVE1VC4VC "[VSF4USFBN"OBMZUJDT ΦϯϓϨߏஙՄೳ 'MVFOUE "QBDIF,BGLB -PHTUBTI "QBDIF4UPSN ྆ରԠ Ϋϥ΢υϕϯμʔ $MPVE%BUBqPX  ΦϯϓϨ ߏஙՄೳ ෼ࢄॲཧ'8 "QBDIF4QBSL "QBDIFCFBN ϕʔεݴޠ 42- 1ZUIPO +BWB 4DBMB (P BXL
  15.  ɹϫʔΫϑϩʔΤϯδϯͷબఆྫ ϫʔΫϑϩʔΤϯδϯɾδϣϒεέδϡʔϥػೳΛ࣋ͭ&5-πʔϧ΋͋Δ σϑΝΫτෆࡏ͕࣮৘ γΣΞ͸"JSqPXͷΑ͏ʹݟ͑Δ͕ʜ  ͲΕ΋Ϋη͕͋ΔͷͰखʹೃછΉ΍ͭΛબΜͰ͍ͩ͘͞ ؍఺ બ୒ࢶͷྫ ίʔυ؅ཧ

    "QBDIF"JSqPX -VJHJ %JHEBH "[LBCBO (6*؅ཧ +FOLJOT ࠷ۙ͸ίʔυ؅ཧػೳ͕௥Ճ͞Ε͍ͯΔ 3VOEFDL ͦͷଞ OPUϫʔΫϑϩʔΤϯδϯ NBLF DSPO "SHP +1 ༗ྉ
  16.  ɹ$BTFγεςϜߏ੒ Ϣʔβʔ ("& 8FC"1* 4UBDL%SJWFS -PHHJOH ($4 ΞϓϦ -PH

    #JH2VFSZ FYUFSOBM UBCMF 7JFX UBCMF %BUB4UVEJP Ӧۀ ޿ࠂओ 4UBDL%SJWFS-PHHJOH͸$MPVE-PHHJOHʹɺ(PPHMF%BUB4UVEJP͸ (PPHMF%BUB1PSUBMʹ໊শ͕มߋ͞Ε͍ͯ·͢ɻ ࢿྉʹΑͬͯݺͼ໊͕ҟͳΔͷͰɺ͝஫ҙ͍ͩ͘͞ɻ σʔλ ϨΠΫ σʔλ Ϛʔτ
  17.  ɹ$BTFղઆ ΞϓϦͱ࿈ܞ͢Δ8FC"1*͸(PPHMF"QQT&OHJOF ("& Ͱӡ༻ ˠΞΫηεϩά͸ඪ४Ͱ4UBDL%SJWFS-PHHJOHʹྲྀΕΔ  ը໘ૢ࡞ͰҎԼΛઃఆ ɾ4UBDL%SJWFS-PHHJOHΤΫεϙʔτઃఆͰϩάΛετϨʔδ ($4

    ʹग़ྗ ɾ#JH2VFSZ͕($4ϑΝΠϧΛࢀর͢Δ&YUFSOBM5BCMFΛઃఆ σʔλϨΠΫ  ɾ#JH2VFSZͷ7JFXςʔϒϧΛઃఆͯ͠42-ͰूܭॲཧΛ࡞੒ σʔλϚʔτ  ɾσʔλϚʔτΛࢀরͯ͠(PPHMF%BUB4UVEJPͰμογϡϘʔυΛදࣔ  Ӧۀ୲౰͕঎ஊͷ৔ͰμογϡϘʔυΛݟͤͯ޿ࠂओʹޮՌΛใࠂ
  18.  ɹ$BTFղઆ ҎԼͷߏ੒Ͱ#JH2VFSZʹσʔλΛ࿈ܞ ɾఆظతͳ&5-ॲཧɿ+FOLJOT͕δϣϒΛ࣮ߦ ɾ8FC"1*ఏڙπʔϧɿ1ZUIPOεΫϦϓτͰ)551 T ϦΫΤετ ɾ3%#.4΍ΞΫηεղੳπʔϧɿ&NCVMLΛར༻ͨ͠໷ؒόονͷ࿈ܞ ɾαʔόϩάɿ'MVFOUEΛར༻ͨ͠ετϦʔϛϯάͷ࿈ܞ 

    ར༻ऀ͸#*πʔϧܦ༝Ͱ#JH2VFSZʹΞΫηε ɾϚʔέςΟϯά୲౰ɿը໘্Ͱ$47Λμ΢ϯϩʔυͯ͠&YDFMͰूܭ ɾσʔλΞφϦετɿ5BCMFBVͰσʔλ෼ੳ ɾػցֶशΤϯδχΞɿ+VQZUFS/PUFCPPLͰQBOEBTSFBE@HCR
  19.  ɹ$BTFେྔσʔλͷϝΨϕϯνϟʔ Ϣʔβʔ ΍ΓͱΓ Ϣʔβʔ ౤ߘ Ӿཡ Ӿཡ ౤ߘ Ӿཡ

    Ӿཡ ౤ߘ ౤ߘ ౤ߘ ౤ߘ ΍ΓͱΓ ΍ΓͱΓ Ӿཡ Ӿཡ Ϣʔβʔ Ϣʔβʔ Ϣʔβʔ Ϣʔβʔ
  20.  ɹ$BTFγεςϜߏ੒ %# 3FQMJDB%# 3FBE0OMZ "OPOZNPVT%BUB "11 $MPVE$PNQPTFS %"(+PC.BOBHF #JH2VFSZ

    -PPLFS "OBMZTU $4 .BSLFUFS $MPVE%BUBqPX "VUP4DBMFE&5- %VNQ'JMFT 5SBOTGPSNFE'JMFT (PPHMF$MPVE4UPSBHF ($4 &YQPSU%VNQ'JMF %"(3VOT +0#3VOT &YUSBDU H[ 5SBOTGPSN -PBE H[ &YUSBDU TDIFNBKTPO &YUSBDU H[ CRMPBE MPPLEBUB
  21.  ɹ$BTFղઆ $MPVE$PNQPTFS͸($1Ͱ"JSqPXΛಈ͔ͤΔϓϩμΫτϫʔΫϑϩʔΤϯδϯ $MPVE%BUBqPX͸ॊೈͳσʔλॲཧϓϩάϥϜΛ࣮ߦͰ͖ΔϓϩμΫτ&5-πʔϧ ʲʙʳ%#͔Βఆظతʹ%VNQϑΝΠϧ H[ ͱςʔϒϧఆٛ TDIFNBKTPO Λ ɹɹɹɹετϨʔδ

    ($4 ʹग़ྗͯ͠ɺ$MPVE$PNQPTFSʹ஌ΒͤΔɻ ʲʳ$MPVE$PNQPTFS͕$MPVE%BUBqPXʹରͯ͠+0#࣮ߦΛࢦࣔ͢Δɻ ɹɹ%8) #JH2VFSZ ʹಡΈࠐΊΔΑ͏ʹɺϑΝΠϧͷܗࣜΛॻ͖׵͑Δɻ ʲʙʳ$MPVE%BUBqPX͕%VNQϑΝΠϧ H[ ΛऔಘˠՃ޻ˠอଘ͢Δɻ ʲʙʳσʔλͷม׵͕׬ྃͨ͠Βɺ$MPVE$PNQPTFS͸($4͔Β ɹɹɹɹม׵ޙͷϑΝΠϧͱςʔϒϧఆٛΛऔಘ͠ɺ#JH2VFSZʹอଘ͢Δɻ ʲʳ#JH2VFSZʹอଘ͞ΕͨσʔλΛར༻ऀ͕-PPLFSͰࢀর͢Δɻ