Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ基盤の3分類と進化的データモデリング #DPCT / 20190213

yuzutas0
February 13, 2019

データ基盤の3分類と進化的データモデリング #DPCT / 20190213

Data Pipeline Casual Talk (データパイプラインに関する知見をカジュアルに語る会) の発表資料です。
https://dpct.connpass.com/event/114040/

データ基盤の3分類と進化的データモデリング - 下町柚子黄昏記
http://yuzutas0.hatenablog.com/entry/2018/12/02/180000

yuzutas0

February 13, 2019
Tweet

More Decks by yuzutas0

Other Decks in Technology

Transcript

  1. σʔλج൫ͷ3෼ྨͱ
 ਐԽతσʔλϞσϦϯά 2019-02-13
 Data Pipeline Casual Talk #DPCT @ΤϜεϦʔ
 presented

    by @yuzutas0 
 https://www.pexels.com/photo/grayscale-photo-of-metal-building-185039/  
  2. ݁࿦ʢ࠶ܝ͠·͢ʣ   .BSU ར༻ऀ޲͚*' 㲈σʔλϚʔτ 8BSFIPVTF υϝΠϯ஌ࣝΛද͢σʔλ 㲈σʔλ΢ΣΞϋ΢ε 4PVSDF

    ݩσʔλͷίϐʔ 㲈σʔλϨΠΫ σʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕ ࣄۀ΍γεςϜͷ
 શσʔλΛίϐʔ͢Δ μογϡϘʔυ΍
 ϨϙʔτͱରʹͳΔ ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕ ूܭɾ෼ੳύλʔϯΛ੔ཧ
 㲈8*5)۟ͷසग़σʔλ ᶃ ᶄ ᶅ ᶃ ᶃ ᶄ
  3.   ɹσʔλج൫ͷ3෼ྨ σʔλج൫ͷ෼ྨ Ґஔ෇͚ ʢҰൠతͳʣٕज़ཁૉ σʔλϨΠΫ ݩσʔλΛͦͷ··
 ίϐʔͨ͠΋ͷ 4ͳͲ

    σʔλ
 ΢ΣΞϋ΢ε υϝΠϯ஌ࣝΛ൓өͨ͠΋ͷ )BEPPQͳͲ σʔλϚʔτ ಛఆ༻్޲͚ʹ
 Ճ޻ɾ੔ཧͨ͠΋ͷ 5BCMFBVͳͲ
  4.   ɹɹσʔλϨΠΫʢData Lakeʣᶄ ɾͨͩͷίϐʔͰ͋Δ͜ͱ͕ॏཁ
 
 ɾ΋͠Ճ޻ࡁΈσʔλ͔͠࢒͍ͬͯͳ͚Ε͹ɺޙͰʮ͜ͷՃ޻ํ๏͸ؒҧ͍ͩʯ
 ɹʮผͷ੾ΓޱͰ࠶ूܭ͍ͨ͠ʯͱ͍͏έʔεʹରԠͰ͖ͳ͍
 
 ɾ

    σʔλϨΠΫʹݩͷঢ়ଶ͕࢒͍ͬͯΕ͹ɺௐࠪ΍ϩδοΫमਖ਼͕༰қʹͳΔ
 
 ɾαΠΤϯςΟετ΍MLΤϯδχΞͳΒɺத్൒୺ʹ༻ҙ͞ΕͨՃ޻ࡁσʔλ͕
 ɹ࢖͍෺ʹͳΒͣɺݩσʔλΛدӽͤͱݴ͍ͨ͘ͳͬͨ͜ͱ͸ଟʑ͋Δ͸ͣ
  5.   ɹɹσʔλϚʔτʢData Martʣᶅ ɾʢҰൠతͳٕज़ཁૉͱͯ͠͸ʣRe:dash΍TableauͳͲͷBIπʔϧΛ
 ɹ࢖͏͜ͱ͕ଟ͍
 
 ɾམͱͨ͠σʔλΛ࢖ͬͯExcelͰෳࡶͳूܭΛߦ͍ͬͯΔͷͰ͋Ε͹ɺ
 ɹͦͷExcelγʔτ͕ͦ͜ਅͷσʔλϚʔτͩͱݴ͑Δ ɹɹ

    ※ΤϯδχΞ͕Ͳ͏γεςϜΛ࡞Ζ͏͕ɺσʔλϞσϧͷ࣮ଶ͸Excelଆʹଘࡏ͢Δ͜ͱʹͳΔ
 ɹɹ ※஫໨͢΂͖͸෺ཧઃܭͰ͸ͳ͘࿦ཧઃܭ / BIπʔϧ͕ϩδοΫΛ࣋ͭͳΒͦ͜ʹ஫໨͢Δ
 ɹɹ ※ར༻ऀͷπʔϧʹ࠷దԽ͞Ε͕ͪʢʹίϯ΢ΣΠͷ๏ଇʣ
  6. ͜ͷ3෼ྨ͸σʔλ׆༻ͷۀ຿ϑϩʔͷͲ͔͜ʹଘࡏ͢Δ   ɹσʔλج൫ͷ3෼ྨʢ࠶ܝʣ σʔλج൫ͷ෼ྨ Ґஔ෇͚ ʢҰൠతͳʣٕज़ཁૉ σʔλϨΠΫ ݩσʔλΛͦͷ··
 ίϐʔͨ͠΋ͷ

    4ͳͲ σʔλ
 ΢ΣΞϋ΢ε υϝΠϯ஌ࣝΛ
 ൓өͨ͠΋ͷ )BEPPQͳͲ σʔλϚʔτ ಛఆ༻్޲͚ʹ
 Ճ޻ɾ੔ཧͨ͠΋ͷ 5BCMFBVͳͲ
  7. ͜Εͩͱอक؍఺͕ܽ೗͍ͯ͠Δ   ɹٕज़ཁૉΛ෼͚Δͷ͸Ξϯνύλʔϯ σʔλج൫ͷ෼ྨ Ґஔ෇͚ ʢҰൠతͳʣٕज़ཁૉ σʔλϨΠΫ ݩσʔλΛͦͷ··
 ίϐʔͨ͠΋ͷ

    4ͳͲ σʔλ
 ΢ΣΞϋ΢ε υϝΠϯ஌ࣝΛ
 ൓өͨ͠΋ͷ )BEPPQͳͲ σʔλϚʔτ ಛఆ༻్޲͚ʹ
 Ճ޻ɾ੔ཧͨ͠΋ͷ 5BCMFBVͳͲ
  8. ૚ߏ଄ʹ͓͚ΔͭͷྲྀΕ   .BSU ར༻ऀ޲͚*' 㲈σʔλϚʔτ 8BSFIPVTF υϝΠϯ஌ࣝΛද͢σʔλ 㲈σʔλ΢ΣΞϋ΢ε 4PVSDF

    ݩσʔλͷίϐʔ 㲈σʔλϨΠΫ σʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕ ࣄۀ΍γεςϜͷ
 શσʔλΛίϐʔ͢Δ μογϡϘʔυ΍
 ϨϙʔτͱରʹͳΔ ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕ ूܭɾ෼ੳύλʔϯΛ੔ཧ
 㲈8*5)۟ͷසग़σʔλ ᶃ ᶄ ᶅ ᶃ ᶃ ᶄ
  9.   ɹਐԽతσʔλϞσϦϯά ɾσʔλج൫ʹ͓͚ΔσʔλϞσϦϯάઃܭͷಛ௃Λ཈͑Δ 
 ɾσʔλϞσϧͷ෼཭ͱ݁߹Λ௨ͯ͠υϝΠϯ஌ࣝΛ൓ө͢Δ͜ͱ͕େࣄ
 
 ɾσʔλϞσϧͷϨΨγʔԽΛ๷͙ / ରԠ͢ΔͨΊͷߟ͑ํ


    
 ɾཁ͢ΔʹʮγεςϜΛอक͠·͠ΐ͏ʯͱ͍͏࿩
 ɹɹɾ΍Δ͜ͱ͸ϦϑΝΫλϦϯάɺϦΞʔΩςΫςΟϯά
 ɹɹɾϞμϯͳݴ͍ํΛ͢ΔͱʮਐԽతΞʔΩςΫνϟʯతͳൃ૝
  10. σʔλϨΠΫɺσʔλ΢ΣΞϋ΢εɺσʔλϚʔτΛ
 શͯBigQueryͷσʔληοτͰ؅ཧ͢Δ   ɹྫɿBigQueryͰ3૚ߏ଄Λ؅ཧ ɹɹɹɹɹɹBigQuery - Google Cloud Platform

    Source
 ݩσʔλͷίϐʔ Warehouse
 ओཁࢦඪɾසग़σʔλ
 தؒςʔϒϧ Mart
 ֤πʔϧ͔Β௚઀ࢀর
 ඇٕज़ऀ޲͚IF
  11.   ɹSQL on ύΠϓϥΠϯ Ճ޻ॲཧ͸શͯSQLϑΝΠϧʹدͤΔ + ϫʔΫϑϩʔΤϯδϯͰґଘ؅ཧ 
 ɾ໋໊نଇσʔληοτ

    + ΦϒδΣΫτࢦ޲SQL → grepͰӨڹൣғΛચ͍ग़ͤΔˍमਖ਼Ͱ͖Δ
 ɾϫʔΫϑϩʔΤϯδϯͰલޙؔ܎ΛՄࢹԽ͢Ε͹ɺਓ͕ؒ௚ײతʹಛఆͰ͖Δ ɹɹɹྫ:Cloud Composer (GCP Full Managed Airflow)
  12.   ɹ·ͱΊɿਐԽతσʔλϞσϦϯάͷ࣮ફ σʔλج൫ͷ3छผΛ͍͔ʹϚωδϝϯτ͢Δ͔ ᶃҟͳΔٕज़ཁૉ΍νʔϜͰ؅ཧ͢Δʁ Noʂ
 → ͜Ε·Ͱͷৗ౟खஈ
 → σʔλϞσϧ͕Ԛછ͞ΕΔˍอकੑ͕ܽ೗͠΍͍͢

    
 ᶄٕज़ཁૉΛدͤΔʁ Yesʂ
 → ϦϑΝΫλϦϯά͠΍͍͢ʢʹܧଓਐԽͤ͞΍͍͢ʣઃܭࢥ૝
 → ྫ͑͹ BigQuery + SQL + Composer ʹ౷Ұ͢Δ
  13.   ɹνʔϜͱΞʔΩςΫνϟ͸ॏཁ ɾԾʹΞφϦετνʔϜ͕TableauͰԣஅσʔλΛ੔ཧ͢Δ໾ׂΛ୲͏ͱʁ
 
 ɾTableauΛϝΠϯͰ࢖͏ΞφϦετʹͱͬͯ͸շదͳσʔλϞσϧʹͳΔ
 ɹɹɾ෼͔Γ΍͍͢μογϡϘʔυͰܦӦਞ΍Ϛʔέολʔ΋تͿ
 ɹɹɾԣஅσʔλΛ੔ཧͨ͠ؾ෼ʹͳΔ
 
 ɾػցֶशΤϯδχΞʹͱͬͯ͸࠷ѱͷσʔλϞσϧͱΠϯλʔϑΣʔε


    ɹɹɾະདྷᶃɿTableau Server͕ग़ྗͨ͠CSVΛऔಘ → σʔλΛՃ޻ͯ͠ར༻
 ɹɹɾະདྷᶄɿ΋͘͠͸ ΞφϦετνʔϜͷߏ૝Λແࢹ ͯ͠S3͔ΒσʔλΛҾ͖ൈ͘
 ɹɹɾ݁࿦ɿԣஅσʔλΛ੔ཧͰ͖͍ͯͳ͍ - ͨͩͷ “Big ball of mud”
  14.   ɹσʔλج൫ͷAsIs ผγεςϜͰ؅ཧ͢Δ͜ͱ͕ଟ͍ S3ʢϨΠΫʣ → Hadoopʢ΢ΣΞϋ΢εʣ → TableauʢϚʔτʣ 


    
 ैདྷͷίϯςΩετ͕എܠʹ͋Δ
 ɾ1౓࡞ͬͨΒऴΘΓ
 ɾҟͳΔ෦ॺͰ؅ཧ͢Δ
 ɾͦΕͧΕͷϨΠϠʔͰಘҙͳπʔϧʹدͤΕ͹ॳظߏங͕༰қʹͳΔ
  15. ݁࿦ʢ࠶ܝʣ   .BSU ར༻ऀ޲͚*' 㲈σʔλϚʔτ 8BSFIPVTF υϝΠϯ஌ࣝΛද͢σʔλ 㲈σʔλ΢ΣΞϋ΢ε 4PVSDF

    ݩσʔλͷίϐʔ 㲈σʔλϨΠΫ σʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕ ࣄۀ΍γεςϜͷ
 શσʔλΛίϐʔ͢Δ μογϡϘʔυ΍
 ϨϙʔτͱରʹͳΔ ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕ ूܭɾ෼ੳύλʔϯΛ੔ཧ
 㲈8*5)۟ͷසग़σʔλ ᶃ ᶄ ᶅ ᶃ ᶃ ᶄ
  16.   ɹࢀߟࢿྉ ੨໦ๆ࿠ʰ10೥ઓ͑Δσʔλ෼ੳೖ໳ɹSQLΛ෢ثʹσʔλ׆༻࣌୅Λੜ͖ൈ͘ʱ
 https://www.sbcr.jp/products/4797376272.html 
 ΫϦεɾόʔνϟϧʰϨΨγʔιϑτ΢ΣΞվળΨΠυʱ
 https://www.shoeisha.co.jp/book/detail/9784798145143 
 Neal

    Ford΄͔ʰਐԽతΞʔΩςΫνϟ ― ઈ͑ؒͳ͍มԽΛࢧ͑Δʱ
 https://www.oreilly.co.jp/books/9784873118567/ 
 ʮϏοάσʔλॲཧσʔλϕʔεͷશମ૾ͱ࢖͍෼͚2018೥versionʯby @fetarodc
 https://www.slideshare.net/tetsutarowatanabe/2018version-115735455