Data Pipeline Casual Talk (データパイプラインに関する知見をカジュアルに語る会) の発表資料です。 https://dpct.connpass.com/event/114040/
データ基盤の3分類と進化的データモデリング - 下町柚子黄昏記 http://yuzutas0.hatenablog.com/entry/2018/12/02/180000
σʔλج൫ͷ3ྨͱ ਐԽతσʔλϞσϦϯά2019-02-13 Data Pipeline Casual Talk #DPCT @ΤϜεϦʔ presented by @yuzutas0 https://www.pexels.com/photo/grayscale-photo-of-metal-building-185039/
View Slide
͜ͷεϥΠυWEBʹެ։ࡁΈͰ͢ #DPCT ɹࡱӨϝϞෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕͱࢥ͍·͢ɻ ͜ͷεϥΠυKKDʢצͱܦݧͱڳʣͰग़དྷ͍ͯ·͢ ɹ͝ΊΜͳ͍͞ɻ ઃܭͷώϯτΛఏڙ͢ΔͨΊͷࢿྉͰ͢ ɹʮ͕ࣗͲ͏ΞΫγϣϯΛม͑Δ͔ʯΛߟ͑ͳ͕Βฉ͍͍͚ͯͨͩΔͱخ͍͠Ͱ͢ɻ ɹಉ͡༻ޠͰݱϩʔϧ ( ΤϯδχΞ / ΞφϦετ ) Ͱղऍ͕ҧ͏͜ͱ͋Γ·͢ɻ ɹ͝ཧղ͍͚ͨͩΔͱ͍Ͱ͢ɻͳͷͰʮTableauσʔλϚʔτͳͷ͔ʯͷٞʹ͖߹͍·ͤΜɻɹҙɾ໔
1. ͡Ίʹ2. σʔλج൫ͷ3ྨ3. ࢲ͕ߟ͑Δσʔλج൫ͷఆٛ4. ࢲ͕ߟ͑Δʮ͋Δ͖ߏʯ5. ͓ΘΓʹɹΞδΣϯμ
ɹ@yuzutas0ɹɹ
ɹաڈͷࢿྉσʔλج൫ͷϊϋɾݟΛఏڙ͍ͯ͠·͢
ɹɹ
ʮΘΕΔσʔλج൫ʯ ͷ ཧઃܭ ʹ ඞཁͳߟ͑ํΛֶͿ※ٕज़બఆ։ൃମ੍ʹ࿈ಈ͠·͢ɹຊͷΰʔϧ
ɾྫɿʮച্ʯͷσʔλϞσϧΛͲ͜ͰͲ͏ཧ͢Δ͔ʁ ɹɹɾDBʹʮߪೖऀidʯʮൢചऀidʯʮidʯʮചങֹۚʯetc…ʢܭࢉલͷߪങใ ≠ച্?ʣ ɹɹɾ࣍μογϡϘʔυʹʮx࣠:ʯʮy࣠:SUM(ֹۚ)ʯʢଞͷΧϥϜදࣔ͠ͳ͍ ≠ച্?ʣ ɾࠓճཧઃܭΛΓޱʹͯ͠ɺཧઃܭͷ͋Δ͖૾Λߟ͑Δɹཧઃܭ is Կʁ (͜ͷࢿྉʹ͓͚Δݺͼํ)ཧઃܭγεςϜߏʢ)BEPPQͱ͔ʣཧઃܭσʔλϞσϧʢച্ςʔϒϧͱ͔ʣ
σʔλج൫ ͷ ϓϩμΫτϚωʔδϟʔ ͳΒͼʹ ςοΫϦʔυ ※͠1ਓΤϯδχΞମ੍ͳΒɺࣄ্࣮ͷPdM & TL ݉ͳͷͰ ͋ͳ͕ͨλʔήοτͱͳΓ·͢ʂɹఆ͢Δର
݁ʢ࠶ܝ͠·͢ʣ.BSUར༻ऀ͚*'㲈σʔλϚʔτ8BSFIPVTFυϝΠϯࣝΛද͢σʔλ㲈σʔλΣΞϋε4PVSDFݩσʔλͷίϐʔ㲈σʔλϨΠΫσʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕࣄۀγεςϜͷ શσʔλΛίϐʔ͢ΔμογϡϘʔυ ϨϙʔτͱରʹͳΔ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕूܭɾੳύλʔϯΛཧ 㲈8*5)۟ͷසग़σʔλᶃ ᶄ ᶅᶃ ᶃᶄ
ɹσʔλج൫ͷ3ྨσʔλج൫ͷྨ Ґஔ͚ ʢҰൠతͳʣٕज़ཁૉσʔλϨΠΫݩσʔλΛͦͷ·· ίϐʔͨ͠ͷ4ͳͲσʔλ ΣΞϋευϝΠϯࣝΛөͨ͠ͷ )BEPPQͳͲσʔλϚʔτಛఆ༻్͚ʹ Ճɾཧͨ͠ͷ5BCMFBVͳͲ
ιʔε ਫݯϨΠΫ ބੵ͢ΔΣΞϋε ݿཧ͢ΔϚʔτ ࢢചΔϢʔβʔ ར༻ऀɹύΠϓϥΠϯʹ͓͚Δσʔλϑϩʔ
ɹɹσʔλϨΠΫʢData LakeʣᶃɾݩͷσʔλΛՃͤͣʹɺͦͷ··1ͭͷγεςϜʹूͨ͠ͷ ɾιʔεʢਫݯʣ͔ΒྲྀΕ͖ͯͨσʔλΛ͑ΔॴͳͷͰϨΠΫʢބʣ
ɹɹσʔλϨΠΫʢData LakeʣᶄɾͨͩͷίϐʔͰ͋Δ͜ͱ͕ॏཁ ɾ͠ՃࡁΈσʔλ͔͍ͬͯ͠ͳ͚ΕɺޙͰʮ͜ͷՃํ๏ؒҧ͍ͩʯ ɹʮผͷΓޱͰ࠶ूܭ͍ͨ͠ʯͱ͍͏έʔεʹରԠͰ͖ͳ͍ ɾ σʔλϨΠΫʹݩͷঢ়ଶ͕͍ͬͯΕɺௐࠪϩδοΫमਖ਼͕༰қʹͳΔ ɾαΠΤϯςΟετMLΤϯδχΞͳΒɺத్ʹ༻ҙ͞ΕͨՃࡁσʔλ͕ ɹ͍ʹͳΒͣɺݩσʔλΛدӽͤͱݴ͍ͨ͘ͳͬͨ͜ͱଟʑ͋Δͣ
ɹɹσʔλϨΠΫʢData LakeʣᶅɾʢҰൠతͳٕज़ཁૉͱͯ͠ʣS3GCSͳͲͷετϨʔδαʔϏεΛ ɹ͏͜ͱ͕ଟ͍ ɾϩάϑΝΠϧDB DumpΛίϐʔͯ͠ετϨʔδʹඋ͍ͯ͠ΔͳΒɺ ɹͦΕ͕σʔλϨΠΫͩͱݴ͑Δ
ιʔε ਫݯϨΠΫ ބੵ͢ΔΣΞϋε ݿཧ͢ΔϚʔτ ࢢചΔϢʔβʔ ར༻ऀɹύΠϓϥΠϯʹ͓͚Δσʔλϑϩʔʢ࠶ܝʣ
ɹɹσʔλΣΞϋεʢData WarehouseʣᶃɾෳͷσʔλΛ౷߹ˍੵͯ͠ɺҙࢥܾఆʹ͑ΔΑ͏ཧͨ͠ͷɾେྔͷσʔλΛҙຯͷ͋ΔܗͰཧ͢ΔͷͰΣΞϋεʢݿʣ
ɹɹσʔλΣΞϋεʢData WarehouseʣᶄɾۀυϝΠϯࣝΛσʔλϞσϦϯάʹө͢Δ͜ͱ͕ॏཁ ɾݩσʔλͷίϐʔͰ͍উख͕ѱ͘ɺ͔ͱ͍ͬͯಛఆ༻్ʹݶఆ͢Δͱ ɹԠ༻Ͱ͖ͳ͍ɺͱ͍͏ઈົ͕ͩॏཁͳχʔζΛຬͨ͢ ɾσʔλΤϯδχΞ͕ʮ͜͏͢Ε͍͍ͩΖ͏ʯͱ҆қʹઃܭ͢Δͱഁ͢Δ ɾ͔ͱ͍ͬͯ࠷ॳ͔ΒࣄۀυϝΠϯࣝΛશͯѲͰ͖ΔΘ͚Ͱͳ͍ͷͰɺ ɹܧଓతʹ࠶ઃܭ͠ଓ͚Δ͜ͱ͕ٻΊΒΕΔ
ɹɹσʔλΣΞϋεʢData WarehouseʣᶅɾʢҰൠతͳٕज़ཁૉͱͯ͠ʣHadoopʢhdfsʣRedshiftɺBigQuery ɹͳͲͷࢄσʔλετΞΛ͏͜ͱ͕ଟ͍ ɾຊࢿྉʹ͓͚ΔʮσʔλϨΠΫʯʮσʔλϚʔτʯΛ·ΔͬͱؚΊͯ ʮσʔλΣΞϋεʯͱݺͿਓ͍ΔͷͰɺͦͷ͝ҙ͍ͩ͘͞
ɹɹσʔλϚʔτʢData Martʣᶃɾಛఆͷར༻ऀˍ༻్͚ʹσʔλΛՃˍཧͨ͠ͷ ɾ͙͢ʹ͑ΔΛऔΓἧ͍͑ͯΔͷͰϚʔτʢࢢʣ
ɹɹσʔλϚʔτʢData MartʣᶄɾϢʔεέʔε͝ͱʹ࠷దԽ͞Ε͍ͯΔ͜ͱ͕ॏཁ ɾσʔλϚʔτ͕උ͞Ε͍ͯΕɺύϑΥʔϚϯεΛؾʹͤͣʹେྔͷ ɹσʔλΛॲཧͨ͠ΓɺෳࡶͳूܭΛͤͣʹରσʔλΛݟΔ͜ͱ͕Ͱ͖Δ ɾϚʔέλʔܦӦاըͳΒɺݟ͍ͨࣈγϯϓϧͳͣͳͷʹɺ ɹͨΒͱूܭ͕େมͰർฐͨ͜͠ͱଟʑ͋Δͣ
ɹɹσʔλϚʔτʢData MartʣᶅɾʢҰൠతͳٕज़ཁૉͱͯ͠ʣRe:dashTableauͳͲͷBIπʔϧΛ ɹ͏͜ͱ͕ଟ͍ ɾམͱͨ͠σʔλΛͬͯExcelͰෳࡶͳूܭΛߦ͍ͬͯΔͷͰ͋Εɺ ɹͦͷExcelγʔτ͕ͦ͜ਅͷσʔλϚʔτͩͱݴ͑Δɹɹ ※ΤϯδχΞ͕Ͳ͏γεςϜΛ࡞Ζ͏͕ɺσʔλϞσϧͷ࣮ଶExcelଆʹଘࡏ͢Δ͜ͱʹͳΔ ɹɹ ※͖͢ཧઃܭͰͳ͘ཧઃܭ / BIπʔϧ͕ϩδοΫΛ࣋ͭͳΒͦ͜ʹ͢Δ ɹɹ ※ར༻ऀͷπʔϧʹ࠷దԽ͞Ε͕ͪʢʹίϯΣΠͷ๏ଇʣ
͜ͷ3ྨσʔλ׆༻ͷۀϑϩʔͷͲ͔͜ʹଘࡏ͢Δɹσʔλج൫ͷ3ྨʢ࠶ܝʣσʔλج൫ͷྨ Ґஔ͚ ʢҰൠతͳʣٕज़ཁૉσʔλϨΠΫݩσʔλΛͦͷ·· ίϐʔͨ͠ͷ4ͳͲσʔλ ΣΞϋευϝΠϯࣝΛ өͨ͠ͷ)BEPPQͳͲσʔλϚʔτಛఆ༻్͚ʹ Ճɾཧͨ͠ͷ5BCMFBVͳͲ
ɹQ. ͏ͪͷ৫ʹ͋Γ·ͤΜ͕ʁA. Ғ͍ਓιϑτΣΞ։ൃऀ͕ؾ͍͍ͯͳ͍͚ͩʂۀ୲ऀͷϩʔΧϧPCʹ͋ΔExcelγʔτ͕ ࣮σʔλج൫ͷׂΛՌ͍ͨͯ͠Δ͔͠Εͳ͍
ɹɹۀ୲ऀͷExcelγʔτଟ͜͏ͳ͍ͬͯΔ ※࣮ͬͱԚ͍͔͠Εͳ͍͕ɹɹɹɹrawσʔλΛίϐʔͨ͠γʔτʢσʔλϨΠΫʣ ɹɹɹɹूܭͷͨΊͷγʔτʢσʔλΣΞϋεʣ ɹɹɹɹάϥϑදࢴͷͨΊͷγʔτʢσʔλϚʔτʣ ɹɹɹɹɹɹɹɹɹɹɹάϥϑදࣔ༻ͷूܭ݁Ռσʔλ͕άϥϑͱಉ͡γʔτʹ͋ΔΠϝʔδ ݱͰػೳ͍ͯ͠ΔਅͷσʔλύΠϓϥΠϯ ʢͨͩ͠ΤϯδχΞݟ͕ͨΒͳ͍ʣ
ɹͦͷσʔλར༻ऀʹಧ͍͍ͯ·͔͢ʁɾ3ྨͷશͯΛͻͬ͘ΔΊͯσʔλج൫ͱݺশ͍ͨ͠ ɾͲΕ͔1ͭͷׂΛ୲͏͚ͩͰෆे
ɹΞϯνύλʔϯᶃɿΤϯδχΞνʔϜAirflowΛಋೖ͢Δ࣌ʹۭճΓͨ͜͠ͱ͕͋ΔͷͰ 1ਓͰউखʹAirʢۭʣflowʢճΓʣύλʔϯͱݺশ͍ͯ͠ΔϞμϯͳٕज़Ͱ ”͍͢͝ج൫”Λߏங ΤϯδχΞʢDataʣ͍ํ͕͔Βͳ͍ ॏ͍ExcelͰటष͘ӡ༻ ར༻ऀʢOpsʣ
ɹΞϯνύλʔϯᶄɿۀվળνʔϜྑ͔Εͱࢥͬͯઃܭͯ͠ɺఏڙ෦ॺʹͱͬͯͷσʔλϚʔτͰ͔͠ͳ͍ ɹ৫ԣஅͷσʔλج൫ͱݴ͑ͳ͍࠷ߴʹ͍͍͢ ՃࡁσʔλΛఏڙ ۀվળTʢDataʣ͓લʹ͍͍͢ ͍ͬͪ͜ʹ͍͘ ଞνʔϜʢOpsʣ
σʔλج൫ͱݴ͑ͳ͍ɹར༻ऀ·Ͱಧ͔ͳ͍ύΠϓϥΠϯ
σʔλج൫ͱݴ͑ͳ͍ɹఏڙऀ͔͠Θͳ͍σʔληοτ
ෳͷσʔλιʔεʢDataʣͱ ෳͷར༻ऀʢOpsʣΛ ϦϘϯͷΑ͏ʹ݁ͼ͚Δͷ ※͜͜Ͱ͍͏ʮෳʯʮn=1ʯͷ߹ΛؚΉɹࢲ͕ߟ͑Δσʔλج൫ͷఆٛσʔλج൫
ɾར༻ऀʹ݁ͼ͔ͭͳ͍έʔεͩͱ…… → HadoopͰʮσʔλج൫ʯͱݴ͑ͳ͍→ FluentdِΓͷσʔλύΠϓϥΠϯɿػೳ͍ͯ͠ͳ͍ ɾར༻ऀ͕͍ͬͯΔέʔεͩͱ…… → ΧΦεͳExcelγʔτͰʮσʔλج൫ʯͱݴ͑Δ → ਓྗίϐϖ࡞ۀ͕ਅͷσʔλύΠϓϥΠϯɿػೳ͍ͯ͠Δɹ͜ͷఆ͔ٛΒݴ͑Δ͜ͱ
σʔλιʔεʢDataʣͱར༻ऀʢOpsʣΛ݁ͿσʔλͷྲྀΕͷͲ͔͜Ͱ ඞવతʹ 3ྨͷׂ ͕Ռͨ͞ΕΔ͜ͱʹͳΔ ʢ˞ύΠϓϥΠϯઃܭʹ͓͚Δ༩݅ͱͯ͠ೝࣝͨ͠΄͏͕͍͍ʣΘΕΔσʔλج൫ɹʮΘΕΔσʔλج൫ʯͷཧߏ
ɹ3͕ʮଘࡏ͠ͳ͍ʯΑ͏ʹݟ͑Δͷ·ͩσʔλ͕ेʹ׆༻͞Ε͍ͯͳ͍έʔε or Ϣʔεέʔεۀϑϩʔʹݟམͱ͕͋͠Δέʔε
͜Εͩͱอक؍͕͍ܽͯ͠Δɹٕज़ཁૉΛ͚ΔͷΞϯνύλʔϯσʔλج൫ͷྨ Ґஔ͚ ʢҰൠతͳʣٕज़ཁૉσʔλϨΠΫݩσʔλΛͦͷ·· ίϐʔͨ͠ͷ4ͳͲσʔλ ΣΞϋευϝΠϯࣝΛ өͨ͠ͷ)BEPPQͳͲσʔλϚʔτಛఆ༻్͚ʹ Ճɾཧͨ͠ͷ5BCMFBVͳͲ
ɹ3ྨͷதมΘΔ͋ΔूܭॲཧɾՃޙσʔλ͕3ྨͷͲ͜ʹଐ͢Δͷ͔࣌ͱڞʹมΘΔ ྫʣɾ10ͷ෦ॺ͕֤ExcelͰಉ͡ՃΛ͍ͯ͠ΔͳΒ ɹͦͷॲཧσʔλΣΞϋεʹ౷߹͖͢ ɾۀվળʹΑͬͯ1ͭͷ෦ॺͷཉ͍͠ࢦඪ͕มΘΔͳΒ ɹڞ௨ࢦඪʹनΘΕͣʹσʔλϚʔτʹ͖͢σʔλϚʔτσʔλ ΣΞϋεσʔλϚʔτσʔλϚʔτ
ɹσʔλ༷มΘΔ※ඇΤϯδχΞʹͱͬͯಉ͡ڍಈͷΑ͏ʹݟ͑ͯॲཧͷλΠϛϯάϨίʔυөͷॱং͕ඍົʹมΘ͍ͬͯΔγεςϜ͕ʑมΘΔɾ৽ػೳͷՃɾෆ۩߹ͷमਖ਼σʔλ༷ʑมΘΔ σʔλ׆༻σʔλΛੜूܭํ๏ʹӨڹ
ɹมԽʹରԠ͠ଓ͚Δσʔλ༷ϢʔεέʔεมΘΔ ※ԿมΘ͍ͬͯͳ͍ͳΒϓϩμΫτνʔϜ͕ߏมԽΛ͏ਐԽΛ͍ͯ͠ͳ͍ͱ͍͏͜ͱʢΉ͠ΖܦӦʣɾʮσʔλιʔεͱར༻ऀΛϦϘϯͷΑ͏ʹ݁ͼ͚ͭΔʯ͜ͱͷ͕͜͜͠͞ʹ͋Δɾ֎తৼΔ͍Λม͑ͣͱɺύΠϓϥΠϯͷཧߏमਖ਼͠ଓ͚Δ͜ͱͷॏཁੑσʔλج൫
ɹɾ݁߹Λ܁Γฦ͢σʔλϨΠΫσʔλϚʔτͷมԽʹ߹Θͤͯ தؒςʔϒϧͰ͋ΔσʔλΣΞϋεΛܧଓతʹɾ݁߹
ߏʹ͓͚ΔͭͷྲྀΕ.BSUར༻ऀ͚*'㲈σʔλϚʔτ8BSFIPVTFυϝΠϯࣝΛද͢σʔλ㲈σʔλΣΞϋε4PVSDFݩσʔλͷίϐʔ㲈σʔλϨΠΫσʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕࣄۀγεςϜͷ શσʔλΛίϐʔ͢ΔμογϡϘʔυ ϨϙʔτͱରʹͳΔ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕूܭɾੳύλʔϯΛཧ 㲈8*5)۟ͷසग़σʔλᶃ ᶄ ᶅᶃ ᶃᶄ
ɹਐԽతσʔλϞσϦϯάɾσʔλج൫ʹ͓͚ΔσʔλϞσϦϯάઃܭͷಛΛ͑Δ ɾσʔλϞσϧͷͱ݁߹Λ௨ͯ͠υϝΠϯࣝΛө͢Δ͜ͱ͕େࣄ ɾσʔλϞσϧͷϨΨγʔԽΛ͙ / ରԠ͢ΔͨΊͷߟ͑ํ ɾཁ͢ΔʹʮγεςϜΛอक͠·͠ΐ͏ʯͱ͍͏ ɹɹɾΔ͜ͱϦϑΝΫλϦϯάɺϦΞʔΩςΫςΟϯά ɹɹɾϞμϯͳݴ͍ํΛ͢ΔͱʮਐԽతΞʔΩςΫνϟʯతͳൃ
σʔλϨΠΫɺσʔλΣΞϋεɺσʔλϚʔτΛ શͯBigQueryͷσʔληοτͰཧ͢ΔɹྫɿBigQueryͰ3ߏΛཧɹɹɹɹɹɹBigQuery - Google Cloud PlatformSource ݩσʔλͷίϐʔWarehouse ओཁࢦඪɾසग़σʔλ தؒςʔϒϧMart ֤πʔϧ͔Βࢀর ඇٕज़ऀ͚IF
ྫɿmyapp__source__dbΞϯμʔείΞ2ͭͰཁૉΛ۠Δ BEMʢCSSͷઃܭख๏ʣϥΠΫͳنଇɹσʔληοτͷ໋໊نଇαʔϏε໊ sourcewarehousemartϝΠϯDBαʔόϩάΞΫηεղੳπʔϧ
WITH۟ͷ1ͭ1ͭΛΦϒδΣΫτͷΑ͏ʹѻ͏ ωετͤͣ͞ʹWITH͚۟ͩͰෳࡶͳूܭϩδοΫΛΈཱ͍ͯͯ͘ɹΦϒδΣΫτࢦͳSQL
ɹSQL on ύΠϓϥΠϯՃॲཧશͯSQLϑΝΠϧʹدͤΔ + ϫʔΫϑϩʔΤϯδϯͰґଘཧ ɾ໋໊نଇσʔληοτ + ΦϒδΣΫτࢦSQL → grepͰӨڹൣғΛચ͍ग़ͤΔˍमਖ਼Ͱ͖Δ ɾϫʔΫϑϩʔΤϯδϯͰલޙؔΛՄࢹԽ͢Εɺਓ͕ؒײతʹಛఆͰ͖Δɹɹɹྫ:Cloud Composer (GCP Full Managed Airflow)
ɹσʔλϚʔτΛऔΓࠐΉ1. ΞφϦετ͕TableauͰ࣮ݧతʹσʔλϚʔτΛ࡞Δ 2. ܧଓར༻͢Δ߹SQL on σʔλύΠϓϥΠϯʹϩδοΫΛऔΓࠐΉ ɹʢΘͳ͚Εআ٫ɾΫϦʔχϯά͢Δʣ.BSUར༻ऀ͚*'㲈σʔλϚʔτ
ɹ·ͱΊɿਐԽతσʔλϞσϦϯάͷ࣮ફσʔλج൫ͷ3छผΛ͍͔ʹϚωδϝϯτ͢Δ͔ᶃҟͳΔٕज़ཁૉνʔϜͰཧ͢Δʁ Noʂ → ͜Ε·Ͱͷৗखஈ → σʔλϞσϧ͕Ԛછ͞ΕΔˍอकੑ͕͍ܽ͢͠ ᶄٕज़ཁૉΛدͤΔʁ Yesʂ → ϦϑΝΫλϦϯά͍͢͠ʢʹܧଓਐԽ͍ͤ͢͞ʣઃܭࢥ → ྫ͑ BigQuery + SQL + Composer ʹ౷Ұ͢Δ
ɹݸਓతͳ؍ଌൣғͰͷɹɹɹɾσʔλαΠΤϯςΟετػցֶशΤϯδχΞ ɹɹɹ →σʔλϨΠΫΛॏࢹ͕ͪ͠ʢ୳ࡧͷͨΊͷݩσʔλʣ ɹɹɹɾܦӦاը୲ΞφϦετϚʔέλʔ ɹɹɹ → σʔλϚʔτΛॏࢹ͕ͪ͠ʢՄࢹԽͷͨΊͷूܭࡁσʔλʣQ. ͳ͔ͥʁ A. ׆༻ऀͰ͋ͬͯɺج൫ఏڙऀͰͳ͍͔Βɻ
ɹج൫ఏڙऀͷઢɾγεςϜͷશମ૾Λݟ͢͠ ɾσʔλج൫ͷ3ྨʢϨΠΫɾΣΞϋεɾϚʔτʣ͕͋Δͣ ɾਐԽతσʔλϞσϦϯάΛ౿·͑ͯઃܭˍอक͢͠ ɾୈҰݪଇʮෳͷ࣍ݩͰܧଓత͔ͭਐతͳมߋΛࢧԉ͢Δʯ͜ͱ ɾͦΕ͕Ͱ͖ΔͷγεςϜͷ ɹ৴པੑʹίϛοτ͢ΔSREਓࡐ ɹʢnot Πϯϑϥਓࡐʣ
ɹνʔϜͱΞʔΩςΫνϟॏཁɾԾʹΞφϦετνʔϜ͕TableauͰԣஅσʔλΛཧ͢ΔׂΛ୲͏ͱʁ ɾTableauΛϝΠϯͰ͏ΞφϦετʹͱͬͯշదͳσʔλϞσϧʹͳΔ ɹɹɾ͔Γ͍͢μογϡϘʔυͰܦӦਞϚʔέολʔتͿ ɹɹɾԣஅσʔλΛཧͨ͠ؾʹͳΔ ɾػցֶशΤϯδχΞʹͱͬͯ࠷ѱͷσʔλϞσϧͱΠϯλʔϑΣʔε ɹɹɾະདྷᶃɿTableau Server͕ग़ྗͨ͠CSVΛऔಘ → σʔλΛՃͯ͠ར༻ ɹɹɾະདྷᶄɿ͘͠ ΞφϦετνʔϜͷߏΛແࢹ ͯ͠S3͔ΒσʔλΛҾ͖ൈ͘ ɹɹɾ݁ɿԣஅσʔλΛཧͰ͖͍ͯͳ͍ - ͨͩͷ “Big ball of mud”
ɹνʔϜͱΞʔΩςΫνϟΛਖ਼͘͠બͿɾSREʢ͋Δ͍σʔλج൫ઐνʔϜʣ͕ओମͱͳͬͯ ɾBigQuery + SQLͷΑ͏ͳࠎଠͷٕज़ཁૉͰ ɾશମ࠷దͳγεςϜઃܭΛਪਐ͖͢
ɹΞϯνύλʔϯσʔλج൫ͷྨΛผνʔϜผγεςϜͰཧ ྫɿΠϯϑϥνʔϜͱΞφϦετνʔϜ ྫɿ4ͱ)BEPPQͱ5BCMFBVσʔλϞσϧվम͕ߴίετʹͳΔʢͷͰഁʣ ɾίϯϙʔωϯτԣஅͷϦΞʔΩςΫςΟϯά͕ඞཁʹͳΔ ɾ࠷ѱͷ߹ϏοάϦϥΠτ૬ͷ࡞Γ͕͠ඞཁʹͳΔσʔλϞσϧʢཧઃܭʣہॴ࠷దԽ͢ΔɾϩδοΫͷԚછɺٕज़తෛ࠴ͷੵ ɾ͍ΘΏΔzίϯΣΠͷ๏ଇz͕ಇ͘
ɹσʔλج൫ͷAsIsผγεςϜͰཧ͢Δ͜ͱ͕ଟ͍S3ʢϨΠΫʣ → HadoopʢΣΞϋεʣ → TableauʢϚʔτʣ ैདྷͷίϯςΩετ͕എܠʹ͋Δ ɾ1࡞ͬͨΒऴΘΓ ɾҟͳΔ෦ॺͰཧ͢Δ ɾͦΕͧΕͷϨΠϠʔͰಘҙͳπʔϧʹدͤΕॳظߏங͕༰қʹͳΔ
ɹσʔλج൫ͷToBe …?ɾॳظߏஙʢDevʣ͚ͩʹ͢ΔͷͰͳ͘ ɾอकӡ༻ʢOpsʣࢹʹೖΕΔ ࠷దͳσʔλج൫ͷ͋Γํɺ͖ͬͱ͜Ε·Ͱ ੈؒҰൠͰݴΘΕ͖ͯͨͷͱҧͬͨ࢟ʹͳΔͣ
݁ʢ࠶ܝʣ.BSUར༻ऀ͚*'㲈σʔλϚʔτ8BSFIPVTFυϝΠϯࣝΛද͢σʔλ㲈σʔλΣΞϋε4PVSDFݩσʔλͷίϐʔ㲈σʔλϨΠΫσʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕࣄۀγεςϜͷ શσʔλΛίϐʔ͢ΔμογϡϘʔυ ϨϙʔτͱରʹͳΔ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕूܭɾੳύλʔϯΛཧ 㲈8*5)۟ͷසग़σʔλᶃ ᶄ ᶅᶃ ᶃᶄ
ɹࢀߟࢿྉ੨ๆʰ10ઓ͑ΔσʔλੳೖɹSQLΛثʹσʔλ׆༻࣌Λੜ͖ൈ͘ʱ https://www.sbcr.jp/products/4797376272.html ΫϦεɾόʔνϟϧʰϨΨγʔιϑτΣΞվળΨΠυʱ https://www.shoeisha.co.jp/book/detail/9784798145143 Neal Ford΄͔ʰਐԽతΞʔΩςΫνϟ ― ઈ͑ؒͳ͍มԽΛࢧ͑Δʱ https://www.oreilly.co.jp/books/9784873118567/ ʮϏοάσʔλॲཧσʔλϕʔεͷશମ૾ͱ͍͚2018versionʯby @fetarodc https://www.slideshare.net/tetsutarowatanabe/2018version-115735455
ɹ͍͞͝ʹ͜ͷ༰ʰࣄۀͷάϩʔεΛࢧ͑ΔDataOpsͷݱʱͷ p165-p168 ʹ֘͠·͢ɻ શ268ϖʔδதͨͬͨ4ϖʔδͷ༰Ͱ͔͋͠Γ·ͤΜɻ ݟΛଞʹެ։͍ͯ͠·͢ͷͰɺͥͻ͝ཡ͍͚ͨͩΔͱ͍Ͱ͢ɻ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠presented by @yuzutas0 https://www.pexels.com/photo/grayscale-photo-of-metal-building-185039/
yuzutas0
miyakemito
nikkei_engineer_recruiting
elcuervo
mixi_engineers
tkmnzm
sheep_san_white
yellowshippo
junjunjunk
kazumax55
gaelvaroquaux
takumakume
masakamayama
sugarenia
eitanlees
samlambert
dotmariusz
csswizardry
revolveconf
searls
lara
zakiwarfel
shpigford
thekraken
phodgson