Tweet
Tweet

Slide 1

Slide 1 text

1 ϨΨγʔԽͨ͠data pipelineͷഇࢭ 2021/12/1 0 גࣜձࣾϝϧΧϦ ӬҪ ৳໻ Data Engineering Study #11

Slide 2

Slide 2 text

2 ● ӬҪ৳໻ (@__hiza__ ) ● גࣜձࣾϝϧΧϦ / Analytics Infra ॴଐ ● Analystʹཱ͍ۙ৔Ͱ෼ੳ؀ڥͷ੔උΛਐΊ͍ͯ·͢ ൃදऀ

Slide 3

Slide 3 text

3 ● BigQueryͷϢʔβʔ਺ 800໊/݄ ● Analytics΍ML EngineerͷଞʹɺCS΍PdM΋σʔλΛར༻ ➡ ඇৗʹ׆ൃʹσʔλ͕ར༻͞Ε͍ͯΔ ϝϧΧϦͷσʔλ׆༻ͷݱঢ়

Slide 4

Slide 4 text

4 ● ෳ਺ͷγεςϜ(ຊ൪؀ڥ)͔ΒBigQueryʹσʔλΛΞοϓϩʔυ ● Data pipeline΋ෳ਺ͷܥ౷͕͋Δ BigQueryΛத৺ͱͨ͠σʔλج൫ BigQuery BigQuery Console ຊ൪؀ڥ ਤ σʔλج൫ͷུ֓ɻ ➡ͷํ޲ʹσʔλ͕ྲྀΕΔɻ

Slide 5

Slide 5 text

5 ● ߴ͍ӡ༻ίετ / ো֐ϦεΫ ○ node.jsʹΑΔಠ࣮ࣗ૷ͷϫʔΫϑϩʔΤϯδϯ ○ ։ൃ։͕࢝8೥લɻओཁͳ։ൃऀ͕͢Ͱʹډͳ͍ ➡ ٕज़తʹແཧ͕͋Γɺ༷ʑͳ໰୊ΛੜΜͰ͍ͨ ໰୊Λ๊͑ͨͱ͋Δdata pipeline

Slide 6

Slide 6 text

6 ͳͥഇࢭͰ͖ͳ͔͔ͬͨ? ● ࠶ݱࠔ೉ͳσʔλ ○ σʔλΛՃ޻ͭͭ͠BigQueryʹΞοϓϩʔυɻՃ޻ͷϩδοΫ͕෼͔Βͳ͍ ○ Batch͕ಈ࡞͢ΔλΠϛϯάʹґଘͨ͠σʔλ
 ● ۀ຿ͱ͍͏ݟ͑ͳ͍ґଘؔ܎ ○ ͦͷσʔλʹґଘͨ͠KPI / ۀ຿͕͋Δ ○ σʔλͷར༻ऀ͕ଟ͍ (150໊/೔ ) ➡ ഇࢭ΋ҡ࣋΋ࠔ೉ͳ൘ڬΈ͕ੜ·ΕΔ
 ͜ΕΛ”ϨΨγʔԽͨ͠data pipeline” ͱশ͍ͯ͠·͢

Slide 7

Slide 7 text

7 ● ඞཁͳͷ͸ ňٕज़తʹແཧ͕ͳ͘ɺۀ຿্े෼ͳ࢓༷ʼn ○ ୯ʹٕज़తʹγϯϓϧͳ࢓༷͸ɺۀ຿తʹड͚ೖΕΒΕͳ͔ͬͨ ○ ٕज़ͱۀ຿ͷτϨʔυΦϑΛߟྀͨ͠࢓༷͕ඞཁ
 ● ňσʔλʼn ͱ ň଍ʼn Ͱղ͖໌͔͢ ○ BigQueryͷjob historyΛ෼ੳͯ͠ར༻ऀΛಛఆ (σʔλ ) ○ ώΞϦϯάΛ௨ͨ͡ۀ຿ཧղ (଍) Ͳ͏΍ͬͯഇࢭͨ͠ͷ͔? ᶃ

Slide 8

Slide 8 text

8 ● 150໊Ҏ্ͷར༻ऀɻ “प஌”͚ͩͰ͸Ҡߦ͕ਐ·ͳ͍ɻ ● Job historyΛ෼ੳɻར༻ऀ਺ΛϞχλϦϯά͠ͳ͕ΒPDCAΛճ͢ Ͳ͏΍ͬͯഇࢭͨ͠ͷ͔? ᶄ ਤ ഇࢭର৅σʔλͷར༻݅਺ਪҠɻᶃͰར༻ऀΛ΁Β͢ࢪࡦΛ࣮ࢪɻ

Slide 9

Slide 9 text

9 ● ഇࢭʹ͸ଟେͳίετֻ͕͔Δ ● ݹ͍data pipelineΛഇࢭͨ݁͠ՌԿ͕ಘΒΕΔͷ͔ ? ○ ӡ༻ίετͷ௿ݮ ← ଌΓΑ͏͕͋Δ ○ ো֐ൃੜʹΑΔۀ຿ఀࢭϦεΫͷ௿ݮ ← ఆྔԽ͠ʹ͍͘ ● ޙ೔ஊ ○ ར༻ऀ͕΄΅0ਓʹͳͬͨλΠϛϯάͰো֐ൃੜ ○ ԾʹഇࢭͷऔΓ૊ΈΛਐΊ͍ͯͳ͔ͬͨΒ૬౰ʹେ͖ͳӨڹ͕ग़͍ͯͨ ➡ ޮՌ͕ఆྔԽ͠ʹ͍͘ ≠ ޮՌ͕௿͍
 ݟੵ΋Γ͕ग़དྷͳͯ͘΋΍Δ΂͖ࣄ͸΍ͬͨํ͕ྑ͍ औΓ૊Έͷҙٛ

Slide 10

Slide 10 text

10 ● ΋ͬͱৄ͘͠࿩͍ͨ͠ਓ: meetyͰ࿩͠·ͤΜ͔? ● TwitterϑΥϩʔ͓ئ͍͠·͢! ○ ϝϧΧϦͰͷ෼ੳ؀ڥ੔උʹ͍ͭͯϒϩάهࣄͷ౤ߘ΍ొஃͳͲΛࠂ஌͠·͢!
 
 
 
 
 
 
 
 ● ਓࡐ΋ืूதͰ͢ એ఻ ϒϩάهࣄྫ: ࠓճͷऔΓ૊ΈͷΑΓৄࡉͳઆ໌