ゆるやかにBigQuery（データ基盤）を安定活用するプラクティス集 #bq_sushi / 20180424

ΏΔ΍͔ʹ#JH2VFSZʢσʔλج൫ʣΛ ҆ఆ׆༻͢ΔϓϥΫςΟεू CR@TVTIJ5PLZP QSFTFOUFECZ!ZV[VUBT4IVOLFUTV0I IUUQTXXXQFYFMTDPNQIPUPQFSTPOIPMEJOHDIBSUBOECBSHSBQI

͸͡Ίʹ

ΏΔ΍͔ʹ׆༻͢Δ ͜ΕͰग़ͨ͠ͱ͜Ζ ͜͏ม͑·ͨ͠ ϝϯόʔ͔Β  ʮԶͨͪ͸γεςϜΛӡ༻͍ͯ͠ΔΘ͚͡ΌͶ͐ʂʯ ʮ׆༻͍ͯ͠ΔΜͩͧʂʯͱποίϛΛड͚ IUUQTCRTVTIJDPOOQBTTDPNFWFOU

ຊ೔͸ͳ͢͜ͱ ΏΔ΍͔ͳ  σʔλج൫׆༻ͷ  τϥΠΞϯάϧ ௨শɿΏΔΩό ϯ˚ ։ൃ #2Ͱ͍͔ʹϏδωεՁ஋Λ 
ੜΈग़͔͢ อक  #2Ͱ͍͔ʹอकੑͷߴ͍  γεςϜઃܭΛ͢Δ͔ ӡ༻  #2ར༻࣌ʹϋϚͬͨ  མͱ݀͠ͱͦͷରԠํ๏

ͳͥ#2ʁˠϥΫʹ͍͔ͨ͠Β Confidential & Proprietary Now: యܕతσʔλ෼ੳ ϓϩάϥϛϯά Ϧιʔεͷ
ϓϩϏδϣϯ ύϑΥʔϚϯε νϡʔχϯά ؂ࢹ ৴པੑ ֬อ σϓϩΠͱઃఆ ૿ઃରԠ ࢖༻཰ͷ ޮ཰Խ Next: Google ͱ࣮ݱ͢Δ Ϗοάσʔλ෼ੳ ͢΂͕ͯࣗಈԽ ϓϩάϥϛϯά ෼ੳͱಎ࡯ (PPHMF$MPVEൃදࢿྉΑΓҾ༻

Confidential & Proprietary Now: యܕతσʔλ෼ੳ ϓϩάϥϛϯά Ϧιʔεͷ ϓϩϏδϣϯ ύϑΥʔϚϯε νϡʔχϯά
؂ࢹ ৴པੑ ֬อ σϓϩΠͱઃఆ ૿ઃରԠ ࢖༻཰ͷ ޮ཰Խ Next: Google ͱ࣮ݱ͢Δ Ϗοάσʔλ෼ੳ ͢΂͕ͯࣗಈԽ ϓϩάϥϛϯά ෼ੳͱಎ࡯ ෼ੳۀ຿Λ গ͠Ͱ΋ϥΫʹ͍ͨ͠ Ϣʔβʔ؍఺ʹ͓͚Δ  γεςϜɾαʔϏεӡ༻࡞ۀ͸  ଟগ͕ͩඞཁʹͳΔ ΋ͬͱϥΫʹ͍ͨ͠ ϓϩάϥϛϯάΛ গ͠Ͱ΋ϥΫʹ͍ͨ͠ ΋ͬͱϥΫʹ͍ͨ͠ΏΔ΍͔ʹ฻Β͍ͨ͠ (PPHMF$MPVEൃදࢿྉΑΓҾ༻

ͭͷ؍఺͔ΒࣄྫΛڞ༗͠·͢ ΏΔ΍͔ͳ  σʔλج൫׆༻ͷ  τϥΠΞϯάϧ ௨শɿΏΔΩό ϯ˚ ։ൃ #2Ͱ͍͔ʹϏδωεՁ஋Λ 

஫ҙ఺ #2Λ҆ఆ׆༻͢ΔϓϥΫςΟε 㱠७ਮͳٕज़͚ͩͰશͯΛղܾ

ΞδΣϯμ ࣗݾ঺հɾഎܠ ։ൃɿ#2Ͱ͍͔ʹϏδωεՁ஋ΛੜΈग़͔͢ อकɿ#2Ͱ͍͔ʹอकੑͷߴ͍γεςϜઃܭΛ͢Δ͔ ӡ༻ɿ#2ར༻࣌ʹϋϚͬͨམͱ݀͠ͱͦͷରԠํ๏

ࣗݾ঺հɾഎܠ

4QFBLFSᶃ ɾ3FDSVJU5FDIOPMPHJFT$P -UE ɾ%BUB&OHJOFFSJOH5FBN ɾ$IJFG1SPEVDU.BOBHFS !ZV[VUBT

4IVOLFUTV0I 4QFBLFSᶄ ɾ/55%"5"$PSQPSBUJPO ɾ%BUB&OHJOFFSJOH5FBN ɾ$IJFG&OHJOFFS

APP γεςϜ #JH2VFSZΛத৺ͱͨ͠ج൫  ϩάऩूͱσʔλ׆༻Λ݁ͼ͚ͭΔϦϘϯΛߏங

͍Ζ͍Ζ΍͍ͬͯ·͢ σʔλ׆༻

σʔλ׆༻

ৄࡉ͸ͪ͜Β IUUQTTQFBLFSEFDLDPNZV[VUBT

˞ਓ਺΍ϓϩδΣΫτ͸ਖ਼֬Ͱ͸͋Γ·ͤΜɻͬ͘͟ΓΠϝʔδͰ͢ɻ֎஫ɾ݉೚΋ؚΈ·͢ɻ νʔϜɾମ੍ ֤෼໺ͷνʔϑ %BUB4DJFOUJTU %BUB7JTVBMJ[BUJPO4QFDJBMJTU .BDIJOF-FBSOJOH&OHJOFFSFUDʜ Ϛωδϝϯτ Ϛʔέ
#*ߏங 31"ߏங ج൫ ΫϨϯδϯά  ඼࣭޲্ ج൫  43&վળ ܦӦ #*ߏங 69  Ϟσϧߏங ΠϯλϏϡʔ $3& 31"ߏங άϩʔεϋοΫ ෼ੳࢧԉ 7BMVF 7BMVF 7BMVF 7BMVF 7BMVF 7BMVF 7BMVF ϓϩδΣΫτ ϝϯόʔ ҙࢥܾఆͷࢧԉ΍  ۀ຿ϑϩʔͷվળ ٕज़؍఺Ͱࢧԉ  ϝϯλʔͱͯ͠ࢦಋ 30*؍఺Ͱ  ༏ઌॱҐΛࠩ഑ 4IVOLFUTV0I !ZV[VUBT

ʮ͍͔ʹݱ৔Ͱ࢖ΘΕΔ͔ʯΛ༏ઌͨ͠ͷͰʮ͍͔ʹΤϯδχΞʹͱͬͯྑ͍γεςϜ͔ʯΛຏ͖ࠐΊ͍ͯͳ͍ ஫ҙɿٕज़తʹ͸͘͢͝ͳ͍ ૊৫ӡӦ  ྫɿσʔλ׆༻ਓࡐΛ  ͍͔ʹ࠾༻ɾҭ੒͢Δ͔ ݱ৔͝ͱʹσʔλ׆༻Λࢧԉ  ྫɿσʔλۦಈͰ͸ͳ͍։ൃݱ৔Ͱ  ͍͔ʹจԽɾϓϩηεΛ૷ண͢Δ͔
ԣஅͷσʔλιϦϡʔγϣϯ  ྫɿ͜Ε·Ͱਓ͕ҙࢥܾఆɾखಈ࣮ࢪ  ͍ͯͨ͠ۀ຿Λ͍͔ʹ31"Խ͢Δ͔ ϛογϣϯ ϛογϣϯπϦʔ͸ଟذʹ౉Δ ɾ࠷ॳ͔ΒʮԶͷߟ͑ͨ  ɹ࠷ڧͷγεςϜʯ͸࡞Βͳ͍   ɾඞཁʹԠͯ͡γεςϜΛ  ɹڧԽ͍ͯ͘͠   ɾྲྀߦΓ෺Ͱ͸ͳ͘σϑΝΫτ  ɹελϯμʔυΛ૊Έ߹ΘͤΔ ˞͜Ε·Ͱͷ࿩Ͱ͢ɻຊ౰͸΋ͬͱຏ͖͍ͨɻ ϙϦγʔ

࠶ܝɿຊ೔͸ͳ͢͜ͱ ΏΔ΍͔ͳ  σʔλج൫׆༻ͷ  τϥΠΞϯάϧ ௨শɿΏΔΩό ϯ˚ ։ൃ #2Ͱ͍͔ʹϏδωεՁ஋Λ 

։ൃ #2Ͱ͍͔ʹϏδωεՁ஋ΛੜΈग़͔͢

#2ͰϏδωεՁ஋ΛੜΈग़͢మଇ 8IBU )PX σʔλ׆༻Ҋ݅ʹ͓͍ͯ  Կ͕ϘτϧωοΫͳͷ͔ʁ º σʔλ׆༻Ҋ݅ʹ͓͍ͯ  Կ͕ϕετͳਐΊํͳͷ͔ʁ
σʔλநग़ɾूܭ খ͘͞ࢼ͢

σʔλ׆༻Ҋ݅ͷ෼ྨ ྫ  ɾ31"ʹΑΔϚʔέςΟϯάۀ຿΍ΧελϚʔαϙʔτۀ຿ͷҰ෦ࣗಈԽͳͲ  ɾ·ͨɺΞϓϦͷϨίϝϯυػೳ͸ɺϢʔβʔͷۀ຿ʢ৘ใऩूˠൺֱݕ౼ˠҙࢥܾఆˠߪങΞΫγϣϯʣΛࢧԉ͢ΔιϦϡʔγϣϯͱݴ͑Δ ۀ຿" ۀ຿# ۀ຿$ ΦϖϨʔγϣϯ
ΦϖϨʔγϣϯ ΦϖϨʔγϣϯ ҙࢥܾఆ ҙࢥܾఆ ҙࢥܾఆ ސ٬Ձ஋ #*.-Ҋ݅  ΞφϦςΟΫε "1.-Ҋ݅  ιϦϡʔγϣϯ όϦϡʔετϦʔϜʹ͓͍ͯlϦλʔϯΛ্͛ΔzPSlίετΛԼ͛Δz

σʔλநग़ґཔ͕૿͑Δ ෼ੳνʔϜ͸͜ͷϑΣʔζʹͳΔͱɺଞνʔϜ͔ΒͷେྔͷґཔରԠʹۤઓ͕ͪ͠  lґཔ͢Δଆͷࣗ૸z͕ॏཁͰɺσʔλͷຽओԽΛࢧ͑ΔγεςϜɾϓϩηεɾจԽͷߏங͕ٻΊΒΕΔ ·ͩܭଌͰ͖ͳ͍΋ͷ͕ଟ͍ צʹΑΔҙࢥܾఆ σʔλج൫΁ͷҰݩԽ ࠜڌͷ͋Δҙࢥܾఆ ۀ຿ϑϩʔͷຏ͖ࠐΈ
σʔλநग़ͷཁ๬͕૿͑Δ ʢ͜ͷϑΣʔζʣ ੈʹݴ͏σʔλ׆༻ͷຊ֨Խ ྫʣઌߦࢦඪΛಛఆ͢ΔͨΊͷߴ౓ͳ෼ੳ ྫʣ31"ʹΑΔҙࢥܾఆɾ࡞ۀͷࣗಈԽ σʔλج൫ͷඞཁੑ

ʲྫʳσʔλՄࢹԽʹΑΔΠϯύΫτ ޿ࠂഔମ"ͱ޿ࠂഔମ#ͷͲͪΒʹ޿ࠂΛ഑৴͢Δ͔ʁ Ұൠ࿦ͱͯ͠  ɾ͜Ε͚ͩͰ΋"316޲্͕ظ଴Ͱ͖ΔYू٬ʹֻ͚Δֹۚ͸େ͖͘ͳΓ΍͍͢ˠվળΠϯύΫτ͕େ͖͍  ɾσʔλΛܨ͛ͯՄࢹԽ͢Δ͚ͩͰɺϏδωεվળͷΠϯαΠτΛಘΔ͜ͱ͕Ͱ͖Δ ˞(PPHMF"EXPSETͷϝσΟΞ಺Ͱ࠷దԽ͢Δ৔߹͸5BSHFUJOH30"4ػೳ͕֘౰ ج൫  ੔උ
࣮ࢪऀ πʔϧ ूܭɾܭଌ ෼ੳ݁Ռ ҙࢥܾఆ લ Ϛʔέλʔ ΞΫηεղੳπʔϧ $1"Λܭଌ  ΞΫγϣϯϕʔε "# "Λॏࢹ ޙ Ϛʔέλʔ  ʴΤϯδχΞ ͋ΒΏΔσʔλΛ  #JH2VFSZʹͭͬ͜Ή ੡඼%#ͱܨ͛ͯ  30"4Λܭଌ ച্ϕʔε #" #Λॏࢹ

σʔλνʔϜͷΞϯνύλʔϯ ߏ଄্ͷѱ॥؀͕ੜͯ͡͠·͏ σʔλநग़ˍूܭʹ  ޻਺Λඅ΍ͯ͠͠·͏ ࢪࡦΛଧͪʹ͍͘ ෇ՃՁ஋Λ૑ग़Ͱ͖ͳ͍ ศར԰ͱͯ͠ݟΒΕͯ͠·͏ ศར԰ͱͯ͠ചΓࠐΜͰ͠·͏
͞Βʹநग़ґཔ͕دͤΒΕΔ நग़ґཔ͹͔ΓΛऔΓʹߦ͘

Ξϯνύλʔϯ΁ͷଧͪख ߏ଄্ͷѱ॥؀Λ཈੍͢Δ σʔλநग़ˍूܭʹ  ޻਺Λඅ΍ͯ͠͠·͏ ࢪࡦΛଧͪʹ͍͘ ෇ՃՁ஋Λ૑ग़Ͱ͖ͳ͍ ศར԰ͱͯ͠ݟΒΕͯ͠·͏ ศར԰ͱͯ͠ചΓࠐΜͰ͠·͏
͞Βʹநग़ґཔ͕دͤΒΕΔ நग़ґཔ͹͔ΓΛऔΓʹߦ͘ ࡞ۀखॱͷܕԽɾվળ ىҊˠظ଴30*ఏࣔ ϝοηʔδϯά σʔλͷຽओԽ

ࣄ຿ελοϑʢඇΤϯδχΞʣ͕#JH2VFSZΛୟ͘ੈք͸طʹ࣮ݱࡁΈ ˞શһ͕࡞ۀΛ࣮ࢪͰ͖Δͱ଴͕ͪൃੜ͠ͳ͍ͷͰɺґཔ͢Δଆ΋ϑϩʔޮ཰؍఺Ͱ๬·͍͠ ཧ૝͸શһ͕42-Λୟ͚Δ͜ͱ

νʔϜ͝ͱͷຽओԽঢ়گ ֤νʔϜ͕σʔλ׆༻Ͱ͖͍ͯΔ͔ϞχλϦϯάˠϒϩοΧʔͷݕ஌ˠվળΞΫγϣϯ νʔϜ" νʔϜ# νʔϜ$ νʔϜ% νʔϜ& νʔϜ'
νʔϜ( νʔϜ) νʔϜ* νʔϜ+ νʔϜ, ੜϩά  ಠࣗར༻ σʔλ5ࢧԉ  ۀ຿ґཔ σʔλ5ࢧԉ  σʔλग़ྗ ࣗओత  σʔλग़ྗ ୲౰ऀґଘ ୲౰ऀґଘ ୲౰ऀґଘ ࣗओత  σʔλੜ੒ ଞνʔϜґཔ ج൫ߩݙʂ ୲౰ऀґଘ ୲౰ऀґଘ ہॴԽͷน ࣗ૸ͷน վળͷน

ຽओԽΛଅ͢औΓ૊Έ .FBTVSF ޮՌଌఆ ϩάཁ݅ɺ෭࡞༻΋౿·͑ͨӨڹπϦʔɺղऍ -FBSO ֶश Ծઆग़͠ɺΰʔϧઃఆ $VMUVSF
จԽ ೔࣍ࢦඪ֬ೝɺϞϒσʔλ෼ੳ 4ZTUFN ࢓૊ΈԽ ෼ੳ޻ఔͷ૊ΈࠐΈ

·ͩ·ͩຽओԽ͸ൃల్্ σʔλநग़ˍूܭ͕ϘτϧωοΫʹͳΔ σʔλநग़ˍूܭʹ  ޻਺Λඅ΍ͯ͠͠·͏ ࢪࡦΛଧͪʹ͍͘ ෇ՃՁ஋Λ૑ग़Ͱ͖ͳ͍ ศར԰ͱͯ͠ݟΒΕͯ͠·͏ ศར԰ͱͯ͠ചΓࠐΜͰ͠·͏
͞Βʹநग़ґཔ͕دͤΒΕΔ நग़ґཔ͹͔ΓΛऔΓʹߦ͘ ࡞ۀखॱͷܕԽɾվળ ىҊˠظ଴30*ఏࣔ ϝοηʔδϯά σʔλͷຽओԽ ԾʹຽओԽΛ࣮ݱͯ͠΋֤͕ࣗ࡞ۀΛ͠ͳ͚Ε͹͍͚ͳ͍ͷͰɺͲͷΈͪվળ͸ඞཁʹͳΔ

#2ͰϏδωεՁ஋ΛੜΈग़͢మଇ 8IBU )PX σʔλ׆༻Ҋ݅ʹ͓͍ͯ  Կ͕ϘτϧωοΫͳͷ͔ʁ º σʔλ׆༻Ҋ݅ʹ͓͍ͯ  Կ͕ϕετͳਐΊํͳͷ͔ʁ

$3&γεςϜߏஙɾಋೖ   ֤؍఺ͰಘΒΕΔσʔλ͔Βಛ௃ྔΛநग़  ѱ࣭ͳCPU΍ެংྑଏʹ൓͢ΔϢʔβʔ౤ߘΛࣗಈݕ஌  ΧελϚʔαϙʔτελοϑͷۀ຿Λࢧԉ ొ࿥৘ใ αΠτճ༡ ʢ঎඼ݕࡧʣ
౤ߘ಺༰ ʢޱίϛʣ ϦΫΤετ  ʢ೔࣌΍ස౓ʣ ΞΫγϣϯ ʢϒΫϚʣ ϧʔϧϕʔεPSػցֶश ݕ஌ɿૣ͍ ਫ਼౓ɿ௿͍ ݕ஌ɿ஗͍ ਫ਼౓ɿߴ͍ νΣοΫ σʔλ νΣοΫ σʔλ νΣοΫ σʔλ νΣοΫ σʔλ νΣοΫ σʔλ ˞࣮ࡍͷ಺༰ͱ͸एׯҟͳΓ·͢ɻ͋͘·Ͱ΋ྫͰ͢ɻ

    ͱ͸͍͑ػցֶशࢪࡦΛࢼͤΔ࢓૊Έʢ'MBTL (,&͋ͨΓͰखܰʹ։ൃɾӡ༻Ͱ͖Δࣾ಺ඪ४ʣ͸ͦΖͦΖඞཁʹͳ͖ͬͯͨ ॱ൪ʹ΍Ε͹Α͔ͬͨ ᶃΧελϚʔαϙʔτ୲౰ͷ࡞ۀΛ࣮ࡍʹख఻͏ˠۀ຿վળ͔Β੾ΓࠐΉ΋Α͠  ᶄϩʔΧϧ؀ڥͰֶशࡁΈϞσϧΛࢼݧతʹӡ༻ˠ݁ՌΛ࣋ͬͯചΓࠐΉ΋Α͠ શͯΛಉ࣌ʹ΍Ζ͏ͱͯ͠௕Ҿ͍ͨ
ۀ຿ϑϩʔΛՄࢹԽ ΧελϚʔαϙʔτ୲౰ʹώΞϦϯάΛॏͶΔ खಈ࡞ۀΛγεςϜԽ ͕Μ͹ͬͯ؀ڥΛߏஙͨ͠ΓίʔσΟϯάͨ͠Γ ൑அΛࣗಈԽ ޮՌ͕ݟࠐΊͦ͏ͳػցֶशϩδοΫΛ։ൃɾ૷ண

σʔλҊ݅͸ελʔτΞοϓํࣜͰਫ਼ࠪ ౤ࢿ  ɹɹɹɹ˞͋͘·ͰྫͰ͢  ϑΣʔζ ɾ޻਺  ɾ࣌ؒ  ɾ༧ࢉ $IFDL 
(P4UPQ #VEHFU #VEHFU #VEHFU ʲ4FFEʳաڈσʔλ  Ϟσϧߏஙˍަࠩݕఆ ʲ4FSJFT"ʳฒߦՔಇ  ࣮σʔλʹΑΔࢼݧ ʲ4FSJFT#ʳ঎༻؀ڥ  ݱ৔ʹ૷ணͯ͠རӹ૑ग़ $IFDL  (P4UPQ $IFDL  (P4UPQ $IFDL  (P4UPQ

ελʔτΞοϓํࣜͰνΣοΫ ˞σʔλࢪࡦ޲͚ͷϑΥʔϚοτ͸໛ࡧத 45&1ޮՌੑ  14'JU ͦͷ՝୊ΛղܾͰ͖Δ͔ 45&1ޮՌྔ  1.'JU ޻਺΍ίετʹݟ߹͏͔
45&1ඞཁੑ  $1'JU ຊ౰ʹղܾ͢΂͖՝୊͔ IUUQTXXXPSFJMMZDPKQCPPLT IUUQXXXTIPFJTIBDPKQCPPLEFUBJM

࠶ܝɿ#2ͰϏδωεՁ஋ΛੜΈग़͢మଇ 8IBU )PX σʔλ׆༻Ҋ݅ʹ͓͍ͯ  Կ͕ϘτϧωοΫͳͷ͔ʁ º σʔλ׆༻Ҋ݅ʹ͓͍ͯ  Կ͕ϕετͳਐΊํͳͷ͔ʁ

σʔλநग़ɾूܭͷۀ຿ ᶃཁٻ੔ཧ .PEFM σʔλఆٛ 7JFX ར༻Πϝʔδ 1MBO ໨తɾഎܠɾ੍໿ࣄ߲

σʔλநग़ɾूܭͷۀ຿ ᶄγεςϜ։ൃ Ճ޻ 42-ϩδοΫߏஙʢޙड़ʣ ग़ྗ ࠷খ޻਺ͷ*'ʢޙड़ʣ ऩू ֤σʔλιʔε͝ͱʹ։ൃ
IUUQTXXXTJMIPVFUUFJMMVTUDPN

.71Ͱখ͘͞࡞Δ   ɾཁٻऀ͸ʮࣗ෼͕ຊ౰ʹඞཁͱ͢ΔσʔλʯΛ஌Βͳ͍··ґཔ͢Δʢۀ຿ϑϩʔ͕ෆ໌֬ʣ  ɾଟ͘͸͙͢ʹ࢖Θͳ͘ͳΔˍݟͳ͘ͳΔʢ༨෼ͳػೳͷϜμʣ  ɾҰ෦͸࣮ӡ༻͕ਐΉˠ࠷ద*'Λఏڙɿਖ਼͍͠ཁٻʹ΋ͱ͍ͮͯ࡞Γ௚͢  ɹ׆༻ଆͷಠࣗγεςϜ΍γʔτ͕ෳࡶԽͯ͠อकࠔ೉ʹͳΔͷͰɺ੔ཧͯ͠σʔλύΠϓϥΠϯʹ૊ΈࠐΉ .JOJNVN  7JBCMF 
1SPEVDU -1ܕ  ׬੒Πϝʔδ ϞοΫΞοϓܕ ؆қϑΥʔϚοτ ίϯγΣϧδϡܕ खಈӡ༻ ιϦϡʔγϣϯЋ  Ұ෦࡞ۀͷࣗಈԽ .PEFM  σʔλఆٛ ਺ࣜϞσϧ ۙࣅ਺஋ΛԾஔ͖ ྫʣ$47ϑΝΠϧ͕ศར͗͢Δ  ɾ#26*͔Β$47Λग़ྗˍड͚౉͠  ɾར༻ऀʹ&YDFM͔4QSFBETIFFUͰ  ɹखಈूܭͯ͠΋Β͏ ྫʣ  ɾԿ౓΋࢖͏ͳΒ೔࣍4MBDLͰ  ɹ$47Λࣗಈ഑৴  ɾμογϡϘʔυΛཉ͕͠Δਓ  ɹ޲͚ʹ͸%BUBTUVEJPΛ࡞ͬͯ  ɹख౉͢ 7JFX Ϣʔεέʔεఆٛ ϗϫΠτϘʔυεέον 4QSFBETIFFUγʔτ NJOͰݕূ NJOͰݕূ NJOͰݕূ σʔλநग़Ҋ݅ IUUQFDOJLLFJCQDPKQJUFNCPPLT1IUNM

.71ʢϞοΫΞοϓʣ ɹɹɹɹɹɹɹɹɹɹɹɹɹϗϫΠτϘʔυ΍4QSFBETIFFUͰ ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹਪఆ͞ΕΔ֓ࢉ஋ΛԾஔ͖ͯ͠  ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹग़ྗγʔτΛεέονͯ͠ ɹɹɹɹɹɹɹɹɹɹɹɹɹूܭɾநग़ޙͷϢʔεέʔεΛϩʔϧϓϨΠ ΋͜͠͏͍͏஋ͩͬͨΒ σʔλΛग़ͯ͠΋ ɹͲ͏͍͏ҙࢥܾఆʹͳΔͷ͔ʁ
ˠ ɹΞΫγϣϯ͕มΘΒͳ͚Ε͹ ɹͲͷ͘Β͍ͷΠϯύΫτ͕͋Δͷ͔ʁ ˠ ɹ޻਺ʹޮՌ͕ݟ߹Θͳ͚Ε͹ Λ࠷ॳʹݕূ͢Δ ΍Δҙຯ͕ͳ͍

.71ʢ$47ϑΝΠϧʣ ແ೉ͳΠϯλʔϑΣʔε  ɾ؆қग़ྗˠ&YDFM΍4QSFBETIFFUͰ։͍ͯ΋Β͏  ɾ#26*͔ΒखಈͰड͚౉͢  ɾ༻ҙͨ͠ΫΤϦΛґཔऀࣗ਎ʹୟ͍ͯ%-ͯ͠΋Β͏  ɾ༰ྔ޲͚ͷநग़ˍ$47ม׵εΫϦϓτΛ༻ҙ 

.71ʢ%BUB4UVEJPʣ ଈ੮ͷμογϡϘʔυ  ɾ؆қ࡞੒ˠ޷͖ʹ࢖ͬͯ΋Β͏  ɾͦ͜·ͰμογϡϘʔυ͕ඞཁʹͳΔ৔໘͸ଟ͘ͳ͍

೔࣍ͷ4MBDLͰ$47΍μογϡϘʔυ63-Λ഑৴  ɾ༻ҙͯ͋͠ΔςϯϓϨʔτʹԊͬͯίʔσΟϯά  ɾNBTUFSϚʔδ͢Ε͹ཌ೔͔ΒࣗಈͰ഑৴͞ΕΔ ܧଓతʹ࢖͍࢝ΊͨΒࣗಈ഑৴

ෆཁʹͳͬͨ7JFXʢ#*ʣ͸ΫϦʔχϯά େ఍͸ݟͳ͘ͳΔͷͰϨτϩεϖΫςΟϒͰΫϦʔχϯά͢Δ ͦͷλΠϛϯάͰʮຊ౰ʹඞཁͩͬͨσʔλ͸Կ͔ʯΛৼΓฦͬͯ࣍ʹ׆͔͢ IUUQTTQFBLFSEFDLDPNZV[VUBT

ੜ͖࢒ͬͨҊ͚݅ͩΛຏ͖ࠐΉ ݕ஌λΠϛϯά ۀ຿ͷ࣮ଶͱσʔλूܭॲཧ͕  ߹Θͳ͘ͳͬͯ͘ΔͷͰ ɾ௥Ճ΍վमͷґཔ͕دͤΒΕΔ  ɾຐվ଄ͰอकෆՄʹͳΓ੠ֻ͕͔Δ ରԠํ਑ ᶃϗϫΠτϘʔυίʔσΟϯάΛ΍Γ௚͢ʂ 
ɾ.PEFMɿ৽͍͠ϩδοΫΛݕ౼͢Δ  ɾ7JFXɿ৽͍͠ϢʔεέʔεΛ੔ཧ͢Δ ᶄຊ֨తͳσʔλࢪࡦͱͯ͠Ҋ݅Խ͢Δʂ  ɾͲ͏ͯ͠΋.71Ͱ͸ෆ౎߹͕͋Δ৔߹  ɾσʔλूܭޙͷۀ຿ຊମΛվળ͢Δ৔߹  ʢྫɿ31"ಋೖʣ

ʢϓϩάϥϛϯά΍ελʔτΞοϓͱಉ͡Ͱʣ  খ͘͞ςετ͠ͳ͕Βɺஈ֊తʹཁٻɾઃܭΛຏ͖ࠐΜͰߦ͘ Ҋ݅ϥΠϑαΠΫϧ W ϗϫΠτϘʔυ W ϗϫΠτϘʔυ ˠ4QSFBETIFFUʹ਺஋Ծஔ͖
ˠखಈ$47ड͚౉͠ W ϗϫΠτϘʔυ ˠ4QSFBETIFFUʹ਺஋Ծஔ͖ ˠखಈ$47ड͚౉͠ ˠࣗಈ഑৴ɾμογϡϘʔυ W ϗϫΠτϘʔυ W ϗϫΠτϘʔυ ˠ4QSFBETIFFUʹ਺஋Ծஔ͖ ˠखಈ$47ड͚౉͠ ˠࣗಈ഑৴ɾμογϡϘʔυ º º º º º

·ͱΊ ։ൃɿ#2Ͱ͍͔ʹϏδωεՁ஋ΛੜΈग़͔͢ ɹɹɾσʔλͷநग़ˍूܭۀ຿Λ΋ͬͱϥΫʹ͠Α͏ ɹɹɾখ͘͞ςετ͠ͳ͕Βཁٻ΍ઃܭΛஈ֊తʹਐԽͤ͞Α͏ ɹɹɾ#JH2VFSZˠ$47΍%BUB4UVEJPͰͳΜͱ͔ͳΔ

อक #2Ͱ͍͔ʹอकੑͷߴ͍γεςϜઃܭΛ͢Δ͔

ͭͷ؍఺ʹ͓͚Δอकੑ Ҋ݅ͱͯ͠͸σʔλநग़ɾूܭ͕ϘτϧωοΫʢطड़ʣ ͜ͷจ຺ʹ͓͍ͯγεςϜͷอकੑΛ͍͔ʹߴΊΔ͔ ᶃσʔλͷ࣋ͪํ ᶄՃ޻ॲཧ

σʔλߏ੒ 3૚ߏ଄  ࢀߟʰ10೥ઓ͑Δσʔλ෼ੳೖ໳ - SQLΛ෢ثʹσʔλ׆༻࣌୅Λੜ͖ൈ͘ʱ ɹɹɹɹɹɹBigQuery - Google
Cloud Platform Source  ݩσʔλͷίϐʔ Warehouse  ओཁࢦඪɾසग़σʔλ  தؒςʔϒϧ App  ֤πʔϧ͔Β௚઀ࢀর  ඇٕज़ऀ޲͚IF

σʔληοτͷ໋໊نଇͰ؅ཧ ྫɿsample__source__db ΞϯμʔείΞ2ͭͰཁૉΛ۠੾Δ  BEMʢCSSͷઃܭख๏ʣϥΠΫͳنଇ ϓϩμΫτ໊ source warehouse app
ϝΠϯDB αʔόϩά ΞΫηεղੳπʔϧ

૚ߏ଄ʹ͓͚ΔͭͷྲྀΕ "QQ ར༻ऀ޲͚*' 㲈σʔλϚʔτ 8BSFIPVTF υϝΠϯ஌ࣝΛද͢σʔλ 㲈σʔλ΢ΣΞϋ΢ε 4PVSDF
ݩσʔλͷίϐʔ 㲈σʔλϨΠΫ σʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕ ࣄۀ΍γεςϜͷ  શσʔλΛίϐʔ͢Δ μογϡϘʔυ΍  ϨϙʔτͱରʹͳΔ ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕ ूܭɾ෼ੳύλʔϯΛ੔ཧ  㲈8*5)۟ͷසग़σʔλ ᶃ ᶄ ᶅ ᶃ ᶃ ᶄ

ͭͷ؍఺ʹ͓͚Δอकੑ Ҋ݅ͱͯ͠͸σʔλநग़ɾूܭ͕ϘτϧωοΫʢطड़ʣ ͜ͷจ຺ʹ͓͍ͯγεςϜͷอकੑΛ͍͔ʹߴΊΔ͔ ᶃσʔλͷ࣋ͪํ ᶄՃ޻ॲཧ

  ɹॳظߏங࣌ ɹɾσʔλΫϨϯδϯάࡇΓ  ɹɾਓؒʹ༏͍͠+VQZUFS/PUFCPPLͰσόοά  ɹɾͦͷ··1ZUIPOεΫϦϓτΛస༻ ɹӡ༻ϑΣʔζ ɹɾ͋ΒΏΔՃ޻ॲཧΛ42-ʹҠ؅  ٕज़ཁૉ

Ճ޻ɾநग़ॲཧʹ͓͚Δ 42-ສೳ࿦ Ҡ২ੑ ɹɹɾ%BUBqPXɺCRίϚϯυɺಠࣗπʔϧɺ͍ͣΕ΋42-͸ͦͷ··Ҡ২Ͱ͖Δ   ɹɹɾΞυϗοΫͳσʔλ෼ੳɺࣗಈूܭॲཧɺػցֶशͷલॲཧͳͲɺ  ɹɹɹ༻్΍ར༻ऀʹΑͬͯπʔϧ͕มΘΔ͕ಉ͡42-Λ࢖͍ճͤΔͱԿ͔ͱศར   
ɹɹɹɹɹ˞1ZUIPOܥͰॻ͍ͨॲཧΛܥʹม׵͢ΔεΫϦϓτΛॻ͍ͯڏ͘͠ͳͬͨɻ(PPHMF͞ʔΜɻ ύϑΥʔϚϯε ɹɹɹΘ͟Θ͟σʔλΛ࣋ͪճ͢ΑΓ΋#2಺ͰܭࢉΛ׬݁ͤ͞Δ΄͏͕ॲཧ͕ૣ͍ ίετ ɹɹɹूܭ༻ʹෳ਺୆ίϯςφΛཱͯΔ৔߹ͱൺ΂Δͱɺ#2Ͱୟ͍ͨ΄͏͕҆Ձʹམͪண͘

ྫɿίϗʔτ෼ੳʹͯ೔෇Λॏϧʔϓͤ͞Δ ɹ݄೔ʹొ࿥ͨ͠ϢʔβʔͷԿ͕݄೔ʹ࢒͍ͬͯΔ͔ɺ݄೔ʹ࢒͍ͬͯΔ͔ɺʜʜҎԼϧʔϓ  ɹ݄೔ʹొ࿥ͨ͠ϢʔβʔͷԿ͕݄೔ʹ࢒͍ͬͯΔ͔ɺ݄೔ʹ࢒͍ͬͯΔ͔ɺʜʜҎԼϧʔϓ  ɹ݄೔ʹొ࿥ͨ͠ϢʔβʔͷԿ͕݄೔ʹ࢒͍ͬͯΔ͔ɺ݄೔ʹ࢒͍ͬͯΔ͔ɺʜʜҎԼϧʔϓ  ɹɹɹʜʜ  ɹɹҎԼϧʔϓ   ɹɹ1ZUIPO௚ྻ࣮ߦͰ࣌ؒˠ%BUBqPXͰฒྻ࣮ߦͯ͠෼ˠຊͷ42-ʹमਖ਼ͯ͠ඵ     
ɹɹूܭલͷϨίʔυΛશ෦Ϳͬ͜͵͍ͯHSPVQCZͰಉ݁͡ՌΛऔಘͰ͖Δɻ42-FSʢγʔΫϥʔʣͷ࿹ͷݟͤॴͰ͢ɻ ϧʔϓॲཧͩͬͯ42- IUUQTXXXPSFJMMZDPKQCPPLT

౷ܭॲཧɾػցֶश͸߇͍͑ͯΔ ͕͢͞ʹ1ZUIPOͷϥΠϒϥϦΛ࢖͍ͬͯΔ લॲཧ΍Ұ෦ͷ౷ܭղੳ͸42-Ͱ΋ग़དྷΔʜʜ͸ͣʜʜ͚ͩͲʜʜ  ݱঢ়͸+VQZUFS/PUFCPPLͰσόοάͯͦ͠ͷ··1ZUIPOεΫϦϓτΛ࢖͓ͬͯΓɺಛʹ໰୊͸ͳ͍ೝࣝ

8*5)۟ͷͭͭΛΦϒδΣΫτͷΑ͏ʹѻ͏  ωετͤͣ͞ʹ8*5)͚۟ͩͰෳࡶͳूܭϩδοΫΛ૊Έཱ͍ͯͯ͘ ෳࡶͳूܭϩδοΫͷৄࡉઃܭɾ؅ཧ JOTQJSFECZlσʔλϒϨϯσΟϯάˍ༧ଌ෼ੳπʔϧzʰ"MUFSZYʱ

υΩϡϝϯτΛ͍͔ʹ؅ཧɾڞ༗͢Δ͔ +VQZUFS (JUIVCͷ42-Ϩγϐɾ෼ੳϨϙʔτͩͱӡ༻͕ਏ͘ͳ͖ͬͯͨ ɾϑΝΠϧ͕ॏ͗ͯ͢GFUDI͕ਏ͍ˍ։͘ͷ͕஗͍  ɾ໘౗ष͕ͬͯڞ༗ͤͣʹϩʔΧϧͰ׬݁͢Δਓ͕૿͑Δ  ɾϨϙʔτ͕૿͑Δͱ෼ྨ͕ҰےೄͰ͸͍͔ͳ͘ͳͬͯ͘Δ  ɾෳࡶͳ42-͸ͦ΋ͦ΋42-Λղಡ͢Δͷ͕େมʢ͔ͩΒͦ͜ઃܭਤϕʔεʣ     ʲ8*1ʳ͜͏͍͏πʔϧΛ࡞͍ͬͯΔ
ɾ42-ˠ1MBOU6.-ʢઃܭਤʣˠ(JUCPPLʢ42-Ϩγϐʣ·Ͱࣗಈੜ੒  ɾ·ͩ1P$ͷϞοΫΞοϓ  ɾ42-Ϩγϐ؅ཧͷϕετϓϥΫςΟεΛ୭͔ڭ͍͑ͯͩ͘͞

·ͱΊ อकɿ#2Ͱ͍͔ʹอकੑͷߴ͍γεςϜઃܭΛ͢Δ͔ ɾσʔλ׆༻ͷటष͍ݱ৔ͱͯ͠͸42-ࢤ޲ʹճؼͯ͠͠·ͬͨ ɾେ఍ͷूܭॲཧ͸ҙ֎ͱ42-ʹͰ͖ͯ͠·͏

ӡ༻ #2ར༻࣌ʹϋϚͬͨམͱ݀͠ͱͦͷରԠํ๏

ӡ༻#2ར༻࣌ʹϋϚͬͨམͱ݀͠ͱͦͷରԠํ๏ ςʔϒϧ೔෇෼ׂͷॊೈੑʹજΉ᠘ &NCVMLಉ࣮࣌ߦ਺ʹΑΔʮSBUF-JNJU&YDFFEFEʯ σʔλ࿈ܞ࣌ͷʮ4&-&$5 ʯ͸ةݥ ΍ͬͺΓ͓ͳ͡Έ#2ίετͷ͓࿩ ͷຊͰɺ͓ૹΓ͍ͨ͠·͢ɻ

($1 ࣗࣾ؀ڥ γεςϜߏ੒ਤ αΠτ%# &NCVML #JH2VFSZ ·ͣ͸γεςϜߏ੒͔Β 4PVSDF
૚ 8BSFIP VTF૚ "QQ૚ 5BCMF ϚεΩϯάࡁΈ  7JFX

ൃੜࣄ৅ #JH2VFSZར༻ऀ͔Βͷ໰͍߹ΘͤͰൃ֮ ೔෇Ͱ෼ׂ͍ͯͨ͠ςʔϒϧ΁ͷ4&-&$5Ͱ ܕΤϥʔʹͳΔ ݪҼ σʔλιʔεͷܕ͕มΘͬͨࣄʹΑͬͯ  ಛఆ೔Ҏ߱ɺྻͷܕ͕มΘͬͯ͠·ͬͨ ܕ΍ΧϥϜ͕มΘΔ͜ͱ΋
ςʔϒϧ೔෇෼ׂͷॊೈੑʹજΉ᠘ SELECT id, comment FROM `source__db.view_table_*` WHERE accountId = 123456 Error: Cannot read field 'comment' of type STRING as INT64

ରԠ ର৅ΧϥϜͷܕΛ$"45ͯ͠ચ͍ସ͑Λ࣮ࢪ   ڭ܇ ೔෇Λςʔϒϧ໊ͷαϑΟοΫεʹ෇༩͢Δख๏͸  εΩʔϚఆٛͷॊೈੑΛ֬อͰ͖Δ͕ɺෛ࠴Λࠞೖͤ͞΍͍͢ͷͰ஫ҙ͕ඞཁ ύʔςΟγϣϯΛ༻͍ͨ෼ׂํࣜͷ࠾༻΍ɺ໌ࣔతͳܕࢦఆͳͲΛ࣮ࢪ΋ߟྀ͢Δ bq
query --allow_large_results --use_legacy_sql=false --replace -- destination_table {table} "SELECT a, b, c, CAST(d AS INT64) AS D, E, F FROM {table}” ςʔϒϧ೔෇෼ׂͷॊೈੑʹજΉ᠘

&NCVMLಉ࣮࣌ߦ਺ʹΑΔʮSBUF-JNJU&YDFFEFEʯ ൃੜࣄ৅ ($1֎ͷ؀ڥ͔Β&NCVMLͰNZTRMˠCJHRVFSZ࿈ܞΛ࣮ࢪ͢ΔͱSBUF-JNJU&YDFFEFE͕ଟൃ   ݪҼ &NCVMLͷಉ࣮࣌ߦλεΫ਺͕ଟ͘ɺ#JH2VFSZͷSBUFMJNJUʹҾ͔͔ͬΓ΍͘͢ͳ͍ͬͯͨ &SSPSPSHKSVCZFYDFQUJPOT3BJTF&YDFQUJPO &SSPS
GBJMFEEVSJOHXBJUJOHB-PBEKPC HFU@KPC 999999 FNCVML@MPBE@KPC@GFCFDCDGDEB FSSPST <\SFBTPOSBUF-JNJU&YDFFEFE MPDBUJPOUBCMFXSJUF NFTTBHF&YDFFEFESBUFMJNJUTUPPNBOZUBCMFVQEBUFPQFSBUJPOT GPSUIJTUBCMF'PSNPSFJOGPSNBUJPO TFFIUUQTDMPVEHPPHMFDPNCJHRVFSZUSPVCMFTIPPUJOHFSSPST^> αΠτ%# &NCVML #JH2VFSZ ͜ͷॲཧͰΤϥʔ

&NCVMLಉ࣮࣌ߦ਺ʹΑΔʮSBUF-JNJU&YDFFEFEʯ ରԠ ($4͔Βͩͱฒྻϩʔυ͕ՄೳͳͨΊɺFNCVMLPVUQVUCJHRVFSZͷ  HDT@CVDLFUΦϓγϣϯΛ༗ޮԽ͠ɺ($4ܦ༝Ͱ#JH2VFSZʹ࿈ܞ͢Δ ڭ܇ &NCVMLͰσʔλΛ($1֎͔Β#2ʹ࿈ܞ͢Δ৔߹͸ʮHDT@CVDLFUʯΛ༗ޮԽ͢Δ ($1ελοΫʢ($4 #2ʣͰ׬݁͢ΔΞʔΩςΫνϟΛݕ౼͢Δ
αΠτ%# &NCVML #JH2VFSZ ($4ܦ༝ͱ͢Δ ($4

σʔλ࿈ܞ࣌ͷʮ4&-&$5 ʯ͸ةݥ ൃੜࣄ৅ #2σʔλ࿈ܞόον͕ύʔεΤϥʔͰಥવҟৗऴྃ PSHFNCVMLFYFD1BSUJBM&YFDVUJPO&YDFQUJPOPSHKSVCZFYDFQUJPOT3BJTF&YDFQUJPO &SSPS GBJMFEEVSJOHXBJUJOHB-PBEKPC
HFU@KPC SUD[LLHP FNCVML@MPBE@KPC@DBFFDFGDFEECE FSSPST<\SFBTPOJOWBMJE MPDBUJPOHT 9999999DGFGDBCEFDEFBBDB NFTTBHF&SSPSXIJMFSFBEJOHEBUB FSSPSNFTTBHF$47UBCMF FODPVOUFSFEUPPNBOZFSSPST HJWJOHVQ3PXTFSSPST1MFBTFMPPLJOUPUIFFSSPSTUSFBNGPSNPSFEFUBJMT^ \SFBTPOJOWBMJE MPDBUJPOHT9999999DGFGDBCEFDEFBBDB NFTTBHF&SSPSXIJMFSFBEJOHEBUB FSSPSNFTTBHF&SSPSEFUFDUFEXIJMFQBSTJOHSPXTUBSUJOHBUQPTJUJPO&SSPS#BEDIBSBDUFS "4$** FODPVOUFSFE^> αΠτ%# &NCVML #JH2VFSZ ͜͜ͰύʔεΤϥʔ

σʔλ࿈ܞ࣌ͷʮ4&-&$5 ʯ͸ةݥ ݪҼ #2σʔλ࿈ܞόονͰ͸࿈ܞର৅ͷશΧϥϜΛʮ4&-&$5 ʯͰ#2ʹऔࠐΜͰ͍ͨ εΩʔϚमਖ਼ʹΑΓϢʔβͷ౤ߘʹؔ͢ΔΧϥϜΛ৽ن௥Ճͨ͠ͱ͜Ζ  ɹલॲཧ͕ඞཁͳจࣈྻ͕େྔʹࠞೖͨ͠ʢʮaʯ΍ʮόοΫεϥογϡʯʣ  αΠτ%#
&NCVML #JH2VFSZ લॲཧ͕ඞཁͳσʔλ͕࿈ܞ͞Εͨ ɹςʔϒϧεΩʔϚมߋ͕ൃੜ

σʔλ࿈ܞ࣌ͷʮ4&-&$5 ʯ͸ةݥ ରԠ ɹ7JFX͔ΒσʔλΛநग़࣌ʹʮ4&-&$5 ʯΛ΍ΊͯΧϥϜࢦఆΛ࣮ࢪ͢Δ ɹ%#͔Βநग़͢Δ*/165ॲཧ࣌ʹ2605&ॲཧΛ௥Ճ SELECT maskMailAddress,
CASE WHEN comment IS NULL THEN NULL else QUOTE(comment) END AS comment, createdAt, αΠτ%# &NCVML #JH2VFSZ நग़ΧϥϜΛ ໌ࣔతʹ͢Δ 2605&ॲཧΛ ௥Ճ͢Δ

σʔλ࿈ܞ࣌ͷʮ4&-&$5 ʯ͸ةݥ ڭ܇ σʔλ࿈ܞ࣌ʹ҆қͳʮ ʯࢦఆͳΔ΂͘ආ͚ɺ  ࿈ܞର৅ΧϥϜΛ໌ࣔతʹͨ͠ํ͕ӨڹൣғΛίϯτϩʔϧ͠΍͍͢ ʢ͋ΒͨΊͯʣϢʔβೖྗͷจষͷ࿈ܞ͸৻ॏʹʢద੾ͳલॲཧΛ࣮ࢪʣ αΠτ%#
&NCVML #JH2VFSZ εΩʔϚมߋʹӨڹΛड͚ʹ͘͘ ར༻ऀ΍֎෦࿈ܞʹӨڹΛ༩͑ʹ͍͘ઃܭ ։ൃऀ ར༻ऀ

΍ͬͺΓ͓ͳ͡Έ#2ίετͷ͓࿩ ൃੜࣄ৅ #JH2VFSZίετ͕͔͞ΜͰ͠·ͬͨɻɻɻʢલ݄ͷ໿ഒʣ ݪҼ ಛఆͷ೔࣍Ϩϙʔτόονʹͯൃߦ͞ΕΔΫΤϦ࣮ߦճ਺͕ɺऔಘର৅ʹΑΓ૊߹ͤ ͕ංେԽͨ݁͠Ռɺ߹ܭಡࠐσʔλྔ͕૿Ճͯ͠͠·ͬͨɻ ࣮ߦ౰ͨΓɹ ࢦඪ º छྨ
º ৽چฒߦӡ༻ ճൃߦ͞Ε͍ͯͨɻɻɻ

΍ͬͺΓ͓ͳ͡Έ#2ίετͷ͓࿩ ରԠΫΤϦྔΛݮΒ͢ ಉ͡ूܭΛߦ͍ͬͯΔ෦෼Λ੔ཧˠࣄલॲཧͰ࣮ମԽ͓ͯ͘͠  ϜμͳଟॏूܭΛݮΒͯ͠ಡࠐαΠζΛݮΒ͢ IUUQTDMPVEHPPHMFDPNCJHRVFSZEPDTCFTUQSBDUJDFTDPTUT IMKBNBUFSJBMJ[F@RVFSZ@SFTVMUT@JO@TUBHFT ࢦඪผूܭ ڞ௨ूܭ
ࢦඪผूܭ ڞ௨ूܭ ࢦඪผूܭ ڞ௨ूܭ ࢦඪผूܭ ڞ௨ूܭ ࢦඪผूܭ ڞ௨ूܭ ࢦඪผूܭ ࢦඪผूܭ ࢦඪผूܭ ڞ௨ूܭ ࢦඪผूܭ ࢦඪผूܭ

΍ͬͺΓ͓ͳ͡Έ#2ίετͷ͓࿩ ରԠϞχλϦϯά͢Δʢݕ஌͢Δʣ #JH2VFSZͷΫΤϦྔɾར༻࣮ଶΛϞχλϦϯάͰ͖ΔΑ͏ʹ͢Δ  ൃߦΫΤϦຖͷίετ͸؂ࠪϩάΛऔΓࠐΉ͜ͱͰूܭͰ͖Δ  IUUQTDMPVEHPPHMFDPNCJHRVFSZBVEJUMPHT IMKB

΍ͬͺΓ͓ͳ͡Έ#2ίετͷ͓࿩ ରԠίετ؍఺Λӡ༻ʹ૊ΈࠐΉ ։ൃϓϩηε಺ʹίετ؍఺ΛݟཱͯΛ੝ΓࠐΉ ɾࠓճ͸1VMM3FRVFTU࣌ʹίετ؍఺߲໨Λ௥Ճ ɾݟཱͯ͸࣮ߦ౰ͨΓͷಡࠐྔº࣮ߦස౓Ͱߦ͏ ࢼݧ ੡଄ ઃܭ
ཁ݅ఆٛ ։ൃϓϩηεʹίετ؍఺໌ࣔతʹ͢Δ͜ͱ͕େ੾

΍ͬͺΓ͓ͳ͡Έ#2ίετͷ͓࿩ ڭ܇ #2ϦϑΝϨϯεʮ#JH2VFSZͷϕετϓϥΫςΟεඅ༻Λ཈͑Δʯ IUUQTDMPVEHPPHMFDPNCJHRVFSZEPDTCFTUQSBDUJDFTDPTUT IMKB

΍ͬͺΓ͓ͳ͡Έ#2ίετͷ͓࿩ ڭ܇ ίετ࡟ݮͷͨΊʹ΋தؒςʔϒϧ΁ͷ෼ׂ͸༗༻ ɹɹɹɹɹɹBigQuery - Google Cloud Platform
Source  ݩσʔλͷίϐʔ Warehouse  ओཁࢦඪɾසग़σʔλ  தؒςʔϒϧ App  ֤πʔϧ͔Β௚઀ࢀর  ඇٕज़ऀ޲͚IF

΍ͬͺΓ͓ͳ͡Έ#2ίετͷ͓࿩ ڭ܇ ίετͷաڈௐࠪˍকདྷ༧ଌΛͰ͖Δঢ়ଶʹ͢Δ  ؂ࠪϩά࿈ܞˠ%BUB4UVEJPΛ࢖ͬͯՄࢹԽ IUUQTDMPVEHPPHMFDPNCJHRVFSZBVEJUMPHT IMKB

·ͱΊ ӡ༻ɿ#2ར༻࣌ʹϋϚͬͨམͱ݀͠ͱͦͷରԠํ๏ ɾ#JHRVFSZͷϦϑΝϨϯε͸ॆ࣮͍ͯͯ͠ɺ͍͍ͩͨ౴͕͑͋Δ ɾ#2पลΛߏ੒͢Δ($1ͷελοΫ΋ॆ࣮͍ͯ͠ΔͷͰ  ɹੵۃతʹར༻͍ͯͬͨ͠ํ͕ӡ༻ָ͕͔΋͠Ε·ͤΜ  

࠷ޙʹ

ຊ೔͸ͳͨ͜͠ͱ ΏΔ΍͔ͳ  σʔλج൫׆༻ͷ  τϥΠΞϯάϧ ௨শɿΏΔΩό ϯ˚ ։ൃ #2Ͱ͍͔ʹϏδωεՁ஋Λ 

΍͍͖ͬͯ·͠ΐ͏ ࠓճͷ͸ͳ͠ ɾ౰ͨΓલʹ΍ͬͨΒɺ౰ͨΓલʹࠔͬͯɺ  ɹ౰ͨΓલͷରԠ͕ඞཁʹͳͬͨʢͦΕ͕େࣄʣ ɾϓϥΫςΟε͸#JH2VFSZʹґଘ͍ͯ͠Δ  ɾΤοηϯε͸ผπʔϧͰ΋ಉ͡͸ͣ ɾΠϯϑϥӡ༻Λ#JH2VFSZʹؙ౤͛Ͱ͖Δ͔Βͦ͜  ɹαʔϏε׆༻؍఺Ͱ৭ʑ੔උ͢Δ༨ྗ͕ੜ·Ε͍ͯΔ ɾѹ౗తײँ

ʢػձ͕͋Ε͹ͥͻօ༷ͱҰॹʹʣ ΍Γ͍ͨ͜ͱ ˞ݸਓͷݟղͰ͢ #JH2VFSZΛ࢖͍౗ͨ͢ΊͷपลπʔϧΛ044ͱͯ͠੔උ͍͖͍ͯͨ͠  ʢ஍ຯ͚ͩͲʣσʔλ׆༻ͷͨΊʹݱ৔Ͱඞཁͳۀ຿͸ࢁ΄Ͳ͋Δ ɹʢྫʣ  ɾઃఆϑΝΠϧΛॻ͖׵͑Δ͚ͩͰσʔλج൫Λ։ൃˍӡ༻Ͱ͖ΔΑ͏ͳπʔϧ܈  ɾͱ͍͏͔σʔλ׆༻ͷͨΊͷҭ੒ϝχϡʔͳͲυΩϡϝϯτ܈ΛؚΊͯҰࣜΛύοέʔδԽ͍ͨ͠   ͋ͪͪ͜Ͱ࢖ͬͯ΋Β͏ˠࠃ಺࢈ۀશମʹ͓͚Δσʔλ׆༻Λଅਐˠ೔ຊܦࡁΛ੝Γ্͍͛ͨ 
೥ޙʹৼΓฦͬͯʮ͋ͷऔΓ૊Έ͕͔͋ͬͨΒࠓͷ೔ຊ͕͋Δʯͱࢥ͑Δ͜ͱΛ΍Γ͍ͨ

ʲએ఻ʳνʔϜϝΠτืूத ɾσʔλج൫ͷ։ൃɾӡ༻ʹ͓͚ΔϕετϓϥΫςΟεΛ௥ٻ͢Δ43&ΤϯδχΞ ɾσʔλ׆༻ʹΑΔιϦϡʔγϣϯఏڙͰརӹ૑ग़Λ໨ࢦ͢"1ΤϯδχΞɾ.-ΤϯδχΞ ɾσʔλ෼ੳʹΑΔҙࢥܾఆͰϓϩμΫτ։ൃΛࢧ͑ΔΞφϦετɾαΠΤϯςΟετ ɾσʔλҊ݅ਪਐ΍σʔλۦಈจԽͷৢ੒Λ୲͏σΟϨΫλʔɾۀ຿σβΠφʔ զͦ͜͸ͱ͍͏ํ͕͍Βͬ͠Ό͍·ͨ͠Βɺͥͻ͓ؾܰʹ!ZV[VUBT·Ͱ͓੠ֻ͚͍ͩ͘͞ɻ

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ IUUQTXXXQFYFMTDPNQIPUPQFSTPOIPMEJOHDIBSUBOECBSHSBQI

ゆるやかにBigQuery（データ基盤）を安定活用するプラクティス集 #bq_sushi / 20180424

ゆるやかにBigQuery（データ基盤）を安定活用するプラクティス集 #bq_sushi / 20180424

More Decks by yuzutas0

Other Decks in Technology

Featured

Transcript