データマネジメントがちょっと楽になるBigQuery監査ログの使い方

社内のデータマネージメントにBigQueryの監査ログを活用する話しです。

datatech-jp Casual Talks #3で発表。
https://datatech-jp.connpass.com/event/252062/

資料内のリンク

1. データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog https://tech-blog.monotaro.com/entry/2022/03/04/090000

2. データレイク構築後の四方山話 #DPM / 20190905
https://speakerdeck.com/yuzutas0/20190905

宣伝
Twitter : https://twitter.com/__hiza__
Team Blog: https://note.com/mercari_data
Meety: https://meety.net/matches/OxHNFIEoIlJk

Transcript

1. 1 σʔλϚωδϝϯτ͕ͪΐͬͱָʹͳΔ BigQuery؂ࠪϩάͷ࢖͍ํ 2022/07/27 Nagai Shinya (@__hiza__)
2. 2 • ӬҪ৳໻ (@__hiza__) • גࣜձࣾϝϧΧϦ / Analytics Infra Team ॴଐ • Analystʹཱ͍ۙ৔Ͱ෼ੳ؀ڥͷ੔උΛਐΊ͍ͯ·͢ ൃදऀ
3. 3 ϝϧΧϦͷσʔλ׆༻ঢ়گ ར༻ऀ͕ଟ͘ɺ༻్͕෯޿͍ → σʔλΛͲ͏࢖͍ͬͯΔͷ͔೺Ѳ͠ʹ͍͘ ج൫ BigQuery ར༻ऀ਺ 900໊/݄ σʔληοτ਺ 1500+ ༻్ σʔλ෼ੳɺMLɺϚʔέςΟϯάɺΧε λϚʔαϙʔτͳͲͳͲ
4. 4 ҎԼ2ͭͷϩάͷ͜ͱΛࢦͯ͠·͢ • INFORMATION_SCHEMA.JOBS_BY_* • BigQuery audit log (Data access) ڞ௨఺ • ͩΕ͕ɺ͍ͭɺͲͷςʔϒϧʹΞΫηεͨ͠ͷ͔ɺϩά͕औΕ Δɻ ͦΕͧΕͷओͳϝϦοτ • Audit log → view΁ͷΞΫηεϩά͕औΕΔɻྻ୯ҐͷΞΫηε ϩά͕औΕΔɻ • JOBS_BY_* → schema͕୯७Ͱूܭ͠΍͍͢ɻ גࣜձࣾϞϊλϩ΢͞·ͷ 
 σʔλ؅ཧʹ໾ཱͭϝλσʔλʹؔ͢ΔษڧձΛࣾ಺֎ Ͱ։࠵͠·ͨ͠ - MonotaRO Tech Blogͷهࣄ΋͓͢͢Ί Ͱ͢ ؂ࠪϩάͱ͸?
5. 5 සൟʹ࢖ΘΕ͍ͯΔςʔϒϧΛௐ΂Δ
6. 6 • ৭ʑվળ͍ͨ͠ςʔϒϧ͕͋Δ͕ɺશͯΛҰ౓ʹվળ͢Δࣄ͸Ͱ͖ͳ͍ɻ • Ͳͷςʔϒϧ͕ॏཁͳͷ͔஌Γ͍ͨɻ Α͋͘Δ՝୊
7. 7 • ϝϧΧϦͷBigQueryʹ͋Δσʔληοτ਺ɻ ◦ ͓Αͦ1500+ ◦ શͯͷςʔϒϧΛҰ౓ʹ࢖͍΍͘͢վળ͢Δࣄ͸Ͱ ͖ͳ͍ɻ • ςʔϒϧ͝ͱʹར༻ऀ਺Λूܭ͢Δͱ... ◦ BigQueryϢʔβʔͷ1ׂҎ্͕࢖ͬͨςʔϒϧ͸40 ΄Ͳʹա͗ͳ͔ͬͨɻ ׆༻ྫ ςʔϒϧ͝ͱʹར༻ऀ਺Λूܭͯ͠ϥϯΩϯά ňͲ͜ͷվળ͔ΒऔΓ૊Ήͱྑ͍ͷ͔ʼnٞ࿦ͷ͖͔͚ͬʹͳΔ ͜ͷ෼ੳख๏͸2019೥ʹyuzutas0͞Μ͕঺հͨ͠΋ͷͰ͢ https://speakerdeck.com/yuzutas0/20190905
8. 8 มߋͷӨڹΛௐ΂Δ
9. 9 • ʮςʔϒϧͷ࢓༷มߋͷӨڹൣғΛચ͍ग़͍ͨ͠ʯ ◦ ྫ: ΧϥϜ໊ΛมߋˠͦͷΧϥϜΛࢀর͢ΔΫΤϦ͕ΤϥʔʹͳΔɻ
 • BigQuery্ʹ͋Δσʔληοτʹ͸publish͞ΕͨAPIͷΑ͏ͳ৻ॏͳมߋ͕ٻΊΒ ΕΔɻ ◦ ΞΫηεݖ͕͋Δਓ͢΂ͯʹӨڹ͕͋Γ͑ΔͨΊɻ Α͋͘Δ՝୊
10. 10 • ن໛ͷݟੵ΋Γ ◦ มߋ͢ΔΧϥϜΛԿਓ͕ͲΜͳස౓Ͱ࢖ͬͯ ͍Δ͔ɻ ◦ ར༻ऀ͕ଟ͍ςʔϒϧͰ͋ͬͯ΋ɺΧϥϜ୯Ґ ͰݟΔͱͦΕ΄Ͳ࢖ΘΕ͍ͯͳ͍৔߹΋͋ Δɻ • ӨڹΛड͚Δਓͷಛఆ ◦ มߋ͢ΔΧϥϜΛ࢖ͬͨࣄ͕͋ΔਓͷΞΧ΢ ϯτΛಛఆͰ͖Δɻ ׆༻ྫ ྻ͝ͱͷΞΫηεঢ়گΛௐ΂Δ Өڹͷن໛΍ɺӨڹΛड͚Δਓ͕ௐ΂΍͘͢ͳΔ
11. 11 • ૊৫৘ใͱͷඥ෇͚ ◦ ؂ࠪϩάʹ͸ΞΫηεͨ͠ਓ ͷΞΧ΢ϯτ৘ใ(email)͕ ࢒Δɻ ◦ ਓࣄDBΛleft join͢Δ͜ͱͰ νʔϜ୯Ґͷ෼ੳ͕Ͱ͖Δɻ • ӨڹΛड͚ΔνʔϜΛಛఆͰ͖ Δɻ ◦ ྫ: ໼ҹͰࣔͨ͠ྻ͸ओʹ Team D͕࢖͍ͬͯΔ ׆༻ྫ ྻ͝ͱͷΞΫηεঢ়گΛɺνʔϜ୯ҐͰूܭ ӨڹΛड͚ΔνʔϜΛௐ΂΍͘͢ͳΔ
12. 12 ࡞ͬͨ෺͕࢖ΘΕ͍ͯΔͷ͔ௐ΂Δ
13. 13 • ࣦഊྫ ◦ ར༻ऀ͕૿͑ͳ͍ɻ࢖ΘΕ͍ͯͳ͍ɻ ͋Βͨʹ࡞੒ͨ͠ςʔϒϧͷར༻ऀ਺Λ೔ຖʹूܭ ࣦഊʹؾ͚ͮΔɻňԿ͕μϝͩͬͨͷ͔?ʼnňࠓޙ΋ϝϯς͢΂͖͔?ʼnٞ࿦ͷ͖ͬ ͔͚ʹͳΔɻ • ੒ޭྫ ◦ ೔͕ܦͭʹͭΕͯར༻ऀ͕૿͍͑ͯΔ

14. 14 ؾ͖ͮ ͢΂ͯͷςʔϒϧͷதͰ΋
 Α͘࢖ΘΕΔͷ͸͘͝Ұ෦ σʔλͷར༻ʹ͍ͭͯྑ͘ݱΕΔ܏޲ˠ ”ॏཁͳͷ͸શମͷதͷҰ෦” ӡ༻ʹ͓͍ͯ͸ɺ
 ॏཁͳσʔλΛಛఆͯ͠ɺ ूதతʹϝϯςφϯεɾվ ળ͢Δͷ͕ޮ཰త Α͘࢖ΘΕΔςʔϒϧͷதͰ΋
 Α͘࢖ΘΕΔΧϥϜ͸͘͝Ұ෦ <
15. 15 • Α͔ͬͨΒTwitter ϑΥϩʔ͓ئ͍͠·͢ ◦ @__hiza__ Ξϯμʔόʔ͸2ͭͣͭ! ◦ ϝϧΧϦͰͷ෼ੳ؀ڥ੔උʹ͍ͭͯϒϩάهࣄͷ౤ߘ΍ొஃͳͲΛࠂ஌͠·͢
 • ϒϩά΋ݟͯݟ͍ͯͩ͘͞ ◦ Mercari Analytics BlogͰ🔍 ◦ σʔλͷ੔උ͚ͩͰͳ͘෼ੳͷهࣄ΋͋Γ·͢ɻ
 • MeetyͰ͓࿩͠·͠ΐ͏ ◦ اۀͷσʔλ෼ੳ΍σʔλͷ؅ཧʹ͍ͭͯΧδϡΞϧʹ࿩͍ͨ͠Ͱ͢! એ఻