データマネジメントがちょっと楽になるBigQuery監査ログの使い方

社内のデータマネージメントにBigQueryの監査ログを活用する話しです。

datatech-jp Casual Talks #3で発表。
https://datatech-jp.connpass.com/event/252062/

資料内のリンク

1. データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog https://tech-blog.monotaro.com/entry/2022/03/04/090000

2. データレイク構築後の四方山話 #DPM / 20190905
https://speakerdeck.com/yuzutas0/20190905

宣伝
Twitter : https://twitter.com/__hiza__
Team Blog: https://note.com/mercari_data
Meety: https://meety.net/matches/OxHNFIEoIlJk

Transcript

1. 1
   σʔλϚωδϝϯτ͕ͪΐͬͱָʹͳΔ
   BigQuery؂ࠪϩάͷ࢖͍ํ
   2022/07/27
   Nagai Shinya (@__hiza__)
   

   View Slide

2. 2
   ● ӬҪ৳໻ (@__hiza__)
   ● גࣜձࣾϝϧΧϦ / Analytics Infra Team ॴଐ
   ● Analystʹཱ͍ۙ৔Ͱ෼ੳ؀ڥͷ੔උΛਐΊ͍ͯ·͢
   ൃදऀ
   

   View Slide

3. 3
   ϝϧΧϦͷσʔλ׆༻ঢ়گ
   ར༻ऀ͕ଟ͘ɺ༻్͕෯޿͍ → σʔλΛͲ͏࢖͍ͬͯΔͷ͔೺Ѳ͠ʹ͍͘
   ج൫ BigQuery
   ར༻ऀ਺ 900໊/݄
   σʔληοτ਺ 1500+
   ༻్
   σʔλ෼ੳɺMLɺϚʔέςΟϯάɺΧε
   λϚʔαϙʔτͳͲͳͲ
   

   View Slide

4. 4
   ҎԼ2ͭͷϩάͷ͜ͱΛࢦͯ͠·͢
   ● INFORMATION_SCHEMA.JOBS_BY_*
   ● BigQuery audit log (Data access)
   ڞ௨఺
   ● ͩΕ͕ɺ͍ͭɺͲͷςʔϒϧʹΞΫηεͨ͠ͷ͔ɺϩά͕औΕ
   Δɻ
   ͦΕͧΕͷओͳϝϦοτ
   ● Audit log → view΁ͷΞΫηεϩά͕औΕΔɻྻ୯ҐͷΞΫηε
   ϩά͕औΕΔɻ
   ● JOBS_BY_* → schema͕୯७Ͱूܭ͠΍͍͢ɻ
   גࣜձࣾϞϊλϩ΢͞·ͷ
   

   σʔλ؅ཧʹ໾ཱͭϝλσʔλʹؔ͢ΔษڧձΛࣾ಺֎
   Ͱ։࠵͠·ͨ͠ - MonotaRO Tech Blogͷهࣄ΋͓͢͢Ί
   Ͱ͢
   ؂ࠪϩάͱ͸?
   

   View Slide

5. 5
   සൟʹ࢖ΘΕ͍ͯΔςʔϒϧΛௐ΂Δ
   

   View Slide

6. 6
   ● ৭ʑվળ͍ͨ͠ςʔϒϧ͕͋Δ͕ɺશͯΛҰ౓ʹվળ͢Δࣄ͸Ͱ͖ͳ͍ɻ
   ● Ͳͷςʔϒϧ͕ॏཁͳͷ͔஌Γ͍ͨɻ
   Α͋͘Δ՝୊
   

   View Slide

7. 7
   ● ϝϧΧϦͷBigQueryʹ͋Δσʔληοτ਺ɻ
   ○ ͓Αͦ1500+
   ○ શͯͷςʔϒϧΛҰ౓ʹ࢖͍΍͘͢վળ͢Δࣄ͸Ͱ
   ͖ͳ͍ɻ
   ● ςʔϒϧ͝ͱʹར༻ऀ਺Λूܭ͢Δͱ...
   ○ BigQueryϢʔβʔͷ1ׂҎ্͕࢖ͬͨςʔϒϧ͸40
   ΄Ͳʹա͗ͳ͔ͬͨɻ
   ׆༻ྫ ςʔϒϧ͝ͱʹར༻ऀ਺Λूܭͯ͠ϥϯΩϯά
   ňͲ͜ͷվળ͔ΒऔΓ૊Ήͱྑ͍ͷ͔ʼnٞ࿦ͷ͖͔͚ͬʹͳΔ
   ͜ͷ෼ੳख๏͸2019೥ʹyuzutas0͞Μ͕঺հͨ͠΋ͷͰ͢
   
   
   https://speakerdeck.com/yuzutas0/20190905
   

   View Slide

8. 8
   มߋͷӨڹΛௐ΂Δ
   

   View Slide

9. 9
   ● ʮςʔϒϧͷ࢓༷มߋͷӨڹൣғΛચ͍ग़͍ͨ͠ʯ
   ○ ྫ: ΧϥϜ໊ΛมߋˠͦͷΧϥϜΛࢀর͢ΔΫΤϦ͕ΤϥʔʹͳΔɻ

   ● BigQuery্ʹ͋Δσʔληοτʹ͸publish͞ΕͨAPIͷΑ͏ͳ৻ॏͳมߋ͕ٻΊΒ
   ΕΔɻ
   ○ ΞΫηεݖ͕͋Δਓ͢΂ͯʹӨڹ͕͋Γ͑ΔͨΊɻ
   Α͋͘Δ՝୊
   

   View Slide

10. 10
    ● ن໛ͷݟੵ΋Γ
    ○ มߋ͢ΔΧϥϜΛԿਓ͕ͲΜͳස౓Ͱ࢖ͬͯ
    ͍Δ͔ɻ
    ○ ར༻ऀ͕ଟ͍ςʔϒϧͰ͋ͬͯ΋ɺΧϥϜ୯Ґ
    ͰݟΔͱͦΕ΄Ͳ࢖ΘΕ͍ͯͳ͍৔߹΋͋
    Δɻ
    ● ӨڹΛड͚Δਓͷಛఆ
    ○ มߋ͢ΔΧϥϜΛ࢖ͬͨࣄ͕͋ΔਓͷΞΧ΢
    ϯτΛಛఆͰ͖Δɻ
    ׆༻ྫ ྻ͝ͱͷΞΫηεঢ়گΛௐ΂Δ
    Өڹͷن໛΍ɺӨڹΛड͚Δਓ͕ௐ΂΍͘͢ͳΔ
    

    View Slide

11. 11
    ● ૊৫৘ใͱͷඥ෇͚
    ○ ؂ࠪϩάʹ͸ΞΫηεͨ͠ਓ
    ͷΞΧ΢ϯτ৘ใ(email)͕
    ࢒Δɻ
    ○ ਓࣄDBΛleft join͢Δ͜ͱͰ
    νʔϜ୯Ґͷ෼ੳ͕Ͱ͖Δɻ
    ● ӨڹΛड͚ΔνʔϜΛಛఆͰ͖
    Δɻ
    ○ ྫ: ໼ҹͰࣔͨ͠ྻ͸ओʹ
    Team D͕࢖͍ͬͯΔ
    ׆༻ྫ ྻ͝ͱͷΞΫηεঢ়گΛɺνʔϜ୯ҐͰूܭ
    ӨڹΛड͚ΔνʔϜΛௐ΂΍͘͢ͳΔ
    

    View Slide

12. 12
    ࡞ͬͨ෺͕࢖ΘΕ͍ͯΔͷ͔ௐ΂Δ
    

    View Slide

13. 13
    ● ࣦഊྫ
    ○ ར༻ऀ͕૿͑ͳ͍ɻ࢖ΘΕ͍ͯͳ͍ɻ
    ͋Βͨʹ࡞੒ͨ͠ςʔϒϧͷར༻ऀ਺Λ೔ຖʹूܭ
    ࣦഊʹؾ͚ͮΔɻňԿ͕μϝͩͬͨͷ͔?ʼnňࠓޙ΋ϝϯς͢΂͖͔?ʼnٞ࿦ͷ͖ͬ
    ͔͚ʹͳΔɻ
    ● ੒ޭྫ
    ○ ೔͕ܦͭʹͭΕͯར༻ऀ͕૿͍͑ͯΔ

    

    View Slide

14. 14
    ؾ͖ͮ
    ͢΂ͯͷςʔϒϧͷதͰ΋

    Α͘࢖ΘΕΔͷ͸͘͝Ұ෦
    σʔλͷར༻ʹ͍ͭͯྑ͘ݱΕΔ܏޲ˠ ”ॏཁͳͷ͸શମͷதͷҰ෦”
    ӡ༻ʹ͓͍ͯ͸ɺ

    ॏཁͳσʔλΛಛఆͯ͠ɺ
    ूதతʹϝϯςφϯεɾվ
    ળ͢Δͷ͕ޮ཰త
    Α͘࢖ΘΕΔςʔϒϧͷதͰ΋

    Α͘࢖ΘΕΔΧϥϜ͸͘͝Ұ෦
    <
    

    View Slide

15. 15
    ● Α͔ͬͨΒTwitter ϑΥϩʔ͓ئ͍͠·͢
    ○ @__hiza__ Ξϯμʔόʔ͸2ͭͣͭ!
    ○ ϝϧΧϦͰͷ෼ੳ؀ڥ੔උʹ͍ͭͯϒϩάهࣄͷ౤ߘ΍ొஃͳͲΛࠂ஌͠·͢

    ● ϒϩά΋ݟͯݟ͍ͯͩ͘͞
    ○ Mercari Analytics BlogͰ🔍
    ○ σʔλͷ੔උ͚ͩͰͳ͘෼ੳͷهࣄ΋͋Γ·͢ɻ

    ● MeetyͰ͓࿩͠·͠ΐ͏
    ○ اۀͷσʔλ෼ੳ΍σʔλͷ؅ཧʹ͍ͭͯΧδϡΞϧʹ࿩͍ͨ͠Ͱ͢!
    એ఻
    

    View Slide