$30 off During Our Annual Pro Sale. View Details »

データマネジメントがちょっと楽になるBigQuery監査ログの使い方

nagai shinya
July 27, 2022
3.5k

 データマネジメントがちょっと楽になるBigQuery監査ログの使い方

社内のデータマネージメントにBigQueryの監査ログを活用する話しです。

datatech-jp Casual Talks #3で発表。
https://datatech-jp.connpass.com/event/252062/

資料内のリンク

1. データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog https://tech-blog.monotaro.com/entry/2022/03/04/090000

2. データレイク構築後の四方山話 #DPM / 20190905
https://speakerdeck.com/yuzutas0/20190905

宣伝
Twitter : https://twitter.com/__hiza__
Team Blog: https://note.com/mercari_data
Meety: https://meety.net/matches/OxHNFIEoIlJk

nagai shinya

July 27, 2022
Tweet

Transcript

  1. 1
    σʔλϚωδϝϯτ͕ͪΐͬͱָʹͳΔ
    BigQuery؂ࠪϩάͷ࢖͍ํ
    2022/07/27
    Nagai Shinya (@__hiza__)

    View Slide

  2. 2
    ● ӬҪ৳໻ (@__hiza__)
    ● גࣜձࣾϝϧΧϦ / Analytics Infra Team ॴଐ
    ● Analystʹཱ͍ۙ৔Ͱ෼ੳ؀ڥͷ੔උΛਐΊ͍ͯ·͢
    ൃදऀ

    View Slide

  3. 3
    ϝϧΧϦͷσʔλ׆༻ঢ়گ
    ར༻ऀ͕ଟ͘ɺ༻్͕෯޿͍ → σʔλΛͲ͏࢖͍ͬͯΔͷ͔೺Ѳ͠ʹ͍͘
    ج൫ BigQuery
    ར༻ऀ਺ 900໊/݄
    σʔληοτ਺ 1500+
    ༻్
    σʔλ෼ੳɺMLɺϚʔέςΟϯάɺΧε
    λϚʔαϙʔτͳͲͳͲ

    View Slide

  4. 4
    ҎԼ2ͭͷϩάͷ͜ͱΛࢦͯ͠·͢
    ● INFORMATION_SCHEMA.JOBS_BY_*
    ● BigQuery audit log (Data access)
    ڞ௨఺
    ● ͩΕ͕ɺ͍ͭɺͲͷςʔϒϧʹΞΫηεͨ͠ͷ͔ɺϩά͕औΕ
    Δɻ
    ͦΕͧΕͷओͳϝϦοτ
    ● Audit log → view΁ͷΞΫηεϩά͕औΕΔɻྻ୯ҐͷΞΫηε
    ϩά͕औΕΔɻ
    ● JOBS_BY_* → schema͕୯७Ͱूܭ͠΍͍͢ɻ
    גࣜձࣾϞϊλϩ΢͞·ͷ

    σʔλ؅ཧʹ໾ཱͭϝλσʔλʹؔ͢ΔษڧձΛࣾ಺֎
    Ͱ։࠵͠·ͨ͠ - MonotaRO Tech Blogͷهࣄ΋͓͢͢Ί
    Ͱ͢
    ؂ࠪϩάͱ͸?

    View Slide

  5. 5
    සൟʹ࢖ΘΕ͍ͯΔςʔϒϧΛௐ΂Δ

    View Slide

  6. 6
    ● ৭ʑվળ͍ͨ͠ςʔϒϧ͕͋Δ͕ɺશͯΛҰ౓ʹվળ͢Δࣄ͸Ͱ͖ͳ͍ɻ
    ● Ͳͷςʔϒϧ͕ॏཁͳͷ͔஌Γ͍ͨɻ
    Α͋͘Δ՝୊

    View Slide

  7. 7
    ● ϝϧΧϦͷBigQueryʹ͋Δσʔληοτ਺ɻ
    ○ ͓Αͦ1500+
    ○ શͯͷςʔϒϧΛҰ౓ʹ࢖͍΍͘͢վળ͢Δࣄ͸Ͱ
    ͖ͳ͍ɻ
    ● ςʔϒϧ͝ͱʹར༻ऀ਺Λूܭ͢Δͱ...
    ○ BigQueryϢʔβʔͷ1ׂҎ্͕࢖ͬͨςʔϒϧ͸40
    ΄Ͳʹա͗ͳ͔ͬͨɻ
    ׆༻ྫ ςʔϒϧ͝ͱʹར༻ऀ਺Λूܭͯ͠ϥϯΩϯά
    ňͲ͜ͷվળ͔ΒऔΓ૊Ήͱྑ͍ͷ͔ʼnٞ࿦ͷ͖͔͚ͬʹͳΔ
    ͜ͷ෼ੳख๏͸2019೥ʹyuzutas0͞Μ͕঺հͨ͠΋ͷͰ͢


    https://speakerdeck.com/yuzutas0/20190905

    View Slide

  8. 8
    มߋͷӨڹΛௐ΂Δ

    View Slide

  9. 9
    ● ʮςʔϒϧͷ࢓༷มߋͷӨڹൣғΛચ͍ग़͍ͨ͠ʯ
    ○ ྫ: ΧϥϜ໊ΛมߋˠͦͷΧϥϜΛࢀর͢ΔΫΤϦ͕ΤϥʔʹͳΔɻ

    ● BigQuery্ʹ͋Δσʔληοτʹ͸publish͞ΕͨAPIͷΑ͏ͳ৻ॏͳมߋ͕ٻΊΒ
    ΕΔɻ
    ○ ΞΫηεݖ͕͋Δਓ͢΂ͯʹӨڹ͕͋Γ͑ΔͨΊɻ
    Α͋͘Δ՝୊

    View Slide

  10. 10
    ● ن໛ͷݟੵ΋Γ
    ○ มߋ͢ΔΧϥϜΛԿਓ͕ͲΜͳස౓Ͱ࢖ͬͯ
    ͍Δ͔ɻ
    ○ ར༻ऀ͕ଟ͍ςʔϒϧͰ͋ͬͯ΋ɺΧϥϜ୯Ґ
    ͰݟΔͱͦΕ΄Ͳ࢖ΘΕ͍ͯͳ͍৔߹΋͋
    Δɻ
    ● ӨڹΛड͚Δਓͷಛఆ
    ○ มߋ͢ΔΧϥϜΛ࢖ͬͨࣄ͕͋ΔਓͷΞΧ΢
    ϯτΛಛఆͰ͖Δɻ
    ׆༻ྫ ྻ͝ͱͷΞΫηεঢ়گΛௐ΂Δ
    Өڹͷن໛΍ɺӨڹΛड͚Δਓ͕ௐ΂΍͘͢ͳΔ

    View Slide

  11. 11
    ● ૊৫৘ใͱͷඥ෇͚
    ○ ؂ࠪϩάʹ͸ΞΫηεͨ͠ਓ
    ͷΞΧ΢ϯτ৘ใ(email)͕
    ࢒Δɻ
    ○ ਓࣄDBΛleft join͢Δ͜ͱͰ
    νʔϜ୯Ґͷ෼ੳ͕Ͱ͖Δɻ
    ● ӨڹΛड͚ΔνʔϜΛಛఆͰ͖
    Δɻ
    ○ ྫ: ໼ҹͰࣔͨ͠ྻ͸ओʹ
    Team D͕࢖͍ͬͯΔ
    ׆༻ྫ ྻ͝ͱͷΞΫηεঢ়گΛɺνʔϜ୯ҐͰूܭ
    ӨڹΛड͚ΔνʔϜΛௐ΂΍͘͢ͳΔ

    View Slide

  12. 12
    ࡞ͬͨ෺͕࢖ΘΕ͍ͯΔͷ͔ௐ΂Δ

    View Slide

  13. 13
    ● ࣦഊྫ
    ○ ར༻ऀ͕૿͑ͳ͍ɻ࢖ΘΕ͍ͯͳ͍ɻ
    ͋Βͨʹ࡞੒ͨ͠ςʔϒϧͷར༻ऀ਺Λ೔ຖʹूܭ
    ࣦഊʹؾ͚ͮΔɻňԿ͕μϝͩͬͨͷ͔?ʼnňࠓޙ΋ϝϯς͢΂͖͔?ʼnٞ࿦ͷ͖ͬ
    ͔͚ʹͳΔɻ
    ● ੒ޭྫ
    ○ ೔͕ܦͭʹͭΕͯར༻ऀ͕૿͍͑ͯΔ


    View Slide

  14. 14
    ؾ͖ͮ
    ͢΂ͯͷςʔϒϧͷதͰ΋

    Α͘࢖ΘΕΔͷ͸͘͝Ұ෦
    σʔλͷར༻ʹ͍ͭͯྑ͘ݱΕΔ܏޲ˠ ”ॏཁͳͷ͸શମͷதͷҰ෦”
    ӡ༻ʹ͓͍ͯ͸ɺ

    ॏཁͳσʔλΛಛఆͯ͠ɺ
    ूதతʹϝϯςφϯεɾվ
    ળ͢Δͷ͕ޮ཰త
    Α͘࢖ΘΕΔςʔϒϧͷதͰ΋

    Α͘࢖ΘΕΔΧϥϜ͸͘͝Ұ෦
    <

    View Slide

  15. 15
    ● Α͔ͬͨΒTwitter ϑΥϩʔ͓ئ͍͠·͢
    ○ @__hiza__ Ξϯμʔόʔ͸2ͭͣͭ!
    ○ ϝϧΧϦͰͷ෼ੳ؀ڥ੔උʹ͍ͭͯϒϩάهࣄͷ౤ߘ΍ొஃͳͲΛࠂ஌͠·͢

    ● ϒϩά΋ݟͯݟ͍ͯͩ͘͞
    ○ Mercari Analytics BlogͰ🔍
    ○ σʔλͷ੔උ͚ͩͰͳ͘෼ੳͷهࣄ΋͋Γ·͢ɻ

    ● MeetyͰ͓࿩͠·͠ΐ͏
    ○ اۀͷσʔλ෼ੳ΍σʔλͷ؅ཧʹ͍ͭͯΧδϡΞϧʹ࿩͍ͨ͠Ͱ͢!
    એ఻

    View Slide