Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ整備の優先順位付けに役立つテクニック

nagai shinya
July 11, 2023
2.4k

 データ整備の優先順位付けに役立つテクニック

nagai shinya

July 11, 2023
Tweet

Transcript

  1. 2 • ӬҪ৳໻ (@__hiza__) • גࣜձࣾϝϧΧϦ / BI Product Team

    ॴଐ • Analystʹཱ͍ۙ৔Ͱ෼ੳ؀ڥͷ੔උΛਐΊ͍ͯ·͢ ൃදऀ
  2. 3 σʔλ੔උΛߦ͏ʹ͋ͨͬͯͷ༏ઌॱҐ෇͚ʹ໾ཱͭςΫχοΫ • σʔλ੔උʹͱͬͯ༏ઌॱҐ෇͚͸ॏཁɻ • ৘ใͷूΊํ ◦ ఆྔతͳ৘ใΛूΊΔ (؂ࠪϩάͷ෼ੳ) ◦

    ఆੑతͳ৘ใΛूΊΔ (ώΞϦϯά) ◦ σʔλ͕ɺͲͷۀ຿ʹ࢖ΘΕ͍ͯΔͷ͔? ͦͷۀ຿͸ͲΕ͘Β͍ॏཁͳͷ͔? ࠓ೔ͷςʔϚ
  3. 4 ϝϧΧϦͷσʔλ׆༻ঢ়گ ར༻ऀ͕ଟ͘ɺ༻్͕෯޿͍ ར༻ऀ਺ 900໊+ / ݄ σʔληοτ਺ 1500+ ༻్

    σʔλ෼ੳɺMLɺϚʔέςΟϯάɺΧελϚʔα ϙʔτͳͲ ͪͳΈʹج൫ͱͯ͠͸BigQuery / dbt / LookerͳͲΛ࢖༻ɻ
  4. 5 σʔλ੔උͷ՝୊ : ༏ઌॱҐͷඞཁੑ • ࣮ࢪ͍ͨ͠੔උ ◦ ෼ੳ͠΍͍͢தؒςʔϒϧ࡞ΓɺLookerͷ੔උɺσʔλʹର͢ΔςετɺσʔλΧλϩά Λ࡞ΓࠐΉ etc…


    • Ϧιʔεͷ੍໿ ◦ 900໊×1500σʔληοτʹରͯ͠Ұ౓ʹ੔උͰ͖ͳ͍ɻ ◦ ࡞ͬͨ΋ͷʹ͸ϝϯςφϯε͕൐͏ͷͰɺશͯʹରͯ͠੔උΛߦ͏΂͖Ͱ΋ແ͍ɻ ◦ ༏ઌॱҐ෇͚͕ඞཁɻ શͯͷςʔϒϧΛҰ౓ʹ੔උ͢Δ͜ͱ͸Ͱ͖ͳ͍ͨΊ༏ઌॱҐ෇͚͕ඞཁ
  5. 6 • ࣄྫ : Looker Explorerͷ੔උ ◦ ಛʹॏཁͳ4ͭͷfactςʔϒϧʹରͯ͠Looker ExploreΛ੔උɻ ◦

    1500+σʔληοτͷதͰͨͬͨ4ͭɻ
 • 4ͭͷfactςʔϒϧ͕ͩར༻͸֦େ ◦ ໿൒೥ؒͰར༻Ϣʔβʔ਺͕40໊ɺ30νʔϜ΄Ͳʹɻ ◦ είʔϓΛߜͬͯ΋ͪΌΜͱ໾ʹཱͬͯΔɻ ༏ઌॱҐ෇͚ͷࣄྫ ద੾ͳ༏ઌॱҐ෇͚͸σʔλ੔උͷίετΛܶతʹݮΒͯ͘͠ΕΔ
  6. 7 1. ఆྔతͳ৘ใΛूΊΔ (audit logͷ෼ੳ) ◦ ςʔϒϧ͝ͱʹԿਓ͕ɺԿճ͘Β͍ࢀরͨ͠ͷ͔ௐ΂Δɻ ◦ ॴଐνʔϜ৘ใͱͷΫϩεूܭɻ
 2.

    ఆੑతͳ৘ใΛूΊΔ (ࣾ಺΁ͷώΞϦϯά) ◦ σʔλΛ࢖ͬͯԿΛ͍ͯ͠Δͷ͔ฉ͖औΔɻ ◦ ར༻ྔ͸গͳ͍͕ॏཁͳϢʔεέʔεΛฉ͖औΔɻ
 3. ༏ઌॱҐΛ෇͚Δ ◦ ͲͷσʔλΛ୭͕Կʹ࢖͍ͬͯΔͷ͔ɺͲ͏͍͏੒Ռʹ݁ͼ͍͍ͭͯΔͷ͔੔ཧ
 → ༏ઌॱҐΛܾΊΔɻ ༏ઌॱҐ෇͚ͷେ·͔ͳεςοϓ ϩάௐࠪɺώΞϦϯάͰ৘ใΛूΊɺձࣾશମͷ༏ઌ౓Λݩʹ༏ઌॱҐ෇͚
  7. 11 searchϩάͱߪങϩάΛඥ ͚ͮͯ෼ੳ͍ͯ͠Δɻ ఆੑ৘ใͷ෼ੳᶄ • σʔλͰͲΜͳۀ຿Λ͍ͯ͠Δͷ͔? ͦͷۀ຿͸ձࣾશମͷ੒ՌʹͲ͏݁ͼ͍͍ͭͯΔͷ͔ฉ͖औΔɻ
 ࣮ࡍͷར༻ऀ΁ͷฉ͖औΓˠϢʔεέʔεͱ໨తͷௐࠪ σʔλ ۀ຿

    ੒Ռ searchͷΞϧΰϦζϜมߋ ͰߪങCVR͕ͲΕ͘Β͍ม ΘΔ͔ABςετ͍ͨ͠ɻ ཉ͍͠঎඼͕ݟ͔ͭΓ΍͢ ͘ͳΔ͜ͱͰɺ͓٬͞·͸ ങ͍෺͕͠΍͘͢ͳΔ͠ɺ ձࣾͷऩӹ͕޲্͢Δɻ ྫ ʮͰ͸ɺऩӹͷ޲্ͱ͍͏؍఺Ͱ Ͳͷۀ຿ͷσʔλͷ੔උ͕࠷΋ޮ Ռతͳͷ͔?ʯͱൺֱͰ͖Δɻ ۀ຿͕໨ࢦ͍ͯ͠Δ੒Ռ(໨త)·Ͱ ೺Ѳͯ͠͸͡Ίͯ༏ઌॱҐ෇͚͕ Մೳʹɻ
  8. 12 ੒ՌΛ൑அ͢Δ࣌ʹ໾ཱͭࢹ఺ • ʮ੒Ռ͸૊৫ͷ֎෦ʹ͔͋͠Γ͑ͳ͍ʯby ϐʔλʔɾυϥοΧʔ ◦ ސ٬Ձ஋͕࣮ݱ͢Δͷ΋ձࣾͷ֎ɺࣄۀརӹ͕࣮ݱ͢Δͷ΋ձࣾͷ֎ɻ ◦ ձࣾͷ֎ʹ·ͰΠϯύΫτ͕ग़ͤͯॳΊͯʮ੒Ռʯ ◦

    ͦͷσʔλΛ੔උ͢Δ͜ͱͰɺۀ຿ʹͲ͏໾ཱ͔ͭ? ͚ͩͰͳ͘ɺͦͷۀ຿͕ྑ͘ͳΔ͜ ͱͰɺձࣾͷ֎ʹͲΜͳΠϯύΫτΛग़ͤΔ͔? ͱ͍͏ࢹ఺͕େࣄɻ ͦͷۀ຿ʹऔΓ૊Ή͜ͱͰɺձࣾͷ֎ʹͲΜͳΠϯύΫτ͕ग़ͤΔ͔?
  9. 13 • σʔλΛ੔උ͢Δʹ͋ͨͬͯ༏ઌॱҐ෇͚͕ඞཁɻ • ͦͷͨΊʹ؂ࠪϩάͷ෼ੳͱώΞϦϯά͕໾ཱͭɻ ◦ ؂ࠪϩά ▪ ୯७ʹར༻ྔ͕ଟ͍Ϣʔεέʔε͕෼͔Δɻ ▪

    ͩΕʹώΞϦϯάʹߦ͘ͱྑͦ͞͏͔͋ͨΓ͕෇͘ɻ ◦ ώΞϦϯά ▪ ྔʹ͸දΕ͍ͯͳ͍ॏཁͳϢʔεέʔε͕෼͔Δɻ ▪ ͦΕͧΕͷσʔλΛͲΜͳۀ຿ʹ࢖͍ͬͯΔͷ͔෼͔Δɻ • ༏ઌॱҐΛܾΊΔ ◦ ʮσʔλˠۀ຿ˠ੒ՌʯͷྲྀΕΛཧղͯ͠͸͡Ίͯ༏ઌॱҐ͕ܾΊΒΕΔΑ͏ʹͳΔɻ ◦ σʔλͷ੔උ͢Δਓ͸ɺձ͕࣮ࣾݱ͢΂͖੒Ռ͸Կ͔? Λ໰͍ɺܾΊΔඞཁ͕͋Δɻ ·ͱΊ