データ整備の優先順位付けに役立つテクニック

Transcript

1. 1 σʔλ੔උͷ༏ઌॱҐ෇͚ʹ໾ཱͭςΫχοΫ 2023/07/11 Nagai Shinya (@__hiza__)
2. 2 • ӬҪ৳໻ (@__hiza__) • גࣜձࣾϝϧΧϦ / BI Product Team ॴଐ • Analystʹཱ͍ۙ৔Ͱ෼ੳ؀ڥͷ੔උΛਐΊ͍ͯ·͢ ൃදऀ
3. 3 σʔλ੔උΛߦ͏ʹ͋ͨͬͯͷ༏ઌॱҐ෇͚ʹ໾ཱͭςΫχοΫ • σʔλ੔උʹͱͬͯ༏ઌॱҐ෇͚͸ॏཁɻ • ৘ใͷूΊํ ◦ ఆྔతͳ৘ใΛूΊΔ (؂ࠪϩάͷ෼ੳ) ◦ ఆੑతͳ৘ใΛूΊΔ (ώΞϦϯά) ◦ σʔλ͕ɺͲͷۀ຿ʹ࢖ΘΕ͍ͯΔͷ͔? ͦͷۀ຿͸ͲΕ͘Β͍ॏཁͳͷ͔? ࠓ೔ͷςʔϚ
4. 4 ϝϧΧϦͷσʔλ׆༻ঢ়گ ར༻ऀ͕ଟ͘ɺ༻్͕෯޿͍ ར༻ऀ਺ 900໊+ / ݄ σʔληοτ਺ 1500+ ༻్ σʔλ෼ੳɺMLɺϚʔέςΟϯάɺΧελϚʔα ϙʔτͳͲ ͪͳΈʹج൫ͱͯ͠͸BigQuery / dbt / LookerͳͲΛ࢖༻ɻ
5. 5 σʔλ੔උͷ՝୊ : ༏ઌॱҐͷඞཁੑ • ࣮ࢪ͍ͨ͠੔උ ◦ ෼ੳ͠΍͍͢தؒςʔϒϧ࡞ΓɺLookerͷ੔උɺσʔλʹର͢ΔςετɺσʔλΧλϩά Λ࡞ΓࠐΉ etc…
 • Ϧιʔεͷ੍໿ ◦ 900໊×1500σʔληοτʹରͯ͠Ұ౓ʹ੔උͰ͖ͳ͍ɻ ◦ ࡞ͬͨ΋ͷʹ͸ϝϯςφϯε͕൐͏ͷͰɺશͯʹରͯ͠੔උΛߦ͏΂͖Ͱ΋ແ͍ɻ ◦ ༏ઌॱҐ෇͚͕ඞཁɻ શͯͷςʔϒϧΛҰ౓ʹ੔උ͢Δ͜ͱ͸Ͱ͖ͳ͍ͨΊ༏ઌॱҐ෇͚͕ඞཁ
6. 6 • ࣄྫ : Looker Explorerͷ੔උ ◦ ಛʹॏཁͳ4ͭͷfactςʔϒϧʹରͯ͠Looker ExploreΛ੔උɻ ◦ 1500+σʔληοτͷதͰͨͬͨ4ͭɻ
 • 4ͭͷfactςʔϒϧ͕ͩར༻͸֦େ ◦ ໿൒೥ؒͰར༻Ϣʔβʔ਺͕40໊ɺ30νʔϜ΄Ͳʹɻ ◦ είʔϓΛߜͬͯ΋ͪΌΜͱ໾ʹཱͬͯΔɻ ༏ઌॱҐ෇͚ͷࣄྫ ద੾ͳ༏ઌॱҐ෇͚͸σʔλ੔උͷίετΛܶతʹݮΒͯ͘͠ΕΔ
7. 7 1. ఆྔతͳ৘ใΛूΊΔ (audit logͷ෼ੳ) ◦ ςʔϒϧ͝ͱʹԿਓ͕ɺԿճ͘Β͍ࢀরͨ͠ͷ͔ௐ΂Δɻ ◦ ॴଐνʔϜ৘ใͱͷΫϩεूܭɻ
 2. ఆੑతͳ৘ใΛूΊΔ (ࣾ಺΁ͷώΞϦϯά) ◦ σʔλΛ࢖ͬͯԿΛ͍ͯ͠Δͷ͔ฉ͖औΔɻ ◦ ར༻ྔ͸গͳ͍͕ॏཁͳϢʔεέʔεΛฉ͖औΔɻ
 3. ༏ઌॱҐΛ෇͚Δ ◦ ͲͷσʔλΛ୭͕Կʹ࢖͍ͬͯΔͷ͔ɺͲ͏͍͏੒Ռʹ݁ͼ͍͍ͭͯΔͷ͔੔ཧ
 → ༏ઌॱҐΛܾΊΔɻ ༏ઌॱҐ෇͚ͷେ·͔ͳεςοϓ ϩάௐࠪɺώΞϦϯάͰ৘ใΛूΊɺձࣾશମͷ༏ઌ౓Λݩʹ༏ઌॱҐ෇͚
8. 8 ఆྔ৘ใͷ෼ੳᶃ ςʔϒϧຖͷඃࢀরྔͷௐࠪˠ୯७ʹར༻ྔ͕ଟ͍ςʔϒϧ͕෼͔Δ ؂ࠪϩά (BigQueryͷjobs_by_organizationͳͲ)͔Βɺςʔ ϒϧ͝ͱͷඃࢀরྔΛௐ΂Δɻ ϝϧΧϦͷ৔߹ɺBQϢʔβʔͷ1ׂҎ্͕ࢀর͢Δςʔϒϧ ͸1500σʔληοτͷ಺40ςʔϒϧ΄Ͳʹ͗͢ͳ͔ͬͨɻ
9. 9 ఆྔ৘ใͷ෼ੳᶄ ॴଐ৘ใͱͷΫϩεूܭˠಛఆͷνʔϜʹͱͬͯ͸ྑ͘࢖͏σʔλ͕෼͔Δ ͋Δςʔϒϧʹରͯ͠ɺॴଐνʔϜ͝ ͱʹɺΞΫηεͨ͠ྻͷ৘ใΛௐࠪɻ ໼ҹͷྻ͸ʮଞͷνʔϜ͸͋·Γ࢖ͬ ͯͳ͍͕Team D͚ͩ͸ྑ͘࢖͍ͬͯ Δʯࣄ͕෼͔Δɻ શମͷྔ͔Β͸ݟ͑ͳ͔ͬͨॏཁੑ͕ ݟ͑ͯ͘Δɻ
10. 10 ఆੑ৘ใͷ෼ੳᶃ ࣮ࡍͷར༻ऀ΁ͷฉ͖औΓˠྔ͸গͳ͍͕ॏཁͳϢʔεέʔεͷ೺Ѳ • ฉ͖औΓͷେ·͔ͳྲྀΕ ◦ ఆྔ৘ใ͔ΒɺσʔλΛར༻͍ͯ͠ΔओͳνʔϜΛϦετΞοϓɻ ◦ ͦΕͧΕͷνʔϜʹରͯ͠ώΞϦϯάΛߦͬͯ৘ใΛ·ͱΊΔɻ
 • ώΞϦϯάͷ಺༰ ◦ ྔ͸গͳ͍͚Ͳॏཁͳ༻్Λฉ͖औΔɻ ▪ ྫ : 2໊͔͠࢖ͬͯͳ͍͠ɺ1࢛൒ظʹ1ճ͔͠࢖͍ͬͯͳ͍͕ɺܾࢉൃදʹඞཁͳ KPIΛूܭ͍ͯ͠Δɻ
11. 11 searchϩάͱߪങϩάΛඥ ͚ͮͯ෼ੳ͍ͯ͠Δɻ ఆੑ৘ใͷ෼ੳᶄ • σʔλͰͲΜͳۀ຿Λ͍ͯ͠Δͷ͔? ͦͷۀ຿͸ձࣾશମͷ੒ՌʹͲ͏݁ͼ͍͍ͭͯΔͷ͔ฉ͖औΔɻ
 ࣮ࡍͷར༻ऀ΁ͷฉ͖औΓˠϢʔεέʔεͱ໨తͷௐࠪ σʔλ ۀ຿ ੒Ռ searchͷΞϧΰϦζϜมߋ ͰߪങCVR͕ͲΕ͘Β͍ม ΘΔ͔ABςετ͍ͨ͠ɻ ཉ͍͠঎඼͕ݟ͔ͭΓ΍͢ ͘ͳΔ͜ͱͰɺ͓٬͞·͸ ങ͍෺͕͠΍͘͢ͳΔ͠ɺ ձࣾͷऩӹ͕޲্͢Δɻ ྫ ʮͰ͸ɺऩӹͷ޲্ͱ͍͏؍఺Ͱ Ͳͷۀ຿ͷσʔλͷ੔උ͕࠷΋ޮ Ռతͳͷ͔?ʯͱൺֱͰ͖Δɻ ۀ຿͕໨ࢦ͍ͯ͠Δ੒Ռ(໨త)·Ͱ ೺Ѳͯ͠͸͡Ίͯ༏ઌॱҐ෇͚͕ Մೳʹɻ
12. 12 ੒ՌΛ൑அ͢Δ࣌ʹ໾ཱͭࢹ఺ • ʮ੒Ռ͸૊৫ͷ֎෦ʹ͔͋͠Γ͑ͳ͍ʯby ϐʔλʔɾυϥοΧʔ ◦ ސ٬Ձ஋͕࣮ݱ͢Δͷ΋ձࣾͷ֎ɺࣄۀརӹ͕࣮ݱ͢Δͷ΋ձࣾͷ֎ɻ ◦ ձࣾͷ֎ʹ·ͰΠϯύΫτ͕ग़ͤͯॳΊͯʮ੒Ռʯ ◦ ͦͷσʔλΛ੔උ͢Δ͜ͱͰɺۀ຿ʹͲ͏໾ཱ͔ͭ? ͚ͩͰͳ͘ɺͦͷۀ຿͕ྑ͘ͳΔ͜ ͱͰɺձࣾͷ֎ʹͲΜͳΠϯύΫτΛग़ͤΔ͔? ͱ͍͏ࢹ఺͕େࣄɻ ͦͷۀ຿ʹऔΓ૊Ή͜ͱͰɺձࣾͷ֎ʹͲΜͳΠϯύΫτ͕ग़ͤΔ͔?
13. 13 • σʔλΛ੔උ͢Δʹ͋ͨͬͯ༏ઌॱҐ෇͚͕ඞཁɻ • ͦͷͨΊʹ؂ࠪϩάͷ෼ੳͱώΞϦϯά͕໾ཱͭɻ ◦ ؂ࠪϩά ▪ ୯७ʹར༻ྔ͕ଟ͍Ϣʔεέʔε͕෼͔Δɻ ▪ ͩΕʹώΞϦϯάʹߦ͘ͱྑͦ͞͏͔͋ͨΓ͕෇͘ɻ ◦ ώΞϦϯά ▪ ྔʹ͸දΕ͍ͯͳ͍ॏཁͳϢʔεέʔε͕෼͔Δɻ ▪ ͦΕͧΕͷσʔλΛͲΜͳۀ຿ʹ࢖͍ͬͯΔͷ͔෼͔Δɻ • ༏ઌॱҐΛܾΊΔ ◦ ʮσʔλˠۀ຿ˠ੒ՌʯͷྲྀΕΛཧղͯ͠͸͡Ίͯ༏ઌॱҐ͕ܾΊΒΕΔΑ͏ʹͳΔɻ ◦ σʔλͷ੔උ͢Δਓ͸ɺձ͕࣮ࣾݱ͢΂͖੒Ռ͸Կ͔? Λ໰͍ɺܾΊΔඞཁ͕͋Δɻ ·ͱΊ