Upgrade to Pro — share decks privately, control downloads, hide ads and more …

組織とともに成長するデータマネジメント 〜データマネジメントに立ちはだかる「壁」〜

Y2000
March 14, 2023

組織とともに成長するデータマネジメント 〜データマネジメントに立ちはだかる「壁」〜

データ品質・セキュリティ・アーキテクチャ・メタデータ・統合と相互運用性── 全社横断でのデータ活用を目指すデータマネジメントの実践において立ちはだかる大小さまざまな「壁」。組織や事業を加速するために必要なデータやステークホルダーの増加とともに、これらの「壁」に直面する機会は増えていきます。マネーフォワードのデータ組織の変遷に沿って立ちはだかる「壁」を乗り越えた歴史をご紹介します。

https://techplay.jp/event/892180
【DeNA/PayPay/マネーフォワード】波乱万丈伝から学ぶ!成長企業におけるデータマネジメントの勘所~大規模データ分析基盤の変遷~

Y2000

March 14, 2023
Tweet

More Decks by Y2000

Other Decks in Technology

Transcript

  1. ෼ੳج൫ͷมભ ~ 2018 2019 2020 • ࣾ಺ͷ༗ࢤͰϓϩμΫτͷΞΫη εϩάΛBigQuery΁όονETL͠ ෼ੳΛ͓͜ͳ͍͸͡ΊΔ •

    Embulk + DigDagʢmf_etlʣ • ͋͘·Ͱ΋஌ݟͷ͋ΔΤϯδχΞ ͕࢖༻͢Δʹཹ·Δ • ϓϩμΫτͷσʔλ෼ੳ͸VDI͔ ΒͷΈΞΫηεग़དྷΔϚϧνϨϓ ϦέʔγϣϯͷMySQLΛ࢖༻ • ΞφϦετͱσʔλΤϯδχΞ͕ ࡏ੶͢Δ෼ੳਪਐ্ཱ͕͕ࣨͪΔ ʢ3໊͔Βͷελʔτʣ • ؅ཧձܭͷଐਓԽഉআɾࣗಈԽͷ ͨΊʹBigQuery׆༻͕ຊ֨Խ͢ Δ • ֤छπʔϧͷಋೖʢLooker, Google Analytics 360, Airflow, Terraform౳ʣ • ηʔϧεɾϚʔέςΟϯά׆ಈ΍ ޿ࠂӡ༻಺੡ԽͷͨΊͷ BigQuery׆༻͕͸͡·Δ • ֤෦ॺͷKPI؅ཧɾՄࢹԽͷࢧԉ Λ͓͜ͳ͏ • ച্΍KPIͷ؅ཧํ๏͕ཚཱ͠͸ ͡ΊΔ • ϓϩμΫτσʔλ΍CRMπʔϧ౳ Ͱอ؅͍ͯ͠ΔσʔλͷBigQuery సૹ͕׆ൃԽ͢ΔʢηϯγςΟϒ ͳ΋ͷΛআ͘ʣ 4
  2. 2023 2021 2022 ෼ੳج൫ͷมભ • σʔλΤϯδχΞϦϯάઐۀͷ෼ ੳج൫෦্ཱ͕͕ͪΔ • ϚϧνϨϓϦέʔγϣϯMySQLͳ ෼ੳDBΛBigQueryʹϦϓϨʔε

    ͢Δʢ׬ྃ·Ͱ΄΅ؙҰ೥ʣ • trocco®Λಋೖ͠ϦόʔεETL౳ ΁ͷ׆༻Λ։࢝ • νʔϜϝϯόʔΛେ෯ʹ૿һ͠ґ པϕʔεͷऔΓ૊Έ͔Β୤٫͠͸ ͡ΊΔ • 2021೥ʹϦϓϨʔεͨ͠σʔλج ൫Λ΋ͱʹETLͷϑϩʔΛେ෯ʹ ࡮৽ɾ؆ུԽ͢Δ • σʔλΧλϩάπʔϧͷ಺੡͕͸ ͡·Δ • MLج൫ͷվળʹऔΓ૊Ή • ݱࡏʹࢸΔ • Ҿ͖ଓ͖ج൫ͷվળ౳ʹऔΓ૊Μ Ͱ͍Δ͕ɺج൫શମͷߏ଄มԽΛ ൐͏Α͏ͳେ͖ͳϦϓϨʔε͔Β ͸୤٫Ͱ͖ͨঢ়ଶ 5
  3. σʔλج൫ͷน • ֤ࣄۀ෦Ͱͷ׆༻͕ਐΈ෼ੳج൫ʹసૹ͢Δσʔλྔ͕ܹ૿ͨ͠ • σʔλ׆༻Λߦ͏ϝϯόʔ΋֤෦ॺʹ૿͑ɺϝϯγϣϯͰґཔΛड͚ͯσʔλΤϯδχΞ͕ରԠ͢ Δͱ͍͏ྲྀΕ͕ݶքΛܴ͑ͨ • సૹσʔλͱ෼ੳϢʔβʔ͕૿͑ͨͨΊɺσʔλࣗମͷ؅ཧ΍ݖݶͷ؅ཧ͕൥ࡶԽͨ͠ Ͳ͏৐Γӽ͔͑ͨʁ •

    ΦϯϓϨETLαʔόʔͷڧԽɾ૿ઃ • ೔ʑͷόονసૹ͚ͩͰͳ͘HourlyͰͷసૹ΋ಋೖ • Embulkఆٛ͸σʔλΛཉ͍͠ਓ͕ॻ͖ɺج൫νʔϜ͕ϨϏϡʔ͢Δͱ͍͏ମ੍ʹมߋ͠ 
 ࣮૷͚ͩͰͳ͘σʔλϚωδϝϯτʹ޲͖߹͏࣌ؒΛ૿΍ͨ͠ σʔλͷຽओԽͷน 12