組織とともに成長するデータマネジメント 〜データマネジメントに立ちはだかる「壁」〜

データ品質・セキュリティ・アーキテクチャ・メタデータ・統合と相互運用性── 全社横断でのデータ活用を目指すデータマネジメントの実践において立ちはだかる大小さまざまな「壁」。組織や事業を加速するために必要なデータやステークホルダーの増加とともに、これらの「壁」に直面する機会は増えていきます。マネーフォワードのデータ組織の変遷に沿って立ちはだかる「壁」を乗り越えた歴史をご紹介します。

https://techplay.jp/event/892180
【DeNA／PayPay／マネーフォワード】波乱万丈伝から学ぶ！成長企業におけるデータマネジメントの勘所～大規模データ分析基盤の変遷～

Transcript

1. ૊৫ͱͱ΋ʹ੒௕͢Δ
   
   
   σʔλϚωδϝϯτ
   
   
   σʔλϚωδϝϯτʹཱͪ͸͔ͩΔʮนʯ
   ೾ཚສৎ఻͔ΒֶͿʂ੒௕اۀʹ͓͚ΔσʔλϚωδϝϯτͷצॴ
   
   
   ʙେن໛σʔλ෼ੳج൫ͷมભʙ
   

   View Slide

2. ଠా ହ߂ Yasuhiro Ota
   
   
   גࣜձࣾϚωʔϑΥϫʔυ
   
   
   CTOࣨ ෼ੳج൫෦
   
   
   ota2000
   σʔλ෼ੳνʔϜͷ্ཱͪ͛ϝϯόʔͱ͠
   ͯגࣜձࣾϚωʔϑΥϫʔυʹೖࣾɻҎ
   དྷɺશࣾԣஅͷσʔλϚωδϝϯτશൠ
   ͷۀ຿ʹܞΘΔɻ
   2
   

   View Slide

3. 1. ෼ੳج൫ͷมભ
   
   
   2. ্ཱͪ͛ᴈ໌ظͷน
   
   
   3. σʔλͷຽओԽͷน
   
   
   4. σʔλ૊৫෼཭ͷน
   
   
   5. ج൫վળͷน
   
   
   6. ·ͱΊ
   ຊ೔ͷΞδΣϯμ
   3
   

   View Slide

4. ෼ੳج൫ͷมભ
   ~ 2018 2019 2020
   ● ࣾ಺ͷ༗ࢤͰϓϩμΫτͷΞΫη
   εϩάΛBigQuery΁όονETL͠
   ෼ੳΛ͓͜ͳ͍͸͡ΊΔ
   
   
   ● Embulk + DigDagʢmf_etlʣ
   
   
   ● ͋͘·Ͱ΋஌ݟͷ͋ΔΤϯδχΞ
   ͕࢖༻͢Δʹཹ·Δ
   
   
   ● ϓϩμΫτͷσʔλ෼ੳ͸VDI͔
   ΒͷΈΞΫηεग़དྷΔϚϧνϨϓ
   ϦέʔγϣϯͷMySQLΛ࢖༻
   ● ΞφϦετͱσʔλΤϯδχΞ͕
   ࡏ੶͢Δ෼ੳਪਐ্ཱ͕͕ࣨͪΔ
   ʢ3໊͔Βͷελʔτʣ
   
   
   ● ؅ཧձܭͷଐਓԽഉআɾࣗಈԽͷ
   ͨΊʹBigQuery׆༻͕ຊ֨Խ͢
   Δ
   
   
   ● ֤छπʔϧͷಋೖʢLooker,
   Google Analytics 360, Airflow,
   Terraform౳ʣ
   ● ηʔϧεɾϚʔέςΟϯά׆ಈ΍
   ޿ࠂӡ༻಺੡ԽͷͨΊͷ
   BigQuery׆༻͕͸͡·Δ
   
   
   ● ֤෦ॺͷKPI؅ཧɾՄࢹԽͷࢧԉ
   Λ͓͜ͳ͏
   
   
   ● ച্΍KPIͷ؅ཧํ๏͕ཚཱ͠͸
   ͡ΊΔ
   
   
   ● ϓϩμΫτσʔλ΍CRMπʔϧ౳
   Ͱอ؅͍ͯ͠ΔσʔλͷBigQuery
   సૹ͕׆ൃԽ͢ΔʢηϯγςΟϒ
   ͳ΋ͷΛআ͘ʣ 4
   

   View Slide

5. 2023
   2021 2022
   ෼ੳج൫ͷมભ
   ● σʔλΤϯδχΞϦϯάઐۀͷ෼
   ੳج൫෦্ཱ͕͕ͪΔ
   
   
   ● ϚϧνϨϓϦέʔγϣϯMySQLͳ
   ෼ੳDBΛBigQueryʹϦϓϨʔε
   ͢Δʢ׬ྃ·Ͱ΄΅ؙҰ೥ʣ
   
   
   ● trocco®Λಋೖ͠ϦόʔεETL౳
   ΁ͷ׆༻Λ։࢝
   ● νʔϜϝϯόʔΛେ෯ʹ૿һ͠ґ
   པϕʔεͷऔΓ૊Έ͔Β୤٫͠͸
   ͡ΊΔ
   
   
   ● 2021೥ʹϦϓϨʔεͨ͠σʔλج
   ൫Λ΋ͱʹETLͷϑϩʔΛେ෯ʹ
   ࡮৽ɾ؆ུԽ͢Δ
   
   
   ● σʔλΧλϩάπʔϧͷ಺੡͕͸
   ͡·Δ
   
   
   ● MLج൫ͷվળʹऔΓ૊Ή
   ● ݱࡏʹࢸΔ
   
   
   ● Ҿ͖ଓ͖ج൫ͷվળ౳ʹऔΓ૊Μ
   Ͱ͍Δ͕ɺج൫શମͷߏ଄มԽΛ
   ൐͏Α͏ͳେ͖ͳϦϓϨʔε͔Β
   ͸୤٫Ͱ͖ͨঢ়ଶ
   5
   

   View Slide

6. ্ཱͪ͛ᴈ໌ظͷน
   
   
   ʙ2019೥
   6
   

   View Slide

7. ● ෼ੳνʔϜ্ཱͪ͛Ҏલ͔Β༗ࢤʹ
   ΑΔ෼ੳ͸ߦΘΕ͍ͯͨ
   
   
   ● طଘͷETLγεςϜʢmf_etlʣͷҾ
   ͖ܧ͗ɺ؅ཧձܭͷଐਓԽഉআɾ൒
   ࣗಈԽʹूதͯ͠औΓ૊Ή
   ্ཱͪ͛ᴈ໌ظͷน
   7
   

   View Slide

8. ൥ࡶԽͨ͠σʔλߏ଄ʢσʔλͷ࣋ͪํʣ
   
   
   ● νʔϜ্ཱͪ͛Ҏલ͸ɺ༗ࢤʹΑΔ֤ਓͷࣄۀྖҬ΁ͷ෼ੳ׆༻͕ϝΠϯ
   Ͱ͋ͬͨͨΊαΠϩԽͨ͠σʔλج൫͕ෳ਺ଘࡏ͢ΔΑ͏ͳঢ়ଶͩͬͨ
   
   
   Ͳ͏৐Γӽ͔͑ͨʁ
   
   
   ● ׆༻໨ઢ: LookerΛಋೖ͠Single Soure of Truthͷ࣮ݱ
   
   
   ● ج൫໨ઢ: ETL౳ͷ؅ཧओମͷ໌֬ԽɺసૹϨϏϡʔମ੍ͷ੔උɺ
   BigQueryͷσʔληοτߏ଄౳ͷมߋ
   ্ཱͪ͛ᴈ໌ظͷน
   8
   

   View Slide

9. σʔλͷຽओԽͷน
   
   
   2020೥ࠒ
   9
   

   View Slide

10. ● ؅ཧձܭͷଐਓԽഉআɾ൒ࣗಈԽΛҾ
    ͖ଓ͖ߦ͍ͳ͕ΒɺΞφϦετͷ࠾༻
    ͳͲΛܦ֤ͯࣄۀ෦ͷKPIՄࢹԽͳͲ
    ͷྖҬʹ΋౿ΈࠐΉ
    
    
    ● ͜ͷࠒɺࣄۀ෦αΠυ͔Β΋ओମతʹ
    ෼ੳʹίϛοτ͢Δϝϯόʔ͕૿Ճ͢
    Δ
    σʔλͷຽओԽͷน
    10
    

    View Slide

11. σʔλ׆༻ͷน
    
    
    ● ֤ࣄۀ෦΁෼ੳΛਪਐ͢ΔͨΊɺ෯޿͘υϝΠϯ஌ࣝΛऔΓೖΕΔඞཁ͕ੜͨ͡
    ʢ౰࣌ͷϓϩμΫτ਺͸20ఔ౓ʣ
    
    
    ● ϓϩμΫτͷ૿Ճɾൢചํ๏ͷଟ༷Խʹ൐͍؅ཧձܭϩδοΫ͕ෳࡶԽ͠෼ੳνʔ
    Ϝͷ޻਺͕֦େͨ͠
    
    
    Ͳ͏৐Γӽ͔͑ͨʁ
    
    
    ● ෼ੳʹର͢ΔԹ౓ײ͕ߴ͍෦ॺʹ݉຿ϝϯόʔΛૹΓࠐΈࣗ૸ԽΛࢧԉͨ͠
    
    
    ● ؅ཧձܭͱKPI؅ཧΛҾ͖཭ͣ͞ҰମԽͯ͠؅ཧͰ͖Δঢ়ଶΛ໨ࢦͨ͠
    σʔλͷຽओԽͷน
    11
    

    View Slide

12. σʔλج൫ͷน
    
    
    ● ֤ࣄۀ෦Ͱͷ׆༻͕ਐΈ෼ੳج൫ʹసૹ͢Δσʔλྔ͕ܹ૿ͨ͠
    
    
    ● σʔλ׆༻Λߦ͏ϝϯόʔ΋֤෦ॺʹ૿͑ɺϝϯγϣϯͰґཔΛड͚ͯσʔλΤϯδχΞ͕ରԠ͢
    Δͱ͍͏ྲྀΕ͕ݶքΛܴ͑ͨ
    
    
    ● సૹσʔλͱ෼ੳϢʔβʔ͕૿͑ͨͨΊɺσʔλࣗମͷ؅ཧ΍ݖݶͷ؅ཧ͕൥ࡶԽͨ͠
    
    
    Ͳ͏৐Γӽ͔͑ͨʁ
    
    
    ● ΦϯϓϨETLαʔόʔͷڧԽɾ૿ઃ
    
    
    ● ೔ʑͷόονసૹ͚ͩͰͳ͘HourlyͰͷసૹ΋ಋೖ
    
    
    ● Embulkఆٛ͸σʔλΛཉ͍͠ਓ͕ॻ͖ɺج൫νʔϜ͕ϨϏϡʔ͢Δͱ͍͏ମ੍ʹมߋ͠
    

    ࣮૷͚ͩͰͳ͘σʔλϚωδϝϯτʹ޲͖߹͏࣌ؒΛ૿΍ͨ͠
    σʔλͷຽओԽͷน
    12
    

    View Slide

13. σʔλ૊৫෼཭ͷน
    
    
    2021೥ࠒ
    13
    

    View Slide

14. ● σʔλΤϯδχΞϦϯάΛઐ໳ʹ͓
    ͜ͳ͏෼ੳج൫෦্ཱ͕͕ͪΔ
    
    
    ● ઃཱ౰ॳ͸͔ͳΓগਓ਺ͷνʔϜ
    
    
    ● ૊৫Λ෼཭ͨ͠໨త͸ɺج൫վળ΁
    ͷूதͱML/AIྖҬʹ޲͚ͨج൫ͷ
    ߴ౓Խ
    σʔλ૊৫෼཭ͷน
    14
    

    View Slide

15. ઃཱ౰ॳ͔ΒMySQLϚϧνϨϓϦͷ෼ੳ༻DBͷϦϓϨʔε͕٤ۓͷ՝୊ʹ
    
    
    ਺೥લ͔Βɺࣾ಺ͷଟ͘ͷϢʔβʔ͕ࢀর͢Δ෼ੳDB͕ετϨʔδͷṧഭʹԿ౓΋ݟ෣ΘΕࣾ
    ಺ΠϯϑϥνʔϜͷϦιʔεΛ৯͏ঢ়ଶʹ͍ؕͬͯͨɻ
    

    ෼ੳج൫෦͸͜ͷϦϓϨʔεΛ׬਱͢ΔͨΊʹ্ཱ͕ͪͬͨଆ໘΋͋ͬͨɻ
    
    
    Ͳ͏৐Γӽ͔͑ͨʁ
    
    
    ● গਓ਺ͷνʔϜͰ͋ͬͨͨΊۓٸͷґཔʢETLͷϦΧόϦ౳ʣҎ֎͸ఀࢭ͠ϦϓϨʔεʹ
    ूதͨ͠
    
    
    ● ҰํɺML/AIྖҬ΁ͷظ଴΋ߴ·͍ͬͯΔঢ়ଶͰ͋Γͪ͜Β΋Χόʔ͢Δඞཁ͕͋ͬͨ →
    Ϧιʔε֬อͷͨΊDatabricks, Fivetran, trocco®౳ͷπʔϧΛಋೖ͠Ϛωʔδυʹஔ͖
    ׵͑ΒΕΔ෦෼Λஔ͖׵͑ͨ
    σʔλ૊৫෼཭ͷน
    15
    

    View Slide

16. σʔλ૊৫෼཭ͷน
    ෼ੳج൫෦ʹࣾ಺Ϣʔβʔͷ੠͕ಧ͖ͮΒ͘ͳͬͨ
    
    
    େ͖ͳϦϓϨʔεϓϩδΣΫτ͕૸͍ͬͯͨͨΊɺϑϩϯτʹ෼ੳਪਐཱ͕ࣨͪج൫վળ͕བྷΉۓٸͷґཔ͚ͩύ
    εͯ͠΋Β͏ͱ͍͏ϑϩʔʹͳ͍ͬͯͨͨΊࣾ಺Ϣʔβʔͷ੠͕௚઀ಧ͖ʹ͍͘ঢ়ଶʹͳͬͨɻ
    
    
    Ͳ͏৐Γӽ͔͑ͨʁ
    
    
    ● ෼ੳؔ࿈ͷґཔɾ૬ஊ૭ޱΛҰݩԽͨ͠
    
    
    ● ґཔ಺༰ʹԠͯ͡෼ੳਪਐ͔ࣨ෼ੳج൫෦͕ରԠ͢Δͱ͍͏ܗʹมߋ
    
    
    ● ࣾ಺Ϣʔβʔʹσʔλ૊৫ͷҧ͍Λཧղͯ͠΋Β͍ɺґཔऀଆͰͲͪΒʹґཔ͢΂͖ࣄ৅͔͋Δఔ౓੾Γ
    ෼͚ͯ΋Β͏
    
    
    → ݱࡏ͸෼ੳج൫෦ͱ௚઀ίϛϡχέʔγϣϯΛऔΔࣾ಺Ϣʔβʔ΋૿͑ͨ΋ͷͷɺ૊৫ߏ଄͕Θ͔Γʹ͍͘ͱ
    ͍ͬͨҙݟ͸ࠜڧ͘࢒Δ
    16
    

    View Slide

17. ج൫վળͷน
    
    
    2022೥ʙ
    17
    

    View Slide

18. ج൫վળͷน
    ● ෼ੳج൫෦ઃཱ౰ॳͷج൫࡮৽Λ৐
    Γӽ͑ɺ࠾༻ʹ΋੒ޭ͠େ෯ʹνʔ
    ϜϝϯόʔΛ૿һͨ͠
    
    
    ● MySQLϚϧνϨϓϦͷ෼ੳDBΛ
    BigQueryʹஔ͖׵͑ͨ͜ͱͰɺ͜
    ͷج൫Λࣾ಺ͷ෼ੳج൫ͷσʔλϨ
    ΠΫͱͯ͠׆༻͢Δํ਑͕ఆ·ͬͨ
    18
    

    View Slide

19. ج൫վળͷน
    ϨΨγʔγεςϜ͔Βͷఫୀ
    
    
    ج൫࡮৽Λߦ͍ϞμϯͳσʔλϨΠΫ͕ߏங͞Ε͕ͨɺ
    

    ґવͱͯ͠چγεςϜʢmf_etlʣΛ༻͍ͨETL΋ಈ͍͍ͯΔঢ়ଶ͕ଓ͍ͨ
    
    
    Ͳ͏৐Γӽ͔͑ͨʁ
    
    
    ● ؅ཧର৅Λ࡟ݮ͢ΔͨΊ৽͍͠ύΠϓϥΠϯ΁ͷҠߦΛਐΊɺچγεςϜΛఫ
    ഇͨ͠ʢ͍ͯ͠Δʣ
    
    
    ● چσʔληοτͱ৽σʔληοτʹσʔλΛฒߦసૹ͠ɺϢʔβʔ΁৽σʔλ
    ηοτΛࢀর͢ΔΑ͏ҠߦΛଅ͢೔ʑ͕ଓ͍ͨʢ؂ࠪϩά౳༻͍ͯɺچσʔλ
    ΁ͷΞΫηεΛݮΒ͍ͯ͘͠ʣ
    19
    

    View Slide

20. ج൫վળͷน
    σʔλΧλϩάͷཁ๬͕૿Ճ
    
    
    ͔Ͷ͔ͯΒdmemoͱ͍͏σʔλϕʔευΩϡϝϯτ؅ཧγεςϜΛࣾ಺Ͱӡ༻͍͕ͯͨ͠ɺ؅ཧओମ͕
    ෆ໌Ͱ͔֤ͭϓϩμΫτνʔϜͷࡋྔͰϝλσʔλΛهࡌ͢ΔΑ͏ͳঢ়ଶͩͬͨɻ෼ੳج൫ͷҰݩԽ͕
    ਐߦ͠ɺվΊͯσʔλΧλϩά͕΄͍͠ͱ͍͏੠͕૿Ճͨ͠ɻ
    
    
    Ͳ͏৐Γӽ͔͑ͨʁ
    
    
    ● yamlϕʔεͰϝλσʔλΛ؅ཧ͢Δ࢓૊ΈΛߏஙͨ͠ →yamlʹهࡌͨ͠಺༰͕BigQueryͷϝλ
    σʔλͱͯ͠ߋ৽͞ΕΔ
    
    
    ● ϝλσʔλΛࢀর͢ΔͨΊͷࣾ಺αΠτΛߏஙͨ͠ →BQͷݖݶ͕ͳ͍Ϣʔβʔ΋Ͳ͜ʹͲ͏
    ͍ͬͨσʔλ͕͋Δ͔Θ͔Δঢ়ଶʹͳͬͨʢݖݶͷա৒෇༩͕ੋਖ਼͞Εͨʣ
    20
    

    View Slide

21. ·ͱΊ
    21
    

    View Slide

22. ૊৫ɾ࠾༻
    
    
    ● ্ཱͪ͛ظ͸ΫΠοΫ΢ΟϯΛੵΈॏͶΔ͜ͱͰ෼ੳจԽͷਁಁΛਤΔ
    
    
    ● ෼ੳ૊৫ͷ্ཱͪ͛͸΍Γ͍ͨ͜ͱ͕໌֬ͳ෼ੳνʔϜʹΤϯδχΞΛ഑ஔ
    ͯ͠ελʔτͨ͠΄͏͕୹ظɾதظͷΰʔϧ͕໌֬Ͱ΍Γ͖Δ͜ͱ͕ग़དྷΔ
    

    → ෼ੳͷن໛ײͳͲʹ߹Θͤͯ૊৫ମ੍ΛมߋͰ͖Δॊೈ͞΋ඞཁ
    
    
    ● ΞφϦετͱΤϯδχΞͷൺ཰Λߟ͑ͯ࠾༻͠ͳ͍ͱ෼ੳจԽͷਁಁʹର͠
    ͯج൫ͷߴ౓Խ͕௥͍͔ͭͣख٧·ΓʹͳΔ
    ·ͱΊ
    22
    

    View Slide

23. ૯ׅ
    
    
    ● “σʔλΤϯδχΞ”ͱ͍͏ϩʔϧͰͷਓһ֬อ͸฼ूஂ΋গͳ͘Ή͔͍ͣ͠
    

    → গਓ਺Ͱ΋ຊ౰ʹूத͢΂͖ϙΠϯτʹ޲͖߹͏ҙࣝΛ࣋ͬͯɺϚωʔδυ
    ͳETL΍σʔλϚωδϝϯτΛࢧ͑ͯ͘ΕΔπʔϧΛಋೖ͢ΔͳͲ޻෉͕ඞཁ
    
    
    ● େن໛ͳج൫࡮৽͸෼ੳจԽͷਐԽΛ௕ظؒࢭΊͯ͠·͏
    

    → ৗʹར༻ऀ͔ΒͷϑΟʔυόοΫΛ΋ΒͬͯɺΞδϟΠϧʹվमɾΤϯϋϯ
    εϝϯτΛ͓͜ͳ͏
    ·ͱΊ
    23
    

    View Slide

24. We are hiring!
    גࣜձࣾϚωʔϑΥϫʔυ ͢΂ͯͷٻਓҰཡ (HRMOS)
    24
    

    View Slide