組織とともに成長するデータマネジメント〜データマネジメントに立ちはだかる「壁」〜

Slide 1

Slide 1 text

૊৫ͱͱ΋ʹ੒௕͢Δ σʔλϚωδϝϯτ σʔλϚωδϝϯτʹཱͪ͸͔ͩΔʮนʯ ೾ཚສৎ఻͔ΒֶͿʂ੒௕اۀʹ͓͚ΔσʔλϚωδϝϯτͷצॴ ʙେن໛σʔλ෼ੳج൫ͷมભʙ

Slide 2

Slide 2 text

ଠా ହ߂ Yasuhiro Ota גࣜձࣾϚωʔϑΥϫʔυ CTOࣨ ෼ੳج൫෦ ota2000 σʔλ෼ੳνʔϜͷ্ཱͪ͛ϝϯόʔͱ͠ ͯגࣜձࣾϚωʔϑΥϫʔυʹೖࣾɻҎ དྷɺશࣾԣஅͷσʔλϚωδϝϯτશൠ ͷۀ຿ʹܞΘΔɻ 2

Slide 3

Slide 3 text

1. ෼ੳج൫ͷมભ 2. ্ཱͪ͛ᴈ໌ظͷน 3. σʔλͷຽओԽͷน 4. σʔλ૊৫෼཭ͷน 5. ج൫վળͷน 6. ·ͱΊ ຊ೔ͷΞδΣϯμ 3

Slide 4

Slide 4 text

෼ੳج൫ͷมભ ~ 2018 2019 2020 ● ࣾ಺ͷ༗ࢤͰϓϩμΫτͷΞΫη εϩάΛBigQuery΁όονETL͠ ෼ੳΛ͓͜ͳ͍͸͡ΊΔ ● Embulk + DigDagʢmf_etlʣ ● ͋͘·Ͱ΋஌ݟͷ͋ΔΤϯδχΞ ͕࢖༻͢Δʹཹ·Δ ● ϓϩμΫτͷσʔλ෼ੳ͸VDI͔ ΒͷΈΞΫηεग़དྷΔϚϧνϨϓ ϦέʔγϣϯͷMySQLΛ࢖༻ ● ΞφϦετͱσʔλΤϯδχΞ͕ ࡏ੶͢Δ෼ੳਪਐ্ཱ͕͕ࣨͪΔ ʢ3໊͔Βͷελʔτʣ ● ؅ཧձܭͷଐਓԽഉআɾࣗಈԽͷ ͨΊʹBigQuery׆༻͕ຊ֨Խ͢ Δ ● ֤छπʔϧͷಋೖʢLooker, Google Analytics 360, Airflow, Terraform౳ʣ ● ηʔϧεɾϚʔέςΟϯά׆ಈ΍ ޿ࠂӡ༻಺੡ԽͷͨΊͷ BigQuery׆༻͕͸͡·Δ ● ֤෦ॺͷKPI؅ཧɾՄࢹԽͷࢧԉ Λ͓͜ͳ͏ ● ച্΍KPIͷ؅ཧํ๏͕ཚཱ͠͸ ͡ΊΔ ● ϓϩμΫτσʔλ΍CRMπʔϧ౳ Ͱอ؅͍ͯ͠ΔσʔλͷBigQuery సૹ͕׆ൃԽ͢ΔʢηϯγςΟϒ ͳ΋ͷΛআ͘ʣ 4

Slide 5

Slide 5 text

2023 2021 2022 ෼ੳج൫ͷมભ ● σʔλΤϯδχΞϦϯάઐۀͷ෼ ੳج൫෦্ཱ͕͕ͪΔ ● ϚϧνϨϓϦέʔγϣϯMySQLͳ ෼ੳDBΛBigQueryʹϦϓϨʔε ͢Δʢ׬ྃ·Ͱ΄΅ؙҰ೥ʣ ● trocco®Λಋೖ͠ϦόʔεETL౳ ΁ͷ׆༻Λ։࢝ ● νʔϜϝϯόʔΛେ෯ʹ૿һ͠ґ པϕʔεͷऔΓ૊Έ͔Β୤٫͠͸ ͡ΊΔ ● 2021೥ʹϦϓϨʔεͨ͠σʔλج ൫Λ΋ͱʹETLͷϑϩʔΛେ෯ʹ ࡮৽ɾ؆ུԽ͢Δ ● σʔλΧλϩάπʔϧͷ಺੡͕͸ ͡·Δ ● MLج൫ͷվળʹऔΓ૊Ή ● ݱࡏʹࢸΔ ● Ҿ͖ଓ͖ج൫ͷվળ౳ʹऔΓ૊Μ Ͱ͍Δ͕ɺج൫શମͷߏ଄มԽΛ ൐͏Α͏ͳେ͖ͳϦϓϨʔε͔Β ͸୤٫Ͱ͖ͨঢ়ଶ 5

Slide 6

Slide 6 text

্ཱͪ͛ᴈ໌ظͷน ʙ2019೥ 6

Slide 7

Slide 7 text

● ෼ੳνʔϜ্ཱͪ͛Ҏલ͔Β༗ࢤʹ ΑΔ෼ੳ͸ߦΘΕ͍ͯͨ ● طଘͷETLγεςϜʢmf_etlʣͷҾ ͖ܧ͗ɺ؅ཧձܭͷଐਓԽഉআɾ൒ ࣗಈԽʹूதͯ͠औΓ૊Ή ্ཱͪ͛ᴈ໌ظͷน 7

Slide 8

Slide 8 text

൥ࡶԽͨ͠σʔλߏ଄ʢσʔλͷ࣋ͪํʣ ● νʔϜ্ཱͪ͛Ҏલ͸ɺ༗ࢤʹΑΔ֤ਓͷࣄۀྖҬ΁ͷ෼ੳ׆༻͕ϝΠϯ Ͱ͋ͬͨͨΊαΠϩԽͨ͠σʔλج൫͕ෳ਺ଘࡏ͢ΔΑ͏ͳঢ়ଶͩͬͨ Ͳ͏৐Γӽ͔͑ͨʁ ● ׆༻໨ઢ: LookerΛಋೖ͠Single Soure of Truthͷ࣮ݱ ● ج൫໨ઢ: ETL౳ͷ؅ཧओମͷ໌֬ԽɺసૹϨϏϡʔମ੍ͷ੔උɺ BigQueryͷσʔληοτߏ଄౳ͷมߋ ্ཱͪ͛ᴈ໌ظͷน 8

Slide 9

Slide 9 text

σʔλͷຽओԽͷน 2020೥ࠒ 9

Slide 10

Slide 10 text

● ؅ཧձܭͷଐਓԽഉআɾ൒ࣗಈԽΛҾ ͖ଓ͖ߦ͍ͳ͕ΒɺΞφϦετͷ࠾༻ ͳͲΛܦ֤ͯࣄۀ෦ͷKPIՄࢹԽͳͲ ͷྖҬʹ΋౿ΈࠐΉ ● ͜ͷࠒɺࣄۀ෦αΠυ͔Β΋ओମతʹ ෼ੳʹίϛοτ͢Δϝϯόʔ͕૿Ճ͢ Δ σʔλͷຽओԽͷน 10

Slide 11

Slide 11 text

σʔλ׆༻ͷน ● ֤ࣄۀ෦΁෼ੳΛਪਐ͢ΔͨΊɺ෯޿͘υϝΠϯ஌ࣝΛऔΓೖΕΔඞཁ͕ੜͨ͡ ʢ౰࣌ͷϓϩμΫτ਺͸20ఔ౓ʣ ● ϓϩμΫτͷ૿Ճɾൢചํ๏ͷଟ༷Խʹ൐͍؅ཧձܭϩδοΫ͕ෳࡶԽ͠෼ੳνʔ Ϝͷ޻਺͕֦େͨ͠ Ͳ͏৐Γӽ͔͑ͨʁ ● ෼ੳʹର͢ΔԹ౓ײ͕ߴ͍෦ॺʹ݉຿ϝϯόʔΛૹΓࠐΈࣗ૸ԽΛࢧԉͨ͠ ● ؅ཧձܭͱKPI؅ཧΛҾ͖཭ͣ͞ҰମԽͯ͠؅ཧͰ͖Δঢ়ଶΛ໨ࢦͨ͠ σʔλͷຽओԽͷน 11

Slide 12

Slide 12 text

σʔλج൫ͷน ● ֤ࣄۀ෦Ͱͷ׆༻͕ਐΈ෼ੳج൫ʹసૹ͢Δσʔλྔ͕ܹ૿ͨ͠ ● σʔλ׆༻Λߦ͏ϝϯόʔ΋֤෦ॺʹ૿͑ɺϝϯγϣϯͰґཔΛड͚ͯσʔλΤϯδχΞ͕ରԠ͢ Δͱ͍͏ྲྀΕ͕ݶքΛܴ͑ͨ ● సૹσʔλͱ෼ੳϢʔβʔ͕૿͑ͨͨΊɺσʔλࣗମͷ؅ཧ΍ݖݶͷ؅ཧ͕൥ࡶԽͨ͠ Ͳ͏৐Γӽ͔͑ͨʁ ● ΦϯϓϨETLαʔόʔͷڧԽɾ૿ઃ ● ೔ʑͷόονసૹ͚ͩͰͳ͘HourlyͰͷసૹ΋ಋೖ ● Embulkఆٛ͸σʔλΛཉ͍͠ਓ͕ॻ͖ɺج൫νʔϜ͕ϨϏϡʔ͢Δͱ͍͏ମ੍ʹมߋ͠   ࣮૷͚ͩͰͳ͘σʔλϚωδϝϯτʹ޲͖߹͏࣌ؒΛ૿΍ͨ͠ σʔλͷຽओԽͷน 12

Slide 13

Slide 13 text

σʔλ૊৫෼཭ͷน 2021೥ࠒ 13

Slide 14

Slide 14 text

● σʔλΤϯδχΞϦϯάΛઐ໳ʹ͓ ͜ͳ͏෼ੳج൫෦্ཱ͕͕ͪΔ ● ઃཱ౰ॳ͸͔ͳΓগਓ਺ͷνʔϜ ● ૊৫Λ෼཭ͨ͠໨త͸ɺج൫վળ΁ ͷूதͱML/AIྖҬʹ޲͚ͨج൫ͷ ߴ౓Խ σʔλ૊৫෼཭ͷน 14

Slide 15

Slide 15 text

ઃཱ౰ॳ͔ΒMySQLϚϧνϨϓϦͷ෼ੳ༻DBͷϦϓϨʔε͕٤ۓͷ՝୊ʹ ਺೥લ͔Βɺࣾ಺ͷଟ͘ͷϢʔβʔ͕ࢀর͢Δ෼ੳDB͕ετϨʔδͷṧഭʹԿ౓΋ݟ෣ΘΕࣾ ಺ΠϯϑϥνʔϜͷϦιʔεΛ৯͏ঢ়ଶʹ͍ؕͬͯͨɻ   ෼ੳج൫෦͸͜ͷϦϓϨʔεΛ׬਱͢ΔͨΊʹ্ཱ͕ͪͬͨଆ໘΋͋ͬͨɻ Ͳ͏৐Γӽ͔͑ͨʁ ● গਓ਺ͷνʔϜͰ͋ͬͨͨΊۓٸͷґཔʢETLͷϦΧόϦ౳ʣҎ֎͸ఀࢭ͠ϦϓϨʔεʹ ूதͨ͠ ● ҰํɺML/AIྖҬ΁ͷظ଴΋ߴ·͍ͬͯΔঢ়ଶͰ͋Γͪ͜Β΋Χόʔ͢Δඞཁ͕͋ͬͨ → Ϧιʔε֬อͷͨΊDatabricks, Fivetran, trocco®౳ͷπʔϧΛಋೖ͠Ϛωʔδυʹஔ͖ ׵͑ΒΕΔ෦෼Λஔ͖׵͑ͨ σʔλ૊৫෼཭ͷน 15

Slide 16

Slide 16 text

σʔλ૊৫෼཭ͷน ෼ੳج൫෦ʹࣾ಺Ϣʔβʔͷ੠͕ಧ͖ͮΒ͘ͳͬͨ େ͖ͳϦϓϨʔεϓϩδΣΫτ͕૸͍ͬͯͨͨΊɺϑϩϯτʹ෼ੳਪਐཱ͕ࣨͪج൫վળ͕བྷΉۓٸͷґཔ͚ͩύ εͯ͠΋Β͏ͱ͍͏ϑϩʔʹͳ͍ͬͯͨͨΊࣾ಺Ϣʔβʔͷ੠͕௚઀ಧ͖ʹ͍͘ঢ়ଶʹͳͬͨɻ Ͳ͏৐Γӽ͔͑ͨʁ ● ෼ੳؔ࿈ͷґཔɾ૬ஊ૭ޱΛҰݩԽͨ͠ ● ґཔ಺༰ʹԠͯ͡෼ੳਪਐ͔ࣨ෼ੳج൫෦͕ରԠ͢Δͱ͍͏ܗʹมߋ ● ࣾ಺Ϣʔβʔʹσʔλ૊৫ͷҧ͍Λཧղͯ͠΋Β͍ɺґཔऀଆͰͲͪΒʹґཔ͢΂͖ࣄ৅͔͋Δఔ౓੾Γ ෼͚ͯ΋Β͏ → ݱࡏ͸෼ੳج൫෦ͱ௚઀ίϛϡχέʔγϣϯΛऔΔࣾ಺Ϣʔβʔ΋૿͑ͨ΋ͷͷɺ૊৫ߏ଄͕Θ͔Γʹ͍͘ͱ ͍ͬͨҙݟ͸ࠜڧ͘࢒Δ 16

Slide 17

Slide 17 text

ج൫վળͷน 2022೥ʙ 17

Slide 18

Slide 18 text

ج൫վળͷน ● ෼ੳج൫෦ઃཱ౰ॳͷج൫࡮৽Λ৐ Γӽ͑ɺ࠾༻ʹ΋੒ޭ͠େ෯ʹνʔ ϜϝϯόʔΛ૿һͨ͠ ● MySQLϚϧνϨϓϦͷ෼ੳDBΛ BigQueryʹஔ͖׵͑ͨ͜ͱͰɺ͜ ͷج൫Λࣾ಺ͷ෼ੳج൫ͷσʔλϨ ΠΫͱͯ͠׆༻͢Δํ਑͕ఆ·ͬͨ 18

Slide 19

Slide 19 text

ج൫վળͷน ϨΨγʔγεςϜ͔Βͷఫୀ ج൫࡮৽Λߦ͍ϞμϯͳσʔλϨΠΫ͕ߏங͞Ε͕ͨɺ   ґવͱͯ͠چγεςϜʢmf_etlʣΛ༻͍ͨETL΋ಈ͍͍ͯΔঢ়ଶ͕ଓ͍ͨ Ͳ͏৐Γӽ͔͑ͨʁ ● ؅ཧର৅Λ࡟ݮ͢ΔͨΊ৽͍͠ύΠϓϥΠϯ΁ͷҠߦΛਐΊɺچγεςϜΛఫ ഇͨ͠ʢ͍ͯ͠Δʣ ● چσʔληοτͱ৽σʔληοτʹσʔλΛฒߦసૹ͠ɺϢʔβʔ΁৽σʔλ ηοτΛࢀর͢ΔΑ͏ҠߦΛଅ͢೔ʑ͕ଓ͍ͨʢ؂ࠪϩά౳༻͍ͯɺچσʔλ ΁ͷΞΫηεΛݮΒ͍ͯ͘͠ʣ 19

Slide 20

Slide 20 text

ج൫վળͷน σʔλΧλϩάͷཁ๬͕૿Ճ ͔Ͷ͔ͯΒdmemoͱ͍͏σʔλϕʔευΩϡϝϯτ؅ཧγεςϜΛࣾ಺Ͱӡ༻͍͕ͯͨ͠ɺ؅ཧओମ͕ ෆ໌Ͱ͔֤ͭϓϩμΫτνʔϜͷࡋྔͰϝλσʔλΛهࡌ͢ΔΑ͏ͳঢ়ଶͩͬͨɻ෼ੳج൫ͷҰݩԽ͕ ਐߦ͠ɺվΊͯσʔλΧλϩά͕΄͍͠ͱ͍͏੠͕૿Ճͨ͠ɻ Ͳ͏৐Γӽ͔͑ͨʁ ● yamlϕʔεͰϝλσʔλΛ؅ཧ͢Δ࢓૊ΈΛߏஙͨ͠ →yamlʹهࡌͨ͠಺༰͕BigQueryͷϝλ σʔλͱͯ͠ߋ৽͞ΕΔ ● ϝλσʔλΛࢀর͢ΔͨΊͷࣾ಺αΠτΛߏஙͨ͠ →BQͷݖݶ͕ͳ͍Ϣʔβʔ΋Ͳ͜ʹͲ͏ ͍ͬͨσʔλ͕͋Δ͔Θ͔Δঢ়ଶʹͳͬͨʢݖݶͷա৒෇༩͕ੋਖ਼͞Εͨʣ 20

Slide 21

Slide 21 text

·ͱΊ 21

Slide 22

Slide 22 text

૊৫ɾ࠾༻ ● ্ཱͪ͛ظ͸ΫΠοΫ΢ΟϯΛੵΈॏͶΔ͜ͱͰ෼ੳจԽͷਁಁΛਤΔ ● ෼ੳ૊৫ͷ্ཱͪ͛͸΍Γ͍ͨ͜ͱ͕໌֬ͳ෼ੳνʔϜʹΤϯδχΞΛ഑ஔ ͯ͠ελʔτͨ͠΄͏͕୹ظɾதظͷΰʔϧ͕໌֬Ͱ΍Γ͖Δ͜ͱ͕ग़དྷΔ   → ෼ੳͷن໛ײͳͲʹ߹Θͤͯ૊৫ମ੍ΛมߋͰ͖Δॊೈ͞΋ඞཁ ● ΞφϦετͱΤϯδχΞͷൺ཰Λߟ͑ͯ࠾༻͠ͳ͍ͱ෼ੳจԽͷਁಁʹର͠ ͯج൫ͷߴ౓Խ͕௥͍͔ͭͣख٧·ΓʹͳΔ ·ͱΊ 22

Slide 23

Slide 23 text

૯ׅ ● “σʔλΤϯδχΞ”ͱ͍͏ϩʔϧͰͷਓһ֬อ͸฼ूஂ΋গͳ͘Ή͔͍ͣ͠   → গਓ਺Ͱ΋ຊ౰ʹूத͢΂͖ϙΠϯτʹ޲͖߹͏ҙࣝΛ࣋ͬͯɺϚωʔδυ ͳETL΍σʔλϚωδϝϯτΛࢧ͑ͯ͘ΕΔπʔϧΛಋೖ͢ΔͳͲ޻෉͕ඞཁ ● େن໛ͳج൫࡮৽͸෼ੳจԽͷਐԽΛ௕ظؒࢭΊͯ͠·͏   → ৗʹར༻ऀ͔ΒͷϑΟʔυόοΫΛ΋ΒͬͯɺΞδϟΠϧʹվमɾΤϯϋϯ εϝϯτΛ͓͜ͳ͏ ·ͱΊ 23

Slide 24

Slide 24 text

We are hiring! גࣜձࣾϚωʔϑΥϫʔυ ͢΂ͯͷٻਓҰཡ (HRMOS) 24