Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レガシーシステムからのデータマイグレーションあれこれ

tkzwtks
May 14, 2020
1.7k

 レガシーシステムからのデータマイグレーションあれこれ

tkzwtks

May 14, 2020
Tweet

More Decks by tkzwtks

Transcript

  1. ࣗݾ঺հ • id:tkzwtks ୍ᖒ ਸ • 2015೥11݄ೖࣾ • ۀ຿ྺ •

    ΧΫϤϜʢKADOKAWA༷ʣ • GigaViewer • ͸ͯͳμΠΞϦʔऴྃ
  2. σʔλؒͷґଘؔ܎ͱ ॲཧͷॱ൪ • ϢʔβʔҠߦ -> ࡞඼Ҡߦ -> ه๏ม ׵ ͱ͍͏ॱͰྲྀΕΔ

    • લͷॲཧ͕ऴΘ͍ͬͯͳ͍ͱ࣍ͷ ॲཧΛ։࢝Ͱ͖ͳ͍ • 500ϖʔδ͍࣋ͬͯΔ࡞඼΋ଘࡏ͠ɺ ͔ͳΓͷϘϦϡʔϜ͕͋Δ • શϖʔδʹؚ·ΕΔچه๏Λ৽ه๏ ʹม׵͢Δ
  3. ϚωʔδυαʔϏεͷಋೖ • AWS StepFunctions + AWS Batch ͰҠߦॲཧΛฒྻ࣮ߦ͠Ұ ؾʹऴΘΒͤΔ࡞ઓ •

    BatchͰҠߦॲཧࣗମΛ࣮ߦ • StepFunctionsͰBatchͷδϣϒΛૹ৴ͭͭ͠ɺਐḿ؅ཧΛ ߦ͏
  4. ࡞ઓ੒ޭ • ʢ࣮ࡍͷ਺͸ݴ͑ͳ͍͕ʣ20೥෼ͷখઆΛ͍͍ͩͨ߹ܭ10h ఔ౓Ͱه๏ม׵·Ͱ׬ྃͯ͠ҠߦͰ͖ͨ • ϢʔβʔҠߦ -> খઆҠߦ -> ه๏ม׵

    • ϓϩδΣΫτ౰ॳʹ໨ࢦ͍ͯͨ͠ʮԿ͔͠Βͷཧ༝Ͱࣦഊ ͨ͠৔߹ʹ΋͏Ұ౓͘Β͍Ͱ͖ΔΑ͏ͳ࣌ؒʯʹऩ·ͬͨ • ଞͷσʔλ΋ಉ͡࢓૊ΈΛྲྀ༻Ͱ͖ͨ • ElasticSearch΁ͷσʔλ౤ೖ΋1hఔ౓Ͱ׬ྃͨ͠