レガシーシステムからのデータマイグレーションあれこれ

Transcript

1. ϨΨγʔγεςϜ͔Βͷ σʔλϚΠάϨʔγϣϯ ͋Ε͜Ε 2020/05/14 ϖύϘɾ͸ͯͳٕज़େձʙ@ΦϯϥΠϯ ୍ᖒ ਸʢid:tkzwtks)

2. ࣗݾ঺հ • id:tkzwtks ୍ᖒ ਸ • 2015೥11݄ೖࣾ • ۀ຿ྺ •

   ΧΫϤϜʢKADOKAWA༷ʣ • GigaViewer • ͸ͯͳμΠΞϦʔऴྃ

3. ຊ೔͓࿩͢͠Δ͜ͱ

4. ຊ೔͓࿩͢͠Δ͜ͱ • 2020೥4݄ʹϦχϡʔΞϧͨ͠ʮຐ๏ͷiΒΜͲʯͷσʔλҠ ߦ • Ҡߦʹ͔͔Δ࣌ؒΛͰ͖Δ͚ͩ୹͘͢ΔͨΊʹԿΛߟ͑ɺ ԿΛ΍ͬͨͷ͔

5. ຐ๏ͷiΒΜͲ

6. ຐ๏ͷiΒΜͲ • KADOKAWA༷͕ӡӦ͢Δʮ೔ຊ࠷ େڃͷΨʔϧζΤϯλςΠϝϯταΠ τʯ • 1999೥ʹແྉϗʔϜϖʔδ࡞੒αʔ Ϗεͱͯ͠ελʔτ • খઆ౤ߘػೳͰ͸ʮ࿀ۭʕ੾φΠ࿀

   ෺ޠʯ౳ͷਓؾ࡞඼͕ੜ·Ε͍ͯΔ • 4݄ʹখઆʹಛԽͨ͠αʔϏεͱͯ͠ ϦχϡʔΞϧ

7. ϦχϡʔΞϧ • γεςϜ࡮৽ • ৽γεςϜ΁খઆσʔλΛҠߦ͢Δඞཁ͕͋Δ • ࠓ೔͸͜ͷ࿩

8. Ҿӽ͠࡞ۀ • چγεςϜͱ৽γεςϜͷεΩʔϚͷϚοϐϯά • Ϛοϐϯάͨ͠ઌʹσʔλΛҠಈ • چεΩʔϚ͸׬શʹഇࢭͯ͠ɺσʔλߏ଄ͷϦϑΝΫλϦ ϯά΋ૂ͏ • Ұ෦σʔλ͸ม׵͢Δඞཁ͕͋Δ

   • چγεςϜͰར༻Մೳͩͬͨه๏͸શͯ৽γεςϜͷه๏ ʹม׵͢Δ

9. Ҿӽ͠࡞ۀͷ՝୊ ʮͱʹ͔͘ҠߦॲཧΛߴ଎ʹऴΘΒ͍ͤͨʯ • σʔλҠߦͦͷ΋ͷʹ͔͔ΔͩΖ͏͕࣌ؒಡΊͳ͍ɺಡΈͮ Β͍ • ࠷ऴతͳσʔλྔ͸֓Ͷ༧ଌՄೳ͕ͩͬͨɺ΍Δ͜ͱ͕ଟ ͍ͷͰ͕࣌ؒಡΊͳ͍ • Ҡߦલʹॻ͖ࠐΈΛఀࢭ͢Δඞཁ͕͋Δʢ=

   ϝϯςφϯεظ ؒΛ༻ҙ͢Δඞཁ͕͋Δʣ

10. σʔλؒͷґଘؔ܎ͱ ॲཧͷॱ൪ • ϢʔβʔҠߦ -> ࡞඼Ҡߦ -> ه๏ม ׵ ͱ͍͏ॱͰྲྀΕΔ

    • લͷॲཧ͕ऴΘ͍ͬͯͳ͍ͱ࣍ͷ ॲཧΛ։࢝Ͱ͖ͳ͍ • 500ϖʔδ͍࣋ͬͯΔ࡞඼΋ଘࡏ͠ɺ ͔ͳΓͷϘϦϡʔϜ͕͋Δ • શϖʔδʹؚ·ΕΔچه๏Λ৽ه๏ ʹม׵͢Δ

11. ϚωʔδυαʔϏεͷಋೖ • AWS StepFunctions + AWS Batch ͰҠߦॲཧΛฒྻ࣮ߦ͠Ұ ؾʹऴΘΒͤΔ࡞ઓ •

    BatchͰҠߦॲཧࣗମΛ࣮ߦ • StepFunctionsͰBatchͷδϣϒΛૹ৴ͭͭ͠ɺਐḿ؅ཧΛ ߦ͏

12. AWS Batch • ϑϧϚωʔδυͳόονॲཧ࣮ߦ؀ڥ • ඞཁͳͷ͸όονॲཧΛ࣮ߦ͢ΔͨΊͷDockerΠϝʔδ • δϣϒΛొ࿥͍ͯ͘͠ͱɺ࣮ߦ଴ͪͷδϣϒ਺΍ࢦఆͨ͠ Ϧιʔεཁ݅ʹ߹ΘͤͯউखʹεέʔϧΞ΢τɾεέʔϧ Πϯͯ͘͠ΕΔ

    • DBͷੑೳݶք·Ͱ͸ฒྻʹҠߦॲཧ͕Մೳ

13. AWS Batch • δϣϒΛͲ͏΍ͬͯൃߦ͢Δ? • SUBMITTEDͳδϣϒͷ࠷େ਺ʹ੍ݶ਺͕͋ΔͨΊɺશͯ ͷδϣϒΛ͍͖ͳΓൃߦ͢Δ͜ͱ͸ආ͚͍ͨ • ༷ࢠΛݟͳ͕ΒδϣϒΛൃߦ͢ΔॲཧΛࣗ෼Ͱ༻ҙͨ͘͠ ͳ͍

14. AWS StepFunctions • ϚωʔδυϫʔΫϑϩʔΤϯδϯ • AWSαʔϏεͱͷ౷߹͕ڧ͍ • StepFunctions͔ΒBatchͷδϣϒΛൃߦ͢Δ͜ͱ͕Մೳ • StepFunctions͔ΒଞαʔϏεΛಉظతʹ࣮ߦͰ͖Δ

    • ʮϢʔβʔҠߦॲཧ͕શͯऴΘͬͨΒখઆͷҠߦॲཧΛ͢ Δʯͱ͍͏Α͏ͳϫʔΫϑϩʔΛ૊Ή͜ͱ͕Ͱ͖Δ

15. AWS StepFunctions • Mapεςʔτ • 2019/9 ʹ௥Ճ͞Εͨಈతฒྻॲཧαϙʔτ • ฒྻϑΝϯΞ΢τΛ؆୯ʹ࣮૷Ͱ͖ΔΑ͏ʹͳͬͨ StepFunctionsͷεςʔτϚγϯ͔ΒBatchͷδϣϒΛൃߦ͢Δ

    ܗʹͨ͠

16. ࣮ࡍͷεςʔτϚγϯ ఆٛ • εςʔτϚγϯΛೋஈߏ੒ʹ͢Δ • ֤޻ఔΛ਌Ͱ؅ཧ͠ɺࡉ͔͍ॲཧ ͸ࢠʹدͤΔ • ਌εςʔτϚγϯ

17. ࣮ࡍͷεςʔτϚγϯ ఆٛ • ࢠεςʔτϚγϯ • batchδϣϒΛฒྻʹେྔൃߦ

18. ࣮ࡍͷ࡞ઓ • ฒྻ࣮ߦՄೳͳ୯ҐͰάϧʔϐϯά ͢Δ • άϧʔϐϯάͨ͠΋ͷΛฒྻॲཧ ͢Δ • άϧʔϓ಺ͷ֤޻ఔΛ͞Βʹฒྻ ॲཧͯ͠΋ଞʹӨڹ͕ͳ͍

    • ֤άϧʔϓͷ࣮ߦঢ়ଶΛS3ʹอଘ ͓͖ͯ͠ɺਐḿ֬ೝɾϦτϥΠՄ ೳͳ࢓૊ΈΛ࡞Δ

19. ࣮ࡍͷ࡞ઓ • Ҡߦॲཧͦͷ΋ͷ΋Ͱ͖Δ͚ͩߴ଎ ʹ͢Δ • ͱʹ͔͘INSERTจΛݮΒ͢

20. ࡞ઓ੒ޭ • ʢ࣮ࡍͷ਺͸ݴ͑ͳ͍͕ʣ20೥෼ͷখઆΛ͍͍ͩͨ߹ܭ10h ఔ౓Ͱه๏ม׵·Ͱ׬ྃͯ͠ҠߦͰ͖ͨ • ϢʔβʔҠߦ -> খઆҠߦ -> ه๏ม׵

    • ϓϩδΣΫτ౰ॳʹ໨ࢦ͍ͯͨ͠ʮԿ͔͠Βͷཧ༝Ͱࣦഊ ͨ͠৔߹ʹ΋͏Ұ౓͘Β͍Ͱ͖ΔΑ͏ͳ࣌ؒʯʹऩ·ͬͨ • ଞͷσʔλ΋ಉ͡࢓૊ΈΛྲྀ༻Ͱ͖ͨ • ElasticSearch΁ͷσʔλ౤ೖ΋1hఔ౓Ͱ׬ྃͨ͠

21. ৼΓฦΔʢAWS Batch) • ΦʔτεέʔϦϯάΛউखʹ΍ͬͯ͘ΕΔͷ͸ඇৗʹྑ͍ • ʮϦιʔε͕ͲΕ͘Β͍ඞཁʹͳΓͦ͏͔ʯΛ࠷ॳʹ༧ଌ ͢Δඞཁ͕ͳ͍ • ࡉ͔͍ϋϚΓͲ͜Ζ͸͋Δ •

    ىಈʙ࣮ߦ·Ͱͷ଎͕҆͞ఆ͠ͳ͍͜ͱ͕͋Δ • cloudwatchͷϩάάϧʔϓ͕શͯʹͳͬͯ͠·͏౳

22. ৼΓฦΔʢAWS Batch) • DockerΠϝʔδ͕͋Ε͹ಈ͘ͷͰݴޠબ୒ͷ෯͕޿͍ • LambdaͰ΋௕Ίͷॲཧ͕࣮ߦͰ͖Δ͕͜ͷ఺͕ҧ͏ • ࠓճ͸Webଆͱಉ͡ݴޠΛબ୒͍ͯ͠Δ • Fargate͸ࠓճબ͹ͳ͔ͬͨ

    • λεΫͷಉ࣮࣌ߦ਺ʹ੍ݶ͕͋Δ

23. ৼΓฦΔ(AWS StepFunctions) • ֤޻ఔΛ୯ಠͰಈ͘όονॲཧͱ࣮ͯ͠૷Ͱ͖ɺͦΕΛ૊Έ ߹Θͤͯେ͖ͳॲཧΛ࡞Εͨ • ֤޻ఔΛෳ਺ਓͰ࣮૷Ͱ͖ͨ • ్தʹॲཧΛࠩ͠ࠐΉͷ΋༰қ •

    ޙॲཧʹ௨஌Λࠩ͠ࠐΉͳͲ

24. ৼΓฦΔ(AWS StepFunctions) • ͋ΔεςʔτϚγϯ͔ΒผͷεςʔτϚγϯΛݺͼग़͢͜ͱ ΋Մೳ • ݸʑͷॲཧΛϞδϡʔϧͱ࣮ͯ͠૷Ͱ͖ͨ • ׳ΕΔ·Ͱ͸গ͠େมʢͱݸਓతʹ͸ߟ͍͑ͯΔʣ •

    εςʔτϚγϯͷೖग़ྗ͸݁ߏΫη͕͋Δ • σόοάͮ͠Β͍