Hatena Engineer Seminar #14 魔法のiらんど データ移行編 〜新旧システム間のデータマイグレーション時に我々が考えること〜 / hatena-engineer-seminer-number-14-data-migration

Transcript

1. Hatena Engineer Seminar #14 ຐ๏ͷiΒΜͲ σʔλҠߦฤ ʙ৽چγεςϜؒͷσʔλϚΠάϨʔ γϣϯ࣌ʹզʑ͕ߟ͑Δ͜ͱʙ id:tkzwtksʢ୍ᖒ ਸʣ

2. ࣗݾ঺հ • id:tkzwtks ୍ᖒ ਸ • 2015೥11݄ೖࣾ • ۀ຿ྺ •

   ΧΫϤϜʢKADOKAWA༷ʣ • GigaViewer • ͸ͯͳμΠΞϦʔऴྃ(͸ͯͳμΠ ΞϦʔ͔Βϒϩά΁ͷҠߦ࡞ۀ) • Ҿӽ͠Ҋ݅͸3݅໨͘Β͍

3. վΊͯຐ๏ͷiΒΜͲ֓ཁ • KADOKAWA༷͕ӡӦ͢Δʮ೔ຊ࠷େڃͷΨʔϧζΤϯλς ΠϝϯταΠτʯ • 1999೥ʹແྉϗʔϜϖʔδ࡞੒αʔϏεͱͯ͠ελʔτ • খઆ౤ߘػೳͰ͸ʮ࿀ۭʕ੾φΠ࿀෺ޠʯ౳ͷਓؾ࡞඼͕ੜ ·Ε͍ͯΔ •

   ໿20೥෼ͷখઆ΍ؔ࿈σʔλ͕ཷ·͍ͬͯΔ

4. ࠓ೔࿩͢͜ͱ • σʔλҠߦͷͱ͖ʹ཈͑ΔϙΠϯτ • ৽چຐ๏ͷiΒΜͲؒͰσʔλҾӽ͢͠Δࡍʹզʑ͕ߟ͑ͨ͜ ͱ • ͲͷΑ͏ʹҠߦ४උΛਐΊ͔ͨ • Ҡߦ࣌ͷ՝୊ͱͦͷղܾํ๏

5. ࠓ೔࿩͢͜ͱ • σʔλҠߦͱ͸ʁ • ຐ๏ͷiΒΜͲʹ͓͚ΔσʔλҠߦ • σʔλ೺Ѳ • Ҡߦॲཧ࣮૷/ࣄલ࣮ߦ/վળ •

   ฒྻ࣮ߦઃܭ/࣮૷ • ·ͱΊ

6. σʔλҠߦͱ͸ʁ

7. σʔλҠߦͱ͸ʁ چγεςϜ͔Β৽γεςϜʹσʔλΛҠ͢͜ͱ • DBͳΒ • εΩʔϚఆٛมߋແ͠ / มߋͭͭ͠Ҡߦ • ϑΝΠϧͳΒ

   • چετϨʔδ͔Β৽ετϨʔδ΁ͷҾӽ͠

8. σʔλҠߦ·ͰͷಓͷΓ • ೺Ѳɾ࡞ઓཱҊ • ԿΛͲ͜ʹҠ͢ͷ͔ / ͲΕ͘Β͍Ҡ͢ͷ͔ • ͲΕ͘Β͍͕͔͔࣌ؒΔ͔ •

   ४උɾ࣮૷ • ࣮ߦ

9. ຐ๏ͷiΒΜͲͷ Ҿӽ֓͠ཁ

10. ԿΛͲΕ͘Β͍Ҡ͢ͷ͔ʁ • Ϣʔβʔσʔλʢ470ສਓʣ • ࡞඼ʢ132ສ࡞඼ʣ • Τϐιʔυʢ3000ສΤϐιʔυʣ

11. ԿΛͲΕ͘Β͍Ҡ͢ͷ͔ʁ • ͓͠Γʢ640ສʣ • ϨϏϡʔʢ219ສʣ • ࡞඼΁ͷ൓Ԡʢ144ສʣ • খઆૠֆ/ϓϩϑΟʔϧը૾ʢ500ສϑΝΠϧʣ

12. Ҿӽ͠ʹ͓͚Δ՝୊ • γεςϜͷ׬શϦχϡʔΞϧ • ΧΫϤϜͱίʔυϕʔε͕ಉ͡ • ৽چγεςϜؒͰεΩʔϚఆٛ΋ҧ͏ • ه๏΋ҧ͏ͷͰશΤϐιʔυॻ͖׵͑ͳͯ͘͸ͳΒͳ͍ •

    σʔλؒͷґଘؔ܎Λղܾ͠ͳ͕ΒҠߦ͢Δඞཁ͕͋Δ • ྫ) ࡞඼ͱͦͷ࡞ऀ / ը૾ͱͦͷΦʔφʔ

13. ಺༰Λ೺Ѳ͢Δ

14. σʔλϚοϐϯά • چεΩʔϚ͔Β৽εΩʔϚʹରԠ͢Δςʔϒϧ/ΧϥϜΛݟͭ ͚Δ • ৽εΩʔϚͰඞཁͳσʔλΛ͢΂ͯચ͍ग़͠ɺچεΩʔϚ ͔ΒରԠ͢ΔΧϥϜΛݟ͚ͭΔ • چγεςϜ͔ΒҠߦ͢Δඞཁ͕͋ΔσʔλͷҠߦઌͷςʔϒ ϧ/ΧϥϜ͕ଘࡏ͢Δ͔ચ͍ग़͢

15. Ҡߦର৅ͷચ͍ग़͠ • Ҡߦ͢Δ΋ͷ / ͠ͳ͍΋ͷΛܾΊͯ਺Λग़͢ • ྫʣୀձࡁΈϢʔβʔͱͦͷ࡞඼͸Ҡߦ͠ͳ͍ • ਺Λग़ͯ͠ɺҠߦظؒͷݟੵ΋Γʹར༻͢Δ

16. ྫ ࡞඼/ຊจͷҠߦ • ࡞඼λΠτϧ΍ຊจ͸৽γεςϜͷରԠ͢ΔΧϥϜʹϚοϐ ϯά͢Δ • ݪଇͱͯ͠͸ҠߦલޙͰʮมߋ͠ͳ͍ʯ • چεΩʔϚͷෳ਺ͷσʔλΛࢀর͠ͳ͍ͱܾఆͰ͖ͳ͍΋ͷ ΋͋Δ

    • ެ։ϑϥάʢ࡞඼ɾখઆຊจʣ΍ ষɾઅͷઃఆ • ϚοϐϯάҎ֎ʹ΋ม׵ϩδοΫ͕ඞཁ

17. Ҡߦॲཧͷ࣮૷

18. Ҡߦॲཧͷ࣮૷ํ਑ • Ҡߦର৅σʔλͷछྨ͕ଟ͍ͷͰɺ֤ॲཧΛผʑͷόονॲ ཧͱ࣮ͯ͠૷͢Δ • ෳ਺ͷछྨͷσʔλҠߦΛฒߦ࣮ͯ͠ߦͰ͖ΔΑ͏ʹ • ෳ਺ਓͰ࣮૷͠΍͍͢Α͏ʹ • ֤ॲཧΛγϯϓϧʹอͭΑ͏ʹ

    • ֤ॲཧ͸ผͷ࢓૊ΈͰ࿈݁͢Δ

19. Ҡߦॲཧͷ࣮૷ํ਑ • ͍͖ͳΓ࡞Γࠐ·ͳ͍ • ࠷ॳ͸ͱʹ͔͘ಈ͔͢͜ͱΛ໨ඪʹ • ૝ఆ͍ͯ͠ͳ͍σʔλ͸ଘࡏ͢Δલఏʹཱͪଓ͚Δ • ͋Δఔ౓ಈ͘Α͏ʹͳͬͨΒɺ࣮ࡍʹશ݅ʢ͋Δ͍͸ݱ࣮త ʹऴΘΔ͘Β͍ͷྔʣͰ࣮ࡍҠߦΛࢼ͍ͯ͘͠

    • ૝ఆ͠ͳ͍σʔλ͕͖ͨΒΤϥʔͰམͪΔΑ͏͢Δ

20. Ҡߦॲཧͷ࣮૷ํ਑ • Ͱ͖Δ͚ͩಛผͳ͜ͱΛ͠ͳ͍ • Ϣʔβʔ͕࣮ࡍʹૢ࡞͢Δ৔߹ͱಉ͡Α͏ͳσʔλ͕࡞Β ΕΔΑ͏ʹ͢Δ • কདྷʹʮ໌Β͔ʹ͓͔͠ͳσʔλʹݟ͑ΔΜ͚ͩͲ͜Ε͍ ͭͲ͏΍ͬͯ࡞ΒΕͨΜͩΖ͏ʯͱͳΔͷΛආ͚͍ͨ •

    DB্ͷσʔλͷมߋཤྺ͸௥͍ʹ͍͘

21. ࣮૷ • ࠷ॳ͸ҠߦઌͷίʔυΛྲྀ༻͢ΔܗͰ֤ҠߦॲཧΛ࣮૷ • Ҡߦ࣌ʹ͓͔͠ͳσʔλ͕࡞ΒΕΔͷΛ๷͙ͷ͕ૂ͍ • WebଆͱͰ͖Δ͚ͩಉ͡ϩδοΫΛ࢖͏͜ͱͰɺෆ׬શͳ σʔλ͕࡞ΒΕͳ͍Α͏ʹ

22. ࣄલ࣮ߦ/վળ

23. ࣌ؒΛݟੵ΋Δ • ࣮σʔλͰࢼ̐͢ • શମͷྔ/Ұ݅͋ͨΓͷҠߦʹ͔͔Δ࣌ؒΛग़͢ • ϝϯςφϯεظؒͷݟੵ΋Γ • શͯͷύλʔϯΛ໢ཏ͢Δඞཁ͸ͳ͍ •

    ݟੵ΋ΓͳͷͰશ݅ࢼ͞ͳͯ͘΋Α͍ • ࣮૷ → ࣮ߦ → मਖ਼ͷαΠΫϧΛճ͍ͯ͘͠

24. ຐ๏ͷiΒΜͲͰͷ࣌ؒݟੵ΋Γ • ಈ͘Α͏ʹͳͬͨ͘Β͍Ͱ͓ࢼ࣮͠ߦ • ૉ๿ʹ࣮ߦͯ͠ΈΔͱɺҰϲ݄Λͪΐͬͱ௒͑ͦ͏ͱ͍͏͜ ͱ͕Θ͔Δ • ͜ΕͩͱҰൃউෛʹͳͬͯ͠·͏ • λΠϜϦϛοτ͕2݄ޙ൒ʹͳΔ/ϝϯςφϯεظ͕ؒ௕͘

    ͳΓ͗͢Δ • ॲཧࣗମͷվળͱฒྻ࣮ߦ͢Δ࢓૊ΈͷಋೖͰରԠ͢Δ

25. Ҡߦॲཧͦͷ΋ͷͷվળ • ҠߦॲཧࣗମΛ࠷దԽ͢Δ • ࠷ॳ͸webଆͱಉ͡ίʔυΛར༻͓ͯ͠ΓɺҰ݅ͣͭ INSERT͢ΔϩδοΫʹͳ͍ͬͯͨʢ͍ΘΏΔn+1໰୊ʣ • webଆͱಉ͡ίʔυΛͦͷ··ར༻͢ΔͷΛఘΊͯɺෳ਺ ϨίʔυΛbulk insert͢Δίʔυʹม͍͑ͯ͘

    • INSERT͕ϝΠϯͳͷͰେ෯վળ • UPDATEʹ͍ͭͯ͸ఘΊΔ

26. ฒྻ࣮ߦ

27. Ҡߦͷ࡞ઓݕ౼ Ͳ͏΍ͬͯૉૣ͘Ҡߦ͢Δʁ • ฒྻΠϯϙʔτ & ฒྻ਺ΛͰ͖Δ͚ͩ૿΍͢ • ௚ྻʹ΍ͬͯ100೔͔͔ΔͳΒɺ୯७ܭࢉͰ͸100ฒྻͳ Β1೔ͰऴΘΔ •

    ฒྻ਺͸উखʹ্ݶ·Ͱ૿͑ͯཉ͍͠

28. Ͳ͏΍ͬͯฒྻ࣮ߦ͢Δʁ ϚωʔδυαʔϏεΛಋೖͰղܾΛਤΔ • AWS Batch + StepFunctions • BatchͰҠߦॲཧࣗମΛ࣮ߦ •

    ґଘ͢ΔBatchॲཧΛStepFunctionsͰͭͳ͙ • StepFunctionsͰBatchͷδϣϒΛૹ৴ͭͭ͠ɺਐḿ؅ཧΛߦ ͏࢓૊ΈΛͭ͘Δ

29. AWS Batch • ϑϧϚωʔδυͳόονॲཧ࣮ߦ؀ڥ • Ϧιʔεʹ༨༟͕͋ΔݶΓδϣϒΛฒྻ࣮ߦͯ͘͠ΕΔ • DockerΠϝʔδ͕͋Ε͹࢖͑ΔͷͰɺٕज़બ୒ͷ෯͕޿͍ • Lambdaͱͷҧ͍͸͜͜

    • ୯ମͰ΋ಈ͘όονॲཧͱͯ͠ಈ͘΋ͷΛࡌ࣮ͤͯߦ

30. AWS StepFunctions • AWSͷෳ਺αʔϏεΛ૊Έ߹ΘͤͯϫʔΫϑϩʔΛ࡞੒ • ϫʔΫϑϩʔ͸εςοϓͷ૊Έ߹ΘͤͰߏ੒͞ΕΔ • ֤εςοϓ͸ࣗಈతʹτϦΨʔ͞ΕɺτϨʔε͞ΕΔ • ෳ਺ͷॲཧΛͭͳ͛ͯҰ࿈ͷॲཧΛͭ͘Δ

    • ෼ׂ͞Ε֤ͨ޻ఔ͕εςοϓͱͳΔ

31. AWS StepFunctions • 2019/9ʹαϙʔτ͞ΕͨMap͕ڧྗ • ಈతฒྻॲཧΛ؆୯ʹॻ͚Δ • Ҡߦର৅͕ॻ͔ΕͨJSONͷS3Ωʔͷ഑ྻΛ౉ͯ͠ɺ֤ Ωʔ͝ͱʹBatchΛ࣮ߦ͢ΔɺΈ͍ͨͳ͜ͱ͕ॻ͚Δ গ͠ࢼͨ͠ͱ͜Ζɺ͏·͍͖ͦ͘͏ͳࢉஈ͕͍ͭͨͷͰ࠾༻

32. σʔλҠߦਐḿ؅ཧ

33. σʔλҠߦਐḿ؅ཧ • σʔλҠߦͦͷ΋ͷͷਐḿΛ؅ཧ͓ͯ͘͠ • Ҡߦલ/ॲཧ੒ޭ/ࣦഊͷঢ়ଶ؅ཧ • ࣦഊͨ͠σʔλ͸࠶ҠߦͰ͖ΔΑ͏ʹ • Ͳ͏΍ͬͯ؅ཧ͢Δ͔ •

    ӬଓԽͰ͖Ε͹Ͳ͏͍͏ํ๏Ͱ΋͍͍

34. Savepoint • ࠓճ͸Ҡߦର৅ͷҠߦݩIDҰཡ͕هड़͞ΕͨJSONΛS3ʹஔ ͘΍ΓํΛ࠾༻ • JSONϑΝΠϧҰ͕࣮ͭߦ୯Ґʹͳ͍ͬͯͯɺͦΕͧΕ͕ ฒྻʹ࣮ߦՄೳ • ֤޻ఔͰ΋Ͱ͖Δ͚ͩฒྻ࣮ߦͰ͖ΔΑ͏ʹ •

    ͍͍ͩͨಉ݅͡਺ʢbatch_sizeʣʹͳΔΑ͏ʹۉ͞Ε͍ͯΔ

35. Savepoint • S3ͷΩʔͰʮҠߦର৅ͷछྨ/Ҡߦݩ/Ҡߦͷ੒൱ʯΛදݱ͢ Δ • ΩʔΛݟΔͱҠߦঢ়ଶ͕Θ͔Δ • ࣮ߦલ/੒ޭ/ࣦഊ • ࣦഊͨ͠άϧʔϓ͸࠶࣮ߦՄೳ

36. ॲཧ݅਺ΛۉҰʹ͢Δ ֤ॲཧͷॲཧ݅਺Λ͍͍ͩͨಉ͡ʹۉ͢ • Ϣʔβʔ100ਓ ͷάϧʔϓΛ͍͔ͭ͘࡞ͬͯฒྻ࣮ߦ͢Δͱ ͯ͠ • ͦΕͧΕ͕࣋ͭ࡞඼਺΍খઆຊจͷ߹ܭ͸όϥόϥ • ͦΕͧΕͷ޻ఔΛ௚ྻͰॲཧ͢Δ৔߹ɺ਺ʹΑ࣮ͬͯߦ࣌

    ͕ؒมΘΔ • ͕࣌ؒಡΈʹ͘͘ͳΔ

37. ॲཧ݅਺ΛۉҰʹ͢Δ • ॲཧ݅਺ΛۉҰʹ͢Δ͜ͱͰ֤ॲཧ ͷ࣮ߦ࣌ؒΛ֓Ͷಉ͡ʹͰ͖Δ • savepointͷΦϒδΣΫτ਺Λ؂ࢹ͢ Δ͜ͱͰେମͷਐḿΛ؂ࢹՄೳ • ࣮ߦલͷ݅਺/੒ޭ਺/ࣦഊ਺

38. ׬੒ͨ͠εςʔτϚγϯ

39. ͦͷଞ

40. ը૾ͷҠߦ ը૾ͷҠߦʹ͸S3 BatchOperationsΛར༻ • Ҡߦݩͷը૾ετϨʔδ͔ΒҰ౓S3ͷҰ࣌ஔ͖৔ʹू໿͢Δ • Ұ࣌ஔ͖৔͔Β഑৴༻όέοτ΁ͷҠಈʹ͸S3 BatchOperationsΛར༻ • LambdaΛڬΜͰը૾ΛϦωʔϜ

    • େମ2࣌ؒఔ౓

41. Ҡߦ݁Ռͷݕূ • ࣄલʹ݅਺Λग़͓͍ͯͯ͠ɺҠߦ݅਺ͱൺֱ • ݕূର৅Λࣄલʹ͍͔ͭ͘ग़͓͍ͯͯ͠ɺҠߦલޙͰҧ͍͕ ͳ͍͔Λൺֱ • ݟͨ໨ʹؔ͢Δ෦෼͸࣮ࡍʹݟͯ֬ೝ • ͜͜͸վળͷ༨஍͕͋ͬͨ

42. ݁Ռͱ·ͱΊ

43. ݁Ռ • શ݅Ҡߦ͕εϜʔζʹऴΘΔͱ͍͍ͩͨ10~14h͘Β͍ • ۚમతίετ͸ͦΜͳʹ͔͔Βͳ͍ • Batch͸ࣗಈͰඞཁͳαΠζͷEC2ΠϯελϯεΛཱͯΔ ͕ɺཱ͍ͬͯΔ࣌ؒ͸୹͍ • খ͍͞ΠϯελϯεͰ࣌ؒΛ͔͚ΔΑΓ͸ଟগ͓͕͔ۚ

    ͔ͬͯ΋ߴ଎ʹऴΘΔํ͕ϦΧόϦ͠΍͍͢

44. ·ͱΊ • ҠߦॲཧΛ෼ׂ͢Δ࡞ઓ͕Α͔ͬͨ • ίʔυ͕ѻ͍΍͍͢ɺಈ࡞֬ೝͷείʔϓΛݶఆͰ͖Δ • ϚωʔδυαʔϏεͷಋೖ • ࣮ߦ؀ڥͷ४උίετΛԼ͛ΒΕͨ •

    ࣗಈͰεέʔϧΞ΢τͯ͘͠ΕΔͷ͸ָ

45. ·ͱΊ • ݴޠબఆ • ݁ՌతʹΫΤϦΛେ෯ʹॻ͖׵͑ͨͷͰWebଆͱಉ͡ݴޠ Λ࠾༻͢ΔࢫΈ͸ݮͬͨ • ҰํطଘͷॲཧΛਖ਼͘͠࠶࣮૷͢Δͷ͸೉͘͠ɺDBʹೖ ΕΔ௚લ·Ͱ͸ಉ͡ॲཧ͕࢖͑ͨͷ͸ྑ͔ͬͨ •

    ແࣄʹҠߦͰ͖ͨ • ԿΑΓ͜Ε͕Ұ൪