サービスへの影響を抑えてデータベースの移行を実施したはなし Aurora MySQL -> Cloud SQL

2023/09/26
「データベース移行のウラガワ- 円滑なリリースのために取り組んだLT」
にて発表予定のスライドです。
https://findy.connpass.com/event/294868/

Transcript

1. αʔϏε΁ͷӨڹΛ཈͑ͯ σʔλϕʔεͷҠߦΛ࣮ࢪ ͨ͠͸ͳ͠ "VSPSB
   .Z42-
   
   $MPVE
   42- @kimihiro_n
2. 2 ࣗݾ঺հ +9௨৴ࣾ
   γχΞΤϯδχΞ l ೥ೖࣾ l ϦεΫ৘ใऩू4BB4ʮ'"45"-&35ʯ l 1ZUIPOɺ(PͰόοΫΤϯυ୲౰ l Πϯϑϥઐ໳Ͱ͸ͳ͍ झຯ l ϩʔυόΠΫ l ͓ֆ͔͖ l ΞʔΫφΠπ kimihiro_n
3. 3 ニュースアプリも作ってます
4. "84
   "VSPSB ͔Β $MPVE42- ΁ͷ͓Ҿͬӽ͠
5. 5 "VSPSB
   ˠ
   $MPVE42- "NB[PO
   "VSPSB
   .Z42- l "84ͷϚωʔδυͳ3%# l .Z42-ޓ׵ l ετϨʔδϨΠϠͰͷߴ଎ͳϨϓϦέʔγϣϯ $MPVE42-
   GPS
   .Z42- l (PPHMF
   $MPVE
   ͷϚωʔδυͳ3%# l ελϯμʔυͳ.Z42-
6. 6 2
   ͳͥҾͬӽ͢ͷ͔ l "
   େਓͷࣄ৘ l τʔλϧͰΈͨͱ͖ͷίετ l ར༻έʔεʹڧ͘ґଘ͢ΔͷͰҰ֓ʹ҆͘ͳΔ Θ͚Ͱ͸ͳ͍Ͱ͢ l ࠓճ͸Ҡߦίετ͔͚ͯ΋ར͕͋Δͱͷ൑அ l #JH2VFSZ
   ͱͷ࿈ܞͱͷ͠΍͢͞ l ϚϧνϦʔδϣϯߏ੒ͷͱΓ΍͢͞
7. Ҡߦલͷߏ੒ Writer Reader Reader Service 1 Service 2 Service 3 Aurora クラスタ 別リージョン AWS VPC
8. 8 Ҡߦલͷߏ੒ l %#ɺར༻αʔϏε͸ಉ͡71$಺ʹ഑ஔ l ୆ͷ"VSPSBΫϥελΛෳ਺ͷαʔϏεͰڞ༗ l σʔλϕʔε͝ͱʹߏங͢Δͱߴ͍ͷͰڞ༻ l 8SJUFSɺ3FBEFSͷ࢖͍෼͚ l 3FBEFSͷ୆਺͸ॊೈʹมߋՄೳ l ผϦʔδϣϯͷϗοτελϯόΠ l େن໛ࡂ֐࣌΁ͷඋ͑
9. Ҡߦޙʹ໨ࢦ͢ߏ੒ Writer Reader Reader Service 1 Service 2 Service 3 CloudSQL 別リージョン AWS VPC Google Cloud VPC VPN
10. 10 Ҡߦޙʹ໨ࢦ͢ߏ੒ l $MPVE42-
    Λ(PPHMF
    $MPVE
    ͷ
    71$
    ಺ʹ഑ஔ l 71$
    ؒΛ
    71/
    Ͱ઀ଓ͠૬ޓ௨৴Ͱ͖ΔΑ͏ʹ l 4FSWJDF
    ͸
    "84
    ଆ͔Β
    %#
    ʹΞΫηε l ॱ࣍αʔϏε΋
    (PPHMF
    $MPVE
    ΁Ҿͬӽ͠ l %#
    ͷߏ੒͸
    "VSPSB
    ͷͱ͖ͱ͍͍ͩͨଗ͑Δ l ผϦʔδϣϯͷϗοτελϯόΠ΋༻ҙ
11. Ҡߦͷ՝୊
12. 12 σʔλϕʔεҠߦͷ՝୊ l ҠߦલޙͰσʔλͷ੔߹ੑΛͲ͏อ͔ͭ l աڈ෼ؚΊͯσʔλΛ׬શͳܗͰҠߦ͍ͨ͠ l ੾Γସ͑લޙͰܽଛ΍ෆ੔߹ͷൃੜΛ๷͍͗ͨ l Ҡߦதͷμ΢ϯλΠϜΛͲ͏཈͑Δ͔ l ΞϓϦέʔγϣϯ͸৽چͲͪΒ͔ͷ%#Λࢀর l Ҡߦ࡞ۀதͷαʔϏεӨڹΛ཈͍͑ͨ Old New
13. 13 σʔλϕʔεҠߦͷํ਑ᶃ l ҠߦલޙͰσʔλͷ੔߹ੑΛͲ͏อ͔ͭ l $MPVE42-
    ଆʹϨϓϦΧΛߏங l .Z42-
    ͷϨϓϦέʔγϣϯػೳͰಉظ l 3FBEFS
    Πϯελϯεͱͯ͠ѻ͑ΔΑ͏ʹ l ੾Γସ͑࣌ʹ
    $MPVE42-
    ଆΛ
    8SJUFS
    ΁ঢ֨ l ͜ͷͱ͖ॻ͖ࠐΈΛҰ࣌ఀࢭ͠ෆ੔߹Λ๷͙
14. 14 σʔλϕʔεҠߦͷํ਑ᶄ l Ҡߦதͷμ΢ϯλΠϜΛͲ͏཈͑Δ͔ l ׬શແఀࢭ͸໨ࢦ͞ͳ͍͜ͱʹ l ແఀࢭ͸೉қ౓΋޻਺΋௓Ͷ্͕ΔͷͰɺ μ΢ϯλΠϜΛۃྗ཈͑Δํ਑ͰҠߦ l ސ٬प஌ͯ͠ϝϯςφϯε࣌ؒΛ֬อ l ॻ͖ࠐΈఀࢭ
    
    ಡΈࠐΈఀࢭ l ఀࢭ͢Δ৔߹΋ʮಡΈࠐΈ͚ͩ͸ੜ͖͍ͯΔʯ ঢ়ଶΛ༏ઌ͠ސ٬ͷମײΛଛͳΘͳ͍Α͏ʹ l ಡΈࠐΈ͕ੜ͖͍ͯΕ͹ಈ͍͍ͯΔΑ͏ʹݟ͑Δ
15. 15 σʔλϕʔεҠߦͷํ਑ᶅ l ෳ਺ͷαʔϏεͷ
    %#
    ઀ଓͷ੾Γସ͑ l Ҡߦ࣌ɺͦΕͧΕͷαʔϏεͰ੾Γସ͕͑ඞཁ l શ෦׬ྃ͢Δ·Ͱ৽͍͠%#ʹॻ͖ࠐΈͰ͖ͳ͍ l Ұ੪ʹ੾Γସ͕͑Ͱ͖Ε͹μ΢ϯλΠϜݮΒͤΔ l ˠ
    %/4
    Λ࢖ͬͯ઀ଓΛ؅ཧ l ಡΈऔΓॻ͖ࠐΈͦΕͧΕυϝΠϯׂΓ౰ͯ l %/4
    Λมߋ͢Ε͹઀ଓ΋੾ΓସΘΔΑ͏ʹ l ίωΫγϣϯϓʔϧͷੜଘظؒʹ஫ҙ
16. 16 "VSPSB
    
    $MPVE42-
    ͷ՝୊ l ύϑΥʔϚϯεੑೳͷมԽ l "VSPSB͸ಠࣗʹ࠷దԽ͞Ε͍ͯΔ l ໛ٖ؀ڥͰϕϯνϚʔΫ૸Βͤͯݕূ l 3FBEFS
    ΤϯυϙΠϯτ l ಡΈऔΓ༻ͷΤϯυϙΠϯτ͕ͳ͍ l Πϯελϯεʹ*1ϕʔεͰͷΞΫηε l 3FBEFS
    Λ૿΍ͨ͠ͱ͖ࣗಈͰ෼ࢄ͠ͳ͍ l ΍Δͱͨ͠Β
    %/4
    ͷϥ΢ϯυϩϏϯʜʁ
17. Ҡߦ࡞ۀ
18. 18 Ҡߦखॱ  "84
    㲗
    ($
    ؒͷ71/࡞੒  $MPVE
    42-
    ͰϨϓϦΧΛ࡞੒  ಡΈऔΓૢ࡞Λ
    $MPVE
    42-
    ʹҠߦ  ϨϓϦέʔγϣϯΛऴྃͯ͠
    8SJUFS
    ʹ  ॻ͖ࠐΈૢ࡞Λ
    $MPVE
    42-
    ʹҠߦ  ผϦʔδϣϯʹϨϓϦΧ࡞੒  "VSPSB
    ଆ͓ย෇͚
19. Service 3 खॱ
    ϨϓϦΧͷ࡞੒ Writer Reader Service 1 AWS VPC Service 3 Writer Reader Service 1 AWS VPC Reader GC VPC 移⾏前 レプリカ作成後
20. 20 खॱ
    ϨϓϦΧͷ࡞੒ ($1
    ଆͰϨϓϦέʔγϣϯΛ࡞Δ l .Z42-ͷμϯϓΛͱͬͯ%#࡞੒ l ϨϓϦέʔγϣϯͷઃఆΛͯ͠ಉظ։࢝ l ࣮ࡍ΍Ζ͏ͱ͢Δͱ݁ߏͳखؒ %BUBCBTF
    .JHSBUJPO
    4FSWJDF
    %.4 Λར༻͢Δ͜ͱʹ IUUQTDMPVEHPPHMFDPNEBUBCBTFNJHSBUJPO IMKB
21. 21 %BUBCBTF
    .JHSBUJPO
    4FSWJDF l (PPHMF
    $MPVE
    ͕ఏڙ͍ͯ͠Δ
    %.4 l .Z42-ɺ1PTUHSF42-
    ରԠ l ϨϓϦΧͷ࡞੒͔ΒɺҠߦ࣌ͷ੾Γ཭͠ૢ ࡞·ͰΛ൒ࣗಈԽͯ͘͠Ε͍ͯΔ l ҟͳΔछผɺόʔδϣϯͷҠߦ΋αϙʔτ l 3%4ɺ"VSPSB͔ΒϨϓϦΧΛ࡞Δ࣌͸ Ұ࣌తͳॻ͖ࠐΈఀࢭ͕࣌ؒඞཁ
22. खॱ
    ಡΈऔΓૢ࡞ͷҠߦ Service 3 Writer Reader Service 1 AWS VPC Reader GC VPC 前の状態 読み取り移⾏後 Service 3 Writer Reader Service 1 Reader GC VPC AWS VPC
23. 23 खॱ
    ಡΈऔΓૢ࡞ͷҠߦ l ࡞ͬͨϨϓϦΧ΁ಡΈऔΓૢ࡞Λ੾Γସ͑ l த਎͸ಉ͡ͳͷͰαʔϏε΁ͷӨڹͳ͠ l ૢ࡞͸%/4Λॻ͖׵͑Δ͚ͩ l "VSPSB
    ͷಡΈऔΓΤϯυϙΠϯτ $/".&
    Ϩίʔυ l ˠ
    $MPVE42-
    ͷΠϯελϯε
    *1 "Ϩίʔυ l ύϑΥʔϚϯεͳͲ໰୊ͳ͍͜ͱΛ֬ೝ l ͳʹ͔͋Ε͹͙͢໭ͤΔΑ͏ʹ
24. खॱ
    ॻ͖ࠐΈͷҠߦ AWS VPC 前の状態 書き込み移⾏後 Service 3 Writer Service 1 Writer GC VPC AWS VPC Service 3 Writer Reader Service 1 Reader GC VPC Reader
25. 25 खॱ
    ॻ͖ࠐΈૢ࡞ͷҠߦ l $MPVE42-
    ʹಡΈॻ͖ͱ΋Ҡߦ l %.4
    ͷ౎߹্·ͩϨϓϦΧ͸࡞Εͳ͍ l ̍୆Ͱࡹ͚ΔΑ͏ڧΊͷεϖοΫʹ͓ͯ͘͠ l %.4ͰϓϩϞʔτૢ࡞ l ϓϩϞʔτΛ࣮ࢪ͢Δͱԡ͢ͱϨϓϦέʔγϣϯ͕ ऴྃ͠ॻ͖ࠐΈՄೳͳঢ়ଶʹ l ͜ͷͱ͖਺෼ͷॻ͖ࠐΈఀࢭ͕࣌ؒൃੜ l ॻ͖ࠐΈՄೳʹͳͬͨΒαʔϏεଆ΋੾Γସ͑
26. खॱ
    ϨϓϦΧ࡞੒
    
    ย෇͚ AWS VPC 前の状態 移⾏完了 Service 3 Service 1 Writer GC VPC Service 3 Writer Service 1 Writer GC VPC Reader AWS VPC Reader
27. 27 खॱ
    ϨϓϦΧ࡞੒
    
    ย෇͚ l ϨϓϦΧΛ࡞੒ͯ͠ಡΈࠐΈΛมߋ l ϓϩϞʔτޙ͸௨ৗͷ
    $MPVE42-
    ʹͳΔ l ϝΠϯͷϦʔδϣϯͱϗοτελϯόΠ༻ʹผ ϦʔδϣϯͰϨϓϦΧΛ࡞੒ l Πϯελϯεͷ*1͕ݟ͑ͨΒ
    %/4
    ॻ͖׵͑ͯಡ ΈࠐΈΛ੾Γସ͑ l "VSPSB
    Λย෇͚ͯ׬ྃ l ා͍ͷͰ̍िؒ͘Β͍༷ࢠΈ͔ͯΒ࡟আ͠·ͨ͠
28. 28 Ҡߦͯ͠Έͯ l %.4ɺ%/4ͷ׆༻Ͱগͳ͍μ΢ϯλ ΠϜͰҠߦ͕׬ྃͰ͖ͨ l ̑෼ఔ౓ͷॻ͖ࠐΈͷఀࢭ
    Y̎ճ l ਺ඵఔ౓ͷಡΈࠐΈఀࢭ
    Y̎ճ l ੑೳ໘Ͱ΋τϥϒϧͳ͘ҠߦͰ͖ͨ l Ҡߦݕ౼࣌ؾ͕͔ΓͳεϩʔΫΤϦ΋͕͋ͬͨ ಛʹωοΫʹͳΔ͜ͱͳ͘ಈ͍͍ͯΔ l ॻ͖ࠐΈϔϏʔͰͳ͍ͷ͕޾͍͔ͨ͠΋
29. ·ͱΊ
30. 30 ·ͱΊ l "VSPSB͔Β
    $MPVE42-
    ʹҠߦͰ͖ͨ l μ΢ϯλΠϜΛݮΒ͢޻෉ l ಡΈࠐΈܥ౷Λۃྗҡ࣋ l %/4Λར༻ͨ͠ૉૣ͍੾Γସ͑ l %.4ͷ׆༻ l खؒͷ͔͔ΔҠߦ࡞ۀΛলྗԽ
31. 31 ςοΫϒϩά l ฐٕࣾज़ϒϩάʹ΋Ҡߦʹؔͯ͠ͷ هࣄॻ͍ͯ·͢ IUUQTUFDIKYQSFTTOFUFOUSZHDQ@EBUBCBTF@NJHSBUJPO l ϒϩάͷ಺༰ͦͷ··ൃද͢Δͭ΋ΓͰ͕ͨ͠ɺ -5޲͚ʹ·ͱΊ͍ͯͨΒ͍ͩͿத਎͔ΘΓ·ͨ͠
32. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ JX PRESS Engineer Guide https://engineer-guide.jxpress.net/