DatastoreからSpannerへのゼロダウンタイム移行

Transcript

1. Datastore͔ΒSpanner΁ͷ θϩμ΢ϯλΠϜҠߦ Kanji Yomoda
2. ࣗݾ঺հ Kanji Yomoda / BIR @k__yomo - ৽ଔͰM3ʹೖࣾ͠ݱࡏ2೥໨ - αʔόʔαΠυ(Go)ɺΫϥ΢υΠϯϑϥ(GCP, Terraform) पΓΛओʹ୲౰
3. ໨࣍ 1. Ξϯέʔτ഑৴γεςϜͱ͸ 2. Datastoreར༻࣌ͷ՝୊ 3. ҠߦઌબఆɾPoC 4. Ҡߦઃܭ 5. Ҡߦޙͷ݁Ռ 6. ݱࡏͷӡ༻ɾࠓޙͷ՝୊
4. 1. Ξϯέʔτ഑৴γεςϜͱ͸
5. 1. Ξϯέʔτ഑৴γεςϜͱ͸ • Ϣʔβʔ΁ͷ࠷దͳΞϯέʔτ഑৴Λ੹຿ͱ͢ΔϚΠΫϩαʔϏε ◦ ୭ʹͲͷνϟωϧ(ΞϯέʔτҰཡϖʔδɺαΠτ಺޿ࠂ࿮ɺϝʔϧɺαΠτ಺௨ ஌)ͰͲΕ͘Β͍഑৴͢Δ͔ • ֤ΞϯέʔτγεςϜͱCloud Pub/SubΛ༻͍ͯඇಉظʹ࿈ܞ (Ξϯέʔτ഑৴։࢝ɺճ౴৘ใͷಉظͳͲ) • Go, App Engine, Datastore, Cloud Pub/Sub
6. 1. Ξϯέʔτ഑৴γεςϜͱ͸(DBؔ࿈) • m3.comͷτοϓϖʔδͱಉ͘͡Β͍ͷΞΫηεྔ • READϔϏʔ (ϢʔβʔͷαΠτΞΫηε࣌ʹɺճ౴ՄೳͳΞϯέʔτΛฦ͢ॲཧ͕ϝΠϯ) • ϢʔβʔͷIDͰσʔλΛҾ͘Ϣʔεέʔε͕ओͳͨΊDatastoreΛ౰ॳ࠾༻
7. 1. Ξϯέʔτ഑৴γεςϜͱ͸(σʔλಉظ) • Cloud Pub/SubͷPush SubscriptionΛར༻͠ɺ ΞϯέʔτγεςϜ͔Β഑৴৘ใ΍ճ౴৘ใΛऔಘ • Pub/Subͷϝοηʔδ(Πϕϯτ)ͷड͚ޱ͸શͯԼهΛຬͨ͢ɻ ◦ ႈ౳ ◦ ॱෆಉ => ԿճͲͷॱংͰདྷͯ΋ϝοηʔδ͕શͯॲཧ͞Ε͑͢͞Ε͹݁Ռ੔߹͕อͨΕΔ
8. 2. ഑৴γεςϜͰͷDatastoreར༻࣌ͷ՝୊ 1. ΞϓϦέʔγϣϯͰͷෳࡶɾ৑௕ͳJOIN 2. ैྔ՝ۚͳͷͰɺΞϓϦέʔγϣϯͷεέʔϧʹ൐ͬͯྉۚ΋εέʔϧ͢Δ ճආํ๏΋͋Δ͕ɺͦͪΒ͸ख͕͔͔ؒΔ 1. 1ʹΑΔϨΠςϯγ্ঢɺ2ʹΑΔྉۚ૿ՃͷճආͷͨΊʹΩϟογϡґଘ => ߴϨΠςϯγɺߴྉۚɾߴ։ൃίετɺΩϟογϡґଘ(Redis) લఏ: εΩʔϚઃܭΛਖ਼نԽͯ͠͠·͍ͬͯͨ
9. શΞϯέʔτγεςϜͷ഑৴ / ճ౴ͷήʔτ΢ΣΠΛ୲͍ͬͯΔͨΊɺ ഑৴γεςϜ͕ࢭ·ΔͱΞϯέʔτશମ͕ࢭ·Δ => ग़དྷΕ͹഑৴γεςϜΛࢭΊͨ͘ͳ͍ 3. Ҡߦ࣌ͷ՝୊
10. - ϨΠςϯγͷ௿Լ - ։ൃίετͷ௿Լ - Ωϟογϡґଘ͔Βͷ୤٫ - + ഑৴γεςϜΛग़དྷΔ͚ͩࢭΊͳ͍ 3. ղܾ͍ͨ͠՝୊·ͱΊ
11. 3. Ҡߦઌબఆ - Cloud Spanner or Cloud SQL(PostgreSQL) - Մ༻ੑ & εέʔϥϏϦςΟ & ٕज़త௅ઓ => Cloud Spanner
12. 3. Cloud SpannerͷPoC - Datastore & ݁Ռ੔߹ੑ͔ΒͷҠߦͩͬͨͨΊɺ੍໿؇࿨ͷํ޲ - ओʹRDBMSͱͷࠩ෼(εΩʔϚઃܭɺΫϥΠΞϯτϥΠϒϥϦɺSQL)Λ֬ೝ - ΠϯλʔϦʔϒͷ֓೦ - mutation্ݶ - windowؔ਺͕࢖͑ͳ͍ - ຊ൪૬౰ͷσʔλΛ༻ҙ͠ෛՙςετ
13. 4. Ҡߦઃܭ Datastore΁ͷಉظܦ࿏͸࢒ͨ͠··ɺ৽ͨʹSpanner༻ͷಉظܦ࿏Λ௥Ճ - ݁Ռ੔߹ੑʹΑΔθϩμ΢ϯλΠϜҠߦ͕Մೳ - Datastore΁ͷ੾Γ໭͕͠༰қ
16. “ϝοηʔδ͕શͯॲཧ͞Ε͑͢͞Ε͹࠷৽ͷঢ়ଶ͕อͨΕΔ” ͨΊɺ ↑ͷΑ͏ʹ͢ΔࣄͰɺաڈσʔλಉظதʹߋ৽͕͋ͬͨϨίʔυ͸Pub/Subϝο ηʔδ͔ΒͷಉظͰશͯ࠷৽ͷঢ়ଶʹߋ৽͞ΕΔ
17. 1. Spanner༻ͷPub/Sub PushαϒεΫϦϓγϣϯΛ௥Ճ (͜ͷ࣌఺Ͱ͸PushઌͷΤϯυϙΠϯτ͕ͳ͍ͨΊɺϝοηʔδ଺ཹ) 2. Datastore͔Βͷաڈσʔλશಉظ 3. Spanner༻Pub/Sub PushઌΤϯυϙΠϯτ௥ՃΛϦϦʔε (଺ཹϝοηʔδ͕ॲཧ͞ΕΔ) 4. σʔλͷ੔߹ੑνΣοΫ 5. Spanner΁઀ଓ੾Γସ͑ϦϦʔε 4. Ҡߦઃܭ
18. DI͢ΔϦϙδτϦΛ
 DatastoreͱSpannerͰ੾Γସ͑ Δ ࣮૷
19. 4. Ҡߦʹ౰ͨͬͯؾΛ͚ͭͨ఺ - ग़དྷΔ͚ͩϩʔϧόοΫՄೳͳঢ়ଶΛอͭ (ࠓճ͸ϦϦʔεޙ1ϲ݄ޙ΄ͲDatastore΁ͷಉظ΋ซ૸) - DBҠߦҎ֎ͷ͜ͱΛߦΘͳ͍(ϦϑΝΫλϦϯάͳͲ)
20. 5. Ҡߦޙͷ݁Ռ - θϩμ΢ϯλΠϜͰͷҠߦ੒ޭ - 400msޙ൒Λ͏Ζ͍͍ͭͯͨϨΠςϯγ͕100ms୆ʹ - Ωϟογϡ΁ͷґଘ୤٫ - SQLʹΑͬͯΞϓϦέʔγϣϯͷίʔυ͕੔ཧ
21. 6. ݱࡏͷӡ༻ - Spanner͸ຊ൪Πϯελϯε(1~3node)ͱqaɾϩʔΧϧ։ൃڞ༗ͷΠϯελϯε(1node) - xo/xoͷSpanner൛Ͱ͋Δcloudspannerecosystem/yoΛར༻ (εΩʔϚ͔ΒGoͷDTO΍ίʔυΛੜ੒͢ΔϥΠϒϥϦ) - QA؀ڥͷεΩʔϚ ϚΠάϨʔγϣϯ͸wrenchɺຊ൪͸ख࡞ۀ - CI͸SpannerͷΤϛϡʔϨʔλʔΛ࢖༻
22. 6. ࠓޙͷ՝୊ ҆ఆతͳӡ༻ͷཱ֬ - εΩʔϚ ϚΠάϨʔγϣϯͷ੔උ - Φʔτεέʔϧ - CI΁ͷຊ෺SpannerʹΑΔςετ࣮ߦͷ௥Ճ (ݱࡏCIͰ͸ΤϛϡϨʔλͷΈ࢖༻)
23. ·ͱΊ - Datastoreར༻࣌ͷ՝୊ɾ഑৴γεςϜͷ੹຿͔ΒSpanner΁ͷҠߦΛܾఆ - Cloud Pub/SubͱσʔλಉظͷઃܭΛ׆༻͠ɺ θϩμ΢ϯλΠϜͰͷDBҠߦΛ࣮ࢪ - ݱࡏ͸ΑΓ҆ఆతͳӡ༻Λ໨ࢦͯ͠վળத