TRUNCATE user;に如何にして立ち向かうか

2017年 YAPC::Kansaiでの発表資料です
https://yapcjapan.org/2017kansai/

Transcript

1. TRUNCATE user;ʹ೗ Կʹཱͯͪ͠޲͔͏͔ @meru_akimbo
2. Who are you? • @meru_akimbo • αʔόॻ͍ͨΓWebΦϖϨʔγϣϯͨ͠Γ όΠΫ৐ͬͨΓ • 24ࡀ • ΊͬͨʹਓલͰ·ͤΜ
3. ԠืͷܦҢ
5. ίϫΠ!
6. க໋ইʹͳΓͦ͏ͳΫΤϦ • TRUNCATE user; • DROP TABLE user; • DROP DATABASE myapp; • DROP DATABASE myapp_user;
7. ோΊΔ͚ͩͰਏ͍
8. ྲྀੴʹͦΜͳΫΤϦଧͨͶʔΑ • ։ൃπʔϧ͕όάͬͯޡര • ։ൃDBͱצҧ͍ͯ͠ଧͬͨ • γφϦΦ͸৭ʑ…. • ຊ൪DBʹDROP DATABASEଧͪࠐΜͩ͜ͱ ͋Δਓ΋ੈͷதʹ͸͍Δ • ࢲͰ͢
9. େ͛͞ͳΫΤϦ͡Όͳͯ͘΋ • appͷόάͰக໋తͳෆ੔߹͕ɺͱ͔ • ͦ͏͍͏ͷ͸͋ΔΘ͚Ͱ • ϊʔΨʔυઓ๏͸΄΅΄΅͋Γ͑ͳ͍ • ͱ͍͏ͱ͜Ζ·Ͱ͸લఏͳΘ͚Ͱ
10. ʮͪΌΜͱόοΫΞοϓऔΕ͹ࡁΉ࿩Ͱ͸?ʯ
12. “ͪΌΜͱ” is Կ
13. ͦΕ”ͪΌΜͱ”Ͱ͖ͯΔ? • ͍͟ͱ͍͏࣌ຊ౰ʹϦετΞͰ͖Δͷ? • ϦετΞͨ͠Βͦͷ··αʔϏε࠶։Ͱ͖ Δͷ? • σʔλྔ૿͑ͯ΋ͦͷ΍ΓํͰେৎ෉?
14. ฐࣾͰΑ͋͘Δmysqlߏ੒ • લఏͱͯ͠ΦϯϓϨ • master 1୆ɺslave n୆ɺbackup 1୆ • backup͸24࣌ؒʹ1౓ • backup༻ͷDBΛҰ౓ࢭΊͯcp͢Δ • ऴΘͬͨΒbackup༻DBΛ࠶౓্ཱͪ͛
15. ௕͍ؒ͜ͷӡ༻ͩͬͨ • ಛʹ໰୊ى͖ͯͳ͔ͬͨ • ࣮ࡍʹbackup͔ΒmasterΛrestore͢ΔϨ ϕϧͷࣄނ͸·ͩݟͨ͜ͱͳ͍ • ৽͍͠slaveͷߏஙͳͲʹ͸Α͘࢖ΘΕ͍ͯ ͨ
16. ن໛͕େ͖͘ͳ͖ͬͯͨ • ࠓ·ͰͷεϖοΫͷDBαʔόͩͱ௥͍͔ͭ ͳ͍Α͓…
18. HDD => SSD׵૷ • ࣓ྗΛଳͼͨԁ൫Λճసͤ͞ΔّࣜͰઓ͍ ଓ͚Δͷ͸ਏ͍… • ͷ஄ؙ • ͠͹Β͘͸ฏ࿨ʹͳͬͨ
19. IO wait΋Լ͕ͬͯΊͰͨ͠ΊͰͨ͠
20. (ͦͷޙͷνϡʔχϯάͷઓ͍͸·ͨผͷ ࿩…
21. ݄ͦͯ͠೔͸ྲྀΕ…
22. upstartʹbackupΛࡴ͞Εͨ
23. /etc/init/mysqlΑΓ # MySQL Service description "MySQL Server" author "Mario Limonciello <superm1@ubuntu.com>" start on runlevel [2345] stop on starting rc RUNLEVEL=[016] respawn respawn limit 2 5 env HOME=/etc/mysql umask 007 # The default of 5 seconds is too low for mysql which needs to flush buffers kill timeout 300 ҎԼলུ
24. mysqlͷఀࢭʹ͕͔͔࣌ؒΓ͍͗ͯͨ͢…
25. ͋ɺkill timeoutɺSIGKILLଧͨΕ·͢
26. backupͷmysqlىಈͰ͖ͳ͘ͳͬͨ
27. ͻͱ·ͣtimeoutΛ৳͹͍ͯ྇ͩ͠…
28. next battle field….
29. ϨϓϦέʔγϣϯ஗Ԇઓ૪
30. backupͷΈ஗Ԇ͕ى͖࢝Ίͨ • ͦ΋ͦ΋ͳΜͰbackup͚͓͖ͩͨͷ?
31. backup͸HDDͷ··͔ͩͬͨΒ….
32. ΞϗΈ͍ͨʹݟ͑Δ͕… • ͨͩϨϓϦέʔγϣϯ͢Δ෼ʹ͸౰ॳ͸େ ৎ෉ͩͬͨͷͩ • backup༻్ͰSSDΛ༻ҙ͢Δͱɺ༰ྔ΋େ ͖͘ͳΓ݁ߏ͓ߴ͍ • σʔλαΠζ૿͑ͨΒ΋ͬͱͰ͔͍ͷ౎౓ ങͬͯೖΕସ͑Δͷ͔? • ͻͱ·ͣ࠷ॳ͸ݟૹ͍ͬͯͨΑ͏
33. ࠷ॳ͸஗Εͯ΋௥͍͍ͭͨ • ࠶ىಈͷλΠϛϯάͰ͕ͬͭΓ஗Εɺঃʑ ʹղফ • ͕ɺͩΜͩΜͻͲ͘ͳ͖ͬͯͨ • master͔ΒҾ͖཭͞ΕΔҰํʹ
34. backup͕஗ΕΔͱࠔΔ͜ͱ • ·͋ΞϓϦέʔγϣϯ͔Β͸௚઀࢖ΘΕͯ ͳ͍ͷͰɺଈக໋తͰ͸ͳ͍ • ஗Εͨঢ়ଶͰ࡞ͬͨbackup͸Ձ஋͕௿͍ • 1೔஗Εͨঢ়ଶͰ࡞ΔͱɺϦετΞ࣌ʹ࠷େ 2೔஗ΕΔܭࢉʹͳΔ
36. SSDΛͬ͞͞ͱങͬͯ΋ྑ͔͕ͬͨ… • ͻͱ·ͣmy.cnfͷௐ੔Λͯ͠ΈΔ͜ͱʹ͠ ͨ • innodb_lru_scan_depth • innodb_io_capacity_max • ͳͲioʹؔ܎͢Δ෦෼Λௐ੔
37. վળ
38. ͕ɺμϝͬ • ن໛ͷ֦େʹͭΕͯ·ͨ஗Ε࢝Ίͨ • εϖοΫࠩΛ޻෉ͰຒΊΔͷ͕ݶքʹདྷͨ
39. ΋͏͔ͭͬͯ΋͍͍ΑͶ…?
40. ͜ͷػձʹ৭ʑݟ௚͍ͨ͠… • ༰ྔ͕૿͖͑ͯͯ΋ਏ͘ͳ͍ঢ়ଶ • ஗Ԇ͕ൃੜͮ͠Β͍ঢ়ଶ • ͦ΋ͦ΋࠷େ1೔ר͖໭Δͷ΋ڐ༰Ͱ͖ͳ͘ ͳ͖ͬͯͯΔͷͰͳΜͱ͔͠ͱ͖͍ͨ
41. Ҋ1: SSDͱHDD྆ํϚ΢ϯτͯ͠HDDʹϑ ϧόοΫΞοϓΛஔ͘ • ᝑମͷ౎߹Ͱ2ຕϚ΢ϯτෆՄͳͷͰແཧ • ૬มΘΒͣσʔλ૕ࣦ͢Δ࣌ؒଟΊ
42. Ҋ2: SSDԽ + ࠩ෼όοΫΞοϓ • SSDʹͭͭ͠ɺࠩ෼όοΫΞοϓΛऔಘͯ͠ ϩʔϧόοΫ͢Δ࣌ؒΛ୹ͭͭ͘͠༰ྔͷ ૿Ճ΋཈͑Δ • Քಇͯ͠ΔDB+ϑϧόοΫΞοϓ+ࠩ෼෼ͷ ༰ྔ͕ඞཁͰɺ͜ΕͰ΋ΘΓͱͭΒ͍
43. Ҋ3: SSDԽ+binlogͰϩʔϧϑΥϫʔυ • SSDʹͯ͠ɺϑϧόοΫΞοϓͷස౓͸૿΍ ͣ͞ɺ໰୊ൃੜ࣌͸binlogΛ໰୊ൃੜ௚લ ·Ͱద༻ͤͯ͞σʔλͷফࣦΛ΄΅0ʹ͢Δ • ՔಇDB+ϑϧόοΫΞοϓΛ͓࣋ͬͯ͘ͷ ͸༰ྔ͕(ry
44. ࠾༻Ҋ: SSDԽ+஗ԆϨϓϦέʔγϣϯ • ஗ԆϨϓϦέʔγϣϯ͢ΔslaveΛઃஔ͠ɺ ͦΕΛόοΫΞοϓͱ͢Δ • ໰୊ൃੜͨ͠Βstop slave͔ͯ͠Βrelaylog Ͱ໰୊ൃੜ௚લ·Ͱ໭͢ • ՔಇDB෼+஗Ԇ෼ͷrelaylogͷ༰ྔͰࡁΉ
45. ೰·͍͠ͱ͜Ζ • TRUNCATE user;࣮ߦ͔Β஗Ԇ෼࢖͍Ռͨ͢ ·Ͱ์ஔͯ͠͠·͏ͱࢮ͵ • ͱ͸͍͑஗Ԇ͕े෼௕͚Ε͹·͋େৎ෉Ͱ ͠ΐ • ෮چʹ͕͔͔࣌ؒΔͷ͸ڐ༰
46. Ͳͷ͘Β͍஗Ԇͤ͞Δ? • ࠓ͸24࣌ؒʹͯ͠Δ • 24࣌ؒαʔϏε௜໧ͨ͠Βྲྀੴʹؾͮ͘ • ௕͚Ε͹௕͍΄Ͳ༛༧͕૿͑ΔͷͰɺ΋ͬ ͱ௕ͯ͘΋͍͍͔΋ • ௕ա͗Δͱrelaylog͕ͨ·Γ͗͢Δ
47. ϦετΞͲ͏΍Δͷ? • relaylogΛmysqlbinlog͔ΒSQLʹॻ͖ى͜ ͯ͋͛ͯ͠ɺ໰୊ͷ௚લ·Ͱ࣮ߦ͢Δ? • ͱࢥ͍ͬͯͨ࣌ظ͕๻ʹ΋͋Γ·ͨ͠ • start slaveͷΦϓγϣϯͰָͰ͖Δ
48. START SLAVE ͷUTILΦϓγϣϯ • START SLAVE UTIL RELAY_LOG_FILE = 'log_name', RELAY_LOG_POS = log_pos • ࢦఆͷrelaylogͷࢦఆͷpositionͰstop͢Δ Α͏ʹ্ͨ͠Ͱstart slaveͰ͖Δ • ͋ͱ͸RESET SLAVE ALL;ͰmasterʹͳΕΔ
49. TRUNCATE user;ଧͬͯ΋Ͳ͏ʹ͔ͳΔ
50. ଧͨͳ͍ͷ͕Ұ൪͍͍
51. ׬ᘳͰ͸ͳ͍… • TRUNCATE user;ͱbackupαʔόͷ෺ཧత ͳഁଛ͕ಉ࣌ʹى͖ͨΒ..? • ୆਺૿΍ͯ͠΋͍͍͕…. • ׬ᘳΛٻΊΔͱ͍͘ΒϦιʔε͕͋ͬͯ΋ ଍Γͳ͍…
52. ͦͷଞ࠷ۙࢥ͏͚Ͳ • RDS͸ϩʔϧϑΥϫʔυͰ͖ͳ͍Β͍͚͠ ͲͲ͏ͳΜ͡ΌΖ? • σʔλͷϩετΈΜͳڐ༰ͯ͠Δͷ? • όοΫΞοϓઓུɺ࿩୊ʹͳΔ͜ͱ͘͢ͳ ͍Α͏ͳ͖͕͢ΔͷͰଞࣾࣄྫ͠Γͨ͞