新卒エンジニアから見た データセンター移行

今年の5,6月にデータセンターを移行したので、そのときの話です。
DevLOVE現場甲子園2014 東日本大会
http://devlove.doorkeeper.jp/events/11792

Transcript

1. ৽ଔΤϯδχΞ͔Βݟͨ
   σʔληϯλʔҠߦ
   %FW-PWFߕࢠԂ
   גࣜձࣾ͛͡Μ
   ాޱ఩໵
   !ZPLP[VOB@IBOBP
   
2. ాޱ
   ఩໵
   !ZPLP[VOB@IBOBP
   גࣜձࣾ͛͡Μ
   
   ೥ೖࣾ
   ΠϯϑϥΤϯδχΞ
   ΞϧόΠτ&9ΤϯδχΞ
   ΞϝϑτܥΤϯδχΞ
   
   
3. ΠϯϑϥνʔϜͷ͝঺հ
   •  Πϯϑϥ໊
   •  ΤϯδχΞ໊
   •  શࣾһ ຊମ ໊
   
4. ΠϯϑϥνʔϜͷ͝঺հ
   •  Πϯϑϥ໊
   •  Ϧʔμʔ͸ϕτφϜͷࢠձࣾ ʮ7FOUVSBʯ΁
   
5. ΠϯϑϥνʔϜͷ͝঺հ
   TRXJHHMFʹΑΔϦϞʔτϫʔΫ
   
6. ΠϯϑϥνʔϜͷ͝঺հ
   5SFMMPʹΑΔλεΫ؅ཧ
   
7. ͛͡ΜͷΠϯϑϥΛࢧ͑Δٕज़
   
8. ࿩͢͜ͱ
   •  ࠓ೔ͷϓϨθϯͷର৅ऀ͸ɺ
   – αʔόҠߦΛࢼΈΔΠϯϑϥΤϯδχΞ
   – ৽ਓΠϯϑϥΤϯδχΞ
   •  σʔληϯλʔҠߦͷಈػ
   •  σʔληϯλʔҠߦͷ४උ
   •  σʔληϯλʔҠߦͷ࣮ߦ
   •  ؾ͍ͮͨ͜ͱɾྑ͔ͬͨ͜ͱɾֶΜͩ͜ ͱ
   
9. גࣜձࣾ͛͡Μ
   
10. 0 2 4 6 8 10 12 14 16 18 20 2008 2009 2010 2011 2012 2013 2014 サービス 18個 ͛͡ΜͷαʔϏεͷ਺
    
    
11. ੒௕͢Δձࣾ
    ૿͑Δ৽نαʔϏε
    
12. ͦΕʹରͯ͠ʜ
    
13. ݱ৔ͷ๊͑Δ໰୊
    •  ෳ਺ͷ410' ୯Ұো֐఺
    •  αʔϏε͝ͱʹඍົʹҟͳΔΠϯϑϥ
    •  ։ൃऀݸਓʹґଘͨ͠ઃఆ
    
14. ୯Ұো֐఺ͷڪා
    •  ෳ਺ͷαʔϏε͕ಉ࣌ʹམͪΔͷͰɺ
    – ݪҼ͕Θ͔Βͳ͘ͳΔ
    – μ΢ϯͨ͠ͱ͖ͷμϝʔδ͕େ͖͍
    
15. ー ー 移 行 。
16. Ͳ͏ͯ͠ࠓ·ͰҠߦग़དྷͳ͔ͬͨ ͷʁ
    ༏ઌॱҐ͕൑அͰ͖ͳ ͍
    •  ॏཁ౓Λઆ໌Ͱ͖ͳ͍
    •  ୭͕΍Ε͹͍͍ͷ͔Θ͔Βͳ͍
    
17. σʔληϯλʔΛҠߦ͢ΔͨΊʹ ४උͨ͜͠ͱ
    •  ૊৫
    •  ϓϥϯ
    •  ઃܭ
    
18. σʔληϯλʔΛҠߦ͢ΔͨΊʹ ४උͨ͜͠ͱ
    •  ૊৫
    •  ϓϥϯ
    •  ઃܭ
    
19. lਖ਼ࣜͳਪਐ୲౰ऀʹͳΔz
    •  ΠϯϑϥνʔϜ͸ଘࡏ͠ͳ͔ͬͨ
    
20. lਖ਼ࣜͳਪਐ୲౰ऀʹͳΔz
    •  ΠϯϑϥνʔϜ͸ଘࡏ͠ͳ͔ͬͨ
    •  ΠϯϑϥνʔϜΛ࡞Δ
    
21. lਖ਼ࣜͳਪਐ୲౰ऀʹͳΔz
    •  ܦӦਞʹઆ໌͠ͳ͍ͱ͍͚ͳ͍
    •  ํ਑Λ֬ݻͨΔ΋ͷʹ͠ͳ͍ͱ͍͚ͳ͍
    
22. lஶ໊ਓΛট͘z
    •  ܦӦਞʹઆ໌͠ͳ͍ͱ͍͚ͳ͍
    •  ํ਑Λ֬ݻͨΔ΋ͷʹ͠ͳ͍ͱ͍͚ͳ͍
    •  ;0*% ;*(&Y/
    0VUTUBOEJOH
    *OOPWBUJWF
    %JSFDUPS ੍౓
    
23. lஶ໊ਓΛট͘z
    •  ܦӦਞʹઆ໌͠ͳ͍ͱ͍͚ͳ͍
    •  ํ਑Λ֬ݻͨΔ΋ͷʹ͠ͳ͍ͱ͍͚ͳ͍
    •  ;0*% ;*(&Y/
    0VUTUBOEJOH
    *OOPWBUJWF
    %JSFDUPS ੍౓
    @naoya
24. σʔληϯλʔΛҠߦ͢ΔͨΊʹ ४උͨ͜͠ͱ
    •  ૊৫
    •  ϓϥϯ
    •  ઃܭ
    
25. L1 L2 L3 L4 L5 備考 Webサーバ(Nginxリバー スプロキシ導⼊入) アプリケーションサーバ 切切り出し DBレプリケーション DBサービス別切切り分け Solrサービス別切切り分け 410'ղফ
    ਐḿγʔτ
    • 初期設定 Level1 • モデルPJ 導⼊入 • 開発環境 へ適⽤用 Level2 • 本番PJ⼀一 部導⼊入 • 本番環境 へ⼀一部適 ⽤用 Level3 ・本番適 ⽤用範囲拡 ⼤大中 Level4 本番全体 運⽤用 メンバー 全体運⽤用 Level5
26. σʔληϯλʔΛҠߦ͢ΔͨΊʹ ४උͨ͜͠ͱ
    •  ૊৫
    •  ϓϥϯ
    •  ઃܭ
    
27. Ϋϥ΢υºϋ΢δϯά
    •  ճઢɺαʔόΛαʔϏεͰ੾Γ෼͚͍ͨ
    •  XFCαʔό͸؆୯ʹεέʔϧΞ΢τग़དྷ ΔΑ͏ʹ͍ͨ͠
    •  4PMS͸ߴػೳͷαʔόΛ࢖͍͍ͨ
    
28. Solr 01 Solr 02 FW FW FW FW 回線A 回線B 回線C 回線D 回線B 回線B Solr 03 Solr 04 回線A 回線C Solr 05 回線C Batch 01 Batch 02 回線B 回線B Batch 03 Batch 04 回線A 回線A Bkup 01 Phy01 (VM) 回線D 回線D File 01 回線B ωοτϫʔΫճઢਤ
    Web DB Solr
29. Image file and other(sitemap) mail bomber Mail Magazine web Solr gateway FTP batch NFS web app app app app αʔόߏ੒ਤ
    NGINX Apache MySQL Solr
30. Image file and other(sitemap) mail bomber Mail Magazine web Solr gateway FTP batch NFS web app app app app αʔόߏ੒ਤ
    •  ୯Ұো֐఺Λগͳ͘͢Δ
    •  ͜ͷߏ੒Λඪ४ͱ͢Δ
    
31. σʔληϯλʔΛҠߦ͢Δ
    •  σʔληϯλʔܾఆ
    •  ϥοΩϯά
    •  ؀ڥߏங
    
32. ؀ڥߏங
    •  *OGSBTUSVDUVSF
    BT
    DPEF
    •  ιʔγϟϧίʔσΟϯά
    •  αʔϏε୲౰ऀͱ֬ೝΛͱΓͳ͕Β؀ڥ Λߏங
    •  ϨϏϡʔͯ͠΋Β͑Δ
    
33. ؀ڥߏங
    •  *OGSBTUSVDUVSF
    BT
    DPEF
    •  ιʔγϟϧίʔσΟϯά
    •  αʔϏε୲౰ऀͱ֬ೝΛͱΓͳ͕Β؀ڥ Λߏங
    •  ϨϏϡʔͯ͠΋Β͑Δ
    
34. ੒ՌɾΑ͔ͬͨ͜ͱɾֶΜͩ͜ͱ
    
35. ੒Ռ
    •  ୯Ұো֐఺ͷղফ
    •  Πϯϑϥߏ੒ͷඪ४Խ
    •  ଐਓԽ͞Ε͍ͯͨ࡞ۀͷݟ͑ΔԽ
    
36. Α͔ͬͨ͜ͱ
    
37. ΠϯϑϥҠߦͷ੒ޭཁҼ
    •  ૊৫ɺϓϥϯɺઃܭΛ͓͑͞Δ
    – lਖ਼ࣜͳਪਐ୲౰ऀʹͳΔz
    – lஶ໊ਓΛট͘z
    
38. αʔόߏ੒ਤ͸ɺ
    ίϛϡχέʔγϣϯπʔϧ
    
39. αʔόߏ੒ਤ͸ɺ
    ίϛϡχέʔγϣϯπʔϧ
    •  શαʔόͷߏ੒ਤΛॻ͍ͨ
    •  ͜ΕΛݩʹαʔόͷߏ੒Λ࿩͠߹͏͜ͱ ͕ग़དྷΔ
    
40. ΈΜͳΛר͖ࠐΉ
    ιʔγϟϧίʔσΟϯά
    •  Πϯϑϥͷ࡞ۀ͸ؔ܎ऀ͕ଟ͍
    •  ίϛϡχέʔγϣϯΛ(JU)VCͰऔΕΔ
    •  ίϛϡχέʔγϣϯίετͷ࡟ݮ
    
41. ֶΜͩ͜ͱ
    •  Πϯϑϥ͕શ͘Θ͔Βͳ͍ঢ়ଶ͔Βɺγε ςϜͷߏ੒͕Θ͔ΔΑ͏ʹͳͬͨ
    •  ΠϯϑϥͱαʔϏεͷͭͳ͕Γ͕Θ͔ͬ ͨ
    •  πʔϧ͸࢖͑Δ͚Ͳɺཧղ͸ग़དྷͯΔʁ
    
42. ͛͡ΜͰ͸ɺ
    ҰॹʹΠϯϑϥΛ΋ͬͱ΋ͬͱ
    վળ͍ͨ͠ΤϯδχΞΛ
    ืू͍ͯ͠·͢ɻ
    
43. ͱ͍͏͔ɺҿΈ·͠ΐ͏ʂ