インフラチームを持たない会社でのインフラ運用

始める DevOps ( http://atnd.org/events/41286 ) での発表資料です
#init_devops

Transcript

1. ΠϯϑϥνʔϜ͕ແ͍ձࣾ ͰͷΠϯϑϥӡ༻ 13೥7݄20೔౔༵೔
2. ࢝ΊΔDevOps ΞΧπΩͰͷDevOpsࣄྫ ͲͷΑ͏ʹ࢝ΊΕ͹͍͍ͷ͔ 13೥7݄20೔౔༵೔
3. ࣗݾ঺հ ాதɹ༐ี @csouls ϋοΧʔ Lv.3ɻϢʔβܥSIerͰERPͷӡ༻΍Π ϯϑϥߏஙͷۀ຿Λܦݧͨ͠ޙɺݱ৬΁స৬ɻ RubyͱΠϯϑϥ͕޷෺ͰɺΞϓϦ։ൃͱฒߦ ͯ͠ΞΧπΩͷΠϯϑϥΛӡ༻͍ͯ͠Δ 13೥7݄20೔౔༵೔
4. ΞΧπΩ ιʔγϟϧήʔϜ࡞͍ͬͯΔձࣾ ૑ۀ͔࣌Β࢖͍ͬͯΔ΋ͷ͸ Ruby on Rails ͱ Nginx ΤϯδχΞ 9 ਓɻ։ൃͭͭ͠Πϯϑϥӡ༻ ӡ༻ͷޮ཰Խ͕ॏཁ 13೥7݄20೔౔༵೔
5. Πϯϑϥͷྺ࢙ ૑ۀظ 2010~ ߏஙͷࣗಈԽ 2011~ ӡ༻҆ఆԽ 2012~ ӡ༻ࣗಈԽ 2013~ 13೥7݄20೔౔༵೔
6. ૑ۀظ(҉ࠇ࣌୅) 2010~ ผͷΫϥ΢υαʔϏε͔ΒAWSʹ৐Γ׵ ͑ Load Balancer ͷੑೳͱΠϯελϯε࡞ ੒ͷख͔ܰ͞ΒɺAWS΁ ࠷ॳ͸ख࡞ۀͰαʔόߏஙɻצ͕ॏཁ 13೥7݄20೔౔༵೔
7. ૑ۀظ(҉ࠇ࣌୅) 2010~ 6~7 ສDAU Session ͷอଘઌ͕ MySQL DB ʹ → Master DBʹॲཧ͕ूத 5෼ஔ͖ʹམͪΔDBΛ࠶ىಈ͢Δ࡞ۀɻ ప໷Ͱ memcached Λಋೖ͠ɺͳΜͱ͔ མͪͳ͍Α͏ʹͳͬͨ͜ͱ΋ɻ 13೥7݄20೔౔༵೔
8. Ϣʔβ→ ←MySQL 13೥7݄20೔౔༵೔
9. ߏஙͷࣗಈԽ 2011~ αʔόઃఆεΫϦϓτ(shell)Λ Git Ͱ؅ཧ AutoScaling + εϙοτΠϯελϯεͰӡ ༻͍͕ͯͨ͠ɺࢥͬͨΑΓίετ͕཈͑Β Εͣɺαʔό΋҆ఆ͠ͳ͔ͬͨͷͰࢭΊͨ εϙοτΠϯελϯεྲྀߦΓͩͨ͠ͷ΋ɺ ҆ఆ͠ͳ͔ͬͨݪҼ 13೥7݄20೔౔༵೔
10. ӡ༻҆ఆԽ 2012~ Auto Scaling πʔϧΛ࡞੒ɻӡ༻͕҆ఆ͠ ͯਓؒΒ͍͠ੜ׆͕ग़དྷΔΑ͏ʹͳͬͨ 13೥7݄20೔౔༵೔
11. ӡ༻҆ఆԽ 2012~ EC2ͷλάʹΑͬͯ໾ׂΛ؅ཧ EC2ʹ "Role" λάΛ෇͚ͯɺ໾ׂΛࢦఆ /etc/rc.local Ͱ git pull & λάʹԠͨ͡ε ΫϦϓτΛ࣮ߦ ShellͰႈ౳ੑΛอͭͨΊʹؤு͍ͬͯͨ 13೥7݄20೔౔༵೔
12. NFS 13೥7݄20೔౔༵೔
13. ӡ༻҆ఆԽ 2012~ NFS αʔό͸SPOF كʹ Buffer cache ͕ංେԽͯ͠ো֐ʹͳΔ 13೥7݄20೔౔༵೔
14. ӡ༻ࣗಈԽ 2013~ Chef, Capistrano ಋೖ NFSΛഇࢭͯ͠ɺSPOF͕ແ͘ͳͬͨ 13೥7݄20೔౔༵೔
15. 13೥7݄20೔౔༵೔
16. πʔϧ ෺ཧ OSઃఆɾϛυϧ ΢ΣΞ ΞϓϦέʔγϣϯ AWS Chef Capistrano 13೥7݄20೔౔༵೔
17. ϛυϧ΢ΣΞઃఆ Chef Solo knife-solo Berkshelf : CookbookΛ؅ཧ serverspec / Vagrant : ςετ 13೥7݄20೔౔༵೔
18. ϛυϧ΢ΣΞઃఆ Chef Solo αʔυύʔςΟ cookbook Λ Berkshelf ͷ ֎Ͱ؅ཧͨ͠Γɺfork ͢Δͷ͸Ξϯνύ λʔϯ ΞΧπΩͰ͸ɺsite-cookbooksͰ্ॻ͖͠ ͍ͯΔ 13೥7݄20೔౔༵೔
19. ϛυϧ΢ΣΞઃఆ Chef Solo ൓ө͸खಈɻ·ͩ production ؀ڥ΁ͷࣗ ಈ൓ө͸ͪΐͬͱා͍... serverspec ͕ॆ࣮ͨ͠Β Git ϦϙδτϦ ͷ master ϒϥϯνͷߋ৽ʹԠͯࣗ͡ಈ Ͱద༻͢Δ 13೥7݄20೔౔༵೔
20. σϓϩΠ Capistrano EC2ͷRoleλά͔ΒɺσϓϩΠΛ࣮ߦ͢ ΔΞϓϦέʔγϣϯαʔόΛऔಘ 13೥7݄20೔౔༵೔
21. #  config/deploy.rb def  tagged_servers(tag_key,  tag_value,  default=[])    @ec2  ||=  AWS::EC2.new(ec2_endpoint:  'ec2.ap-­‐northeast-­‐1.amazonaws.com')    ret  =  @ec2.instances.map  do  |instance|        next  if  instance.tags[tag_key]  !=  tag_value        next  if  instance.status  !=  :running        instance.dns_name.empty?  ?  instance.ip_address  :  instance.dns_name    end.compact    return  default  if  ret.empty?    ret end   def  tag(tag_value,  *args)    AWS.memoize  {        tagged_servers(tag_key,  tag_value).each  do  |host|            server(host,  *args)        end    } end   #  config/deploy/environment.rb tag  'app',  :web,  :app σϓϩΠ 13೥7݄20೔౔༵೔
22. σϓϩΠ AWS ͷ λά͸γϯϓϧ͚ͩͲɺ௒ศར Infrastructure as Code Λࢧ͑Δλά 13೥7݄20೔౔༵೔
23. ؂ࢹ ؂ࢹϨΠϠ πʔϧ ର৅ OS؂ࢹ Amazon CloudWatch CPU / ϝϞϦ / σΟεΫ / Πϯελϯε਺ ϓϩηε؂ࢹ God Unicorn / Resque ϛυϧ΢ΣΞ؂ࢹ nagios MySQL Slow query౳ ΞϓϦέʔγϣϯ؂ࢹ NewRelic ύϑΥʔϚϯε 13೥7݄20೔౔༵೔
24. God ϓϩηε؂ࢹπʔϧ ϝϞϦΛ࢖͍͗ͨ࣌͢ɺ๫૸ͨ࣌͠ͷอ ݥ monit Ͱ͸ͳ͘ God Λ࢖͍ͬͯΔཧ༝͸ Ruby Ͱॻ͚Δ͔Β 13೥7݄20೔౔༵೔
25. God Ϛελʔϓϩηε͸GodͰ؂ࢹ͠ɺWorker͸ kzk/unicorn-worker-killer Ͱɺఆظతʹ࠶ىಈ require  ::File.expand_path('../config/environment',    __FILE__) require  'unicorn/oob_gc' require  'unicorn/worker_killer'   #  ϦΫΤετΛ࣮ߦ͍ͯ͠Δͱ͖͸GC͠ͳ͍ use  Unicorn::OobGC #  3072~4096ϦΫΤετ࣮ߦͨ͠Β࠶ىಈ͢Δ use  Unicorn::WorkerKiller::MaxRequests,  3072,  4096   run  XXXXXXX::Application 13೥7݄20೔౔༵೔
26. NewRelic νϡʔχϯά͢΂͖ͱ͜Ζ͕Ұ໨Ͱ෼͔Δ DOM processing ͕ࢧ഑తͳͷͰɺCSS / JavaScriptΛνϡʔχϯά͢Δ ͱɺύϑΥʔϚϯε͕վળ͢Δ Applicationαʔόͷ࣮ߦ࣌ؒ͸Ԡ౴࣌ؒͷ 1 / 80 ͘Β͍ 13೥7݄20೔౔༵೔
27. NewRelic AppServer ͷৄࡉ΍ɺϖʔδৄࡉ͕ݟΕΔ 13೥7݄20೔౔༵೔
28. Ruby on Rails͚ͩ͡Όͳ͍ NewRelic 13೥7݄20೔౔༵೔
29. ϓϥάΠϯ͕ॆ࣮͖ͯͨ͠ ಋೖϓϥάΠϯ : EBS,EC2,ELB,MySQL,Newvem,Nginx,R DS,Redis NewRelic 13೥7݄20೔౔༵೔
30. ΞϓϦέʔγϣϯαʔόͷࢮ׆؂ࢹʹ΋࢖ ͍ͬͯΔ NewRelic 13೥7݄20೔౔༵೔
31. ӡ༻ AutoScaling 13೥7݄20೔౔༵೔
32. Auto Scaling ࣦഊ Scaling Policy ͷઃఆϛεɻᮢ஋पลͷෛ ՙʹΑΓɺEC2͕සൟʹ࠶ىಈ͢Δ → ىಈ͢Δͱ1h ෼ͷඅ༻͕͔͔Δͷ Ͱɺαʔόඅ༻͕Ұ࣌2ഒʹ 13೥7݄20೔౔༵೔
33. ෛՙͷ܏޲͸PVʹै ͏ CPUෛՙΑΓ΋PVͷ ํ͕҆ఆͨ͠ۂઢΛ ඳ͘ Auto Scaling 13೥7݄20೔౔༵೔
34. Auto Scaling PV਺ΛݩʹScaleͯ͠΄͍͠ ᮢ஋पลͰසൟʹىಈఀࢭΛ܁Γฦͨ͘͠ ͳ͍ ։ൃऀ͕ࣦഊͤͣ؆୯ʹ࢖͑Δ 13೥7݄20೔౔༵೔
35. Auto Scaling Chariot : αʔό1୆ͰॲཧͰ͖ΔPV਺Λݩ ʹεέʔϧ samplingͷͲΕ͔1ͭͰ΋(PV਺/base)͕ՔಇΠϯελϯε਺Λ௒͍͑ͯ ͨΒɺΠϯελϯε਺Λ(ฏۉPV/base)ʹ߹ΘͤΔ samplingͷશͯͷPV਺Ͱ(PV਺/base)͕ݱࡏͷՔಇΠϯελϯε਺ΛԼ ճ͍͍ͬͯΕ͹ɺΠϯελϯε਺Λ(ฏۉPV/base)ʹ߹ΘͤΔ ͦΕҎ֎͸Կ΋͠ͳ͍ 13೥7݄20೔౔༵೔
36. Chariot $  ruby  bin/watcher  app-­‐name 10  minuts  PV  dataset:    2013-­‐07-­‐19  17:06:00  +0900:  1416.0    2013-­‐07-­‐19  17:07:00  +0900:  1269.0    2013-­‐07-­‐19  17:08:00  +0900:  1220.0    2013-­‐07-­‐19  17:09:00  +0900:  1286.0    2013-­‐07-­‐19  17:10:00  +0900:  1293.0    2013-­‐07-­‐19  17:11:00  +0900:  1352.0    2013-­‐07-­‐19  17:12:00  +0900:  1252.0    2013-­‐07-­‐19  17:13:00  +0900:  1248.0    2013-­‐07-­‐19  17:14:00  +0900:  1232.0    2013-­‐07-­‐19  17:15:00  +0900:  1266.0 10  minuts  PV  average:  1283.4 Current  [3] Expect  [2]    but  config  min  value  is  [3] -­‐-­‐-­‐  Do  nothing  -­‐-­‐-­‐ #  AWSͷઃఆ access_key_id:  AWS_ACCESS_KEY_ID secret_access_key:  AWS_SECRET_KEY ec2_endpoint:  ec2.ap-­‐northeast-­‐1.amazonaws.com cloud_watch_endpoint:  monitoring.ap-­‐northeast-­‐1.amazonaws.com elb_endpoint:  elasticloadbalancing.ap-­‐northeast-­‐1.amazonaws.com   #  ΞϓϦͷઃఆ min:  3  #  ࠷௿ىಈΠϯελϯε਺ event-­‐min:    20130722_2220-­‐20130722_2310:  15    20130723_2115-­‐20130723_2205:  30    20130723_2205-­‐20130723_2255:  15   sampling:  10  #  CloudWatch͔Βऔಘ͢ΔαϯϓϦϯά਺(1෼ʹ͖ͭ1ͭ) base:  1000  #  1Πϯελϯε͕ॲཧͰ͖Δ෼ؒPV਺ 13೥7݄20೔౔༵೔
37. ҆ఆͯ͠ӡ༻Ͱ͖ΔΑ͏ʹͳͬͨ ӡ༻ίετ͕ࢥ͍௨Γʹ࡟ݮͰ͖ͨ ·ͩެ։ͯ͠ͳ͍ Chariot 13೥7݄20೔౔༵೔
38. ίϥϘϨʔγϣϯ Github Pull Request, Issue Redmine DevOpsλεΫɺΠϯϑϥWiki HipChat 13೥7݄20೔౔༵೔
39. Cookbook ΍ Chariot ͷ໰୊͸ Github ͷ Issue ʹ ొ࿥ͯ͠ɺमਖ਼ग़དྷͦ͏ͳਓ͕ Pull Request ͢Δ ͜Ε͔Βಋೖ͍ͨ͠ࣄ΍ӡ༻ͷ໰୊͸ɺ Redmine ʹνέοτొ࿥͢Δ ίϥϘϨʔγϣϯ 13೥7݄20೔౔༵೔
40. ίϥϘϨʔγϣϯ HipChat νϟοτπʔϧ Campfire ͷ Atlassian൛ ػೳ͸΄΅Ұॹ͚ͩͲɺMac ωΠςΟϒΞ ϓϦ͕࢖͍΍͍͢ 13೥7݄20೔౔༵೔
41. 13೥7݄20೔౔༵೔
42. ίϥϘϨʔγϣϯ Github࿈ܞ͕஍ຯʹศར 13೥7݄20೔౔༵೔
43. ίϥϘϨʔγϣϯ ΄ͷ΅ͷͱͨ͠งғؾ 13೥7݄20೔౔༵೔
44. ໨ࢦ͍ͯ͠Δ΋ͷ : HipChat ͱ Hubot Ͱ ൃ ݴΛरͬͯσϓϩΠ ΤϯδχΞ͚ͩͰ͸ͳ͘ɺσβΠφʔ΍ σʔλΛߋ৽͢ΔσΟϨΫλʔ͕Χδϡ ΞϧʹσϓϩΠग़དྷΔΑ͏ʹ͍ͨ͠ ίϥϘϨʔγϣϯ 13೥7݄20೔౔༵೔
45. DevOpsΛਪਐ͢Δ ૊৫͕খ͘͞ɺ։ൃ෦໳ͱӡ༻෦໳͕෼͔ Ε͍ͯͳ͍ͷͰɺDev ͱ Ops ͷ͕֞ࠜͳ ͍ DevOpsΛ࢝ΊΔো֐͸গͳ͍͚Ͳɺจ Խ͸ࢀߟʹͳΔ͸ͣ 13೥7݄20೔౔༵೔
46. จԽ ΤϯδχΞνʔϜͷཧ೦ 2. Keep changing มԽͷத৺ʹ਎Λஔ͖ɺৗʹվળ͠ଓ͚Δ "ٕज़ͷྲྀΕʹ෇͍͍͚ͯͩ͘Ͱ͸ͳ͘ɺྲྀΕͷதʹੵۃతʹ਎Λஔ͖ɺৗ ʹࣗ෼ࣗ਎͕มԽͷத৺఺ʹ͍ΔΑ͏ʹมΘΓଓ͚Δɻ" 5. Do it yourself ࣗΒͷ؀ڥ͸ࣗΒ૑Γͩ͠ɺվળ͢Δ "؀ڥ͸୭͔͕༩͑ͯ͘ΕΔ΋ͷͰ΋ɺ࠷ॳ͔Βͦ͜ʹ͋Δ΋ͷͰ΋ͳ͍ɻ ࣗΒ͕׆ಈ͢ΔͨΊʹ࠷దͳ؀ڥ͸ࣗΒ͕ߟ͑ɺࣗΒखΛಈ͔͠૑Γͩ࢟͢ ੎ͰऔΓ૊Ήɻ" 13೥7݄20೔౔༵೔
47. શࣾ࠷దͰ͸ͳ͘ɺνʔϜ࠷ద ϓϩμΫτ͝ͱͷνʔϜ ϓϩμΫτΛ࡞ΔͨΊʹ࠷దͳٕज़Λɺ طଘͷࢿ࢈ΛؚΊɺݸʑͷνʔϜ͕ݕ౼ ͢Δ จԽ 13೥7݄20೔౔༵೔
48. ڞ௨ݴޠΛ͍࣋ͬͯΔ ͱΓ͋͑ͣ Ruby Ͱॻ͚͹ΈΜͳ෼͔ Δͱ͍͏ͷ͸ɺେ͖͍ จԽ 13೥7݄20೔౔༵೔
49. ͲͷΑ͏ʹͯ͠޿Ί͍͔ͯ͘ খ࢝͘͞ΊΔ ·ͣ͸ Chef Solo ͔Β ৽نPJͷαʔόߏஙεΫϦϓτΛ Chef ʹஔ ͖׵͑ͯΈΔͱ͜Ζ͔Β ੒ޭମݧΛڞ༗͢Δ πʔϧΛཧղͯ͠΋͏ͷ͸೉͍͚͠Ͳɺετ ʔϦʔΛཧղͯ͠΋Β͏ͷ͸؆୯ 13೥7݄20೔౔༵೔