ゲンバのサービス運用

【 大阪オフィス開設1周年勉強会 】開発者のための楽しいAWSのサービス運用 in 大阪 2017/05/26 #cm_osaka

Transcript

1. ήϯόͷαʔϏεӡ༻ ָ͍͠AWSͷαʔϏεӡ༻
2. ͸͡Ίʹ ࣗݾ঺հ ▸ খࣨ ܒʢ͜ΉΖɹͻΒ͘ʣ@com4dc ▸ ϞόΠϧΞϓϦαʔϏε෦όοΫΤϯυνʔϜ ▸ Java, Scala, Pythonͱ͔ ▸ ࡛ۄੜ·Εࡳຈࡏॅ ▸ ࡳຈΦϑΟεॴଐ ▸ ஍ํ։୓ຽ
3. ͸͡Ίʹ ࡳຈ͔Βདྷ·ͨ͠ ▸ Ҡಈڑ཭1600km͘Β͍ ▸ 10℃͘Β͍ؾԹ͕ࠩ༗Γ·͢(ॵ͍)
5. ؓ࿩ٳ୊
6. ͸͡Ίʹ
7. ӡ༻͸ ޷͖Ͱ͔͢ʁ
8. ਖ਼௚౰ॳ͸͋·Γڵ ຯ͕͋Γ·ͤΜͰ͠ ͨ
9. ͦΜͳ։ൃऀ͕ӡ༻ Λܦݧͯ͠஌ͬͨ ήϯόͷ࿩
10. ӡ༻ʹର͢Δ BEFORE AFTER
11. ӡ༻ʹ͍ͭͯ ౰ॳͷӡ༻Πϝʔδ ▸ ໘ന͘ͳ͍ ▸ ։ൃ͕ग़དྷͳ͍ ▸ ো֐͕༧ଌͰ͖ͳ͍ʢ౰વ͚ͩͲʣ ▸ τϥϒϧγϡʔςΟϯάͰϐϦϐϦ ▸ ݮ఺ํࣜ ▸ ౖΒΕΔ͜ͱ͸͋ͬͯ΋๙ΊΒΕΔ ͜ͱ͕গͳ͍
12. ӡ༻ʹ͍ͭͯ ࠓͷӡ༻Πϝʔδ ▸ ໘ന͍ʢୀ۶͠ͳ͍ʣ ▸ ৭ʑͱ։ൃͯ͠Δ ▸ ো֐͸༧ଌͰ͖ͳ͍͚ͲɺݪҼಛఆɺ ରԠ͢Δͷ͸ָ͍͠ɻ಄࢖͏͠ ▸ ͖ͪΜͱઆ໌͢Ε͹ೲಘͯ͘͠ΕΔ ͓٬༷ͳͷͰͱͯ΋৴པͰ͖Δ ▸ ͖ͪΜͱධՁͯ͠΋Β͑Δ
13. ӡ༻ʹ͍ͭͯ AWSΛ͔ͳΓϋʔυʹ࢖͏ ▸ ୭΋ฉ͍ͨ͜ͱ΋ݟͨ͜ͱ΋ແ͍ࣄ৅΍αʔϏεͷ݀Λ౿ Ή͜ͱ͕͋Δʢάάͬͯ΋Կ΋෼͔Βͣʣ ▸ AWS΁ΤϏσϯεͱͱ΋ʹΨϯΨϯϑΟʔυόοΫ ▸ ஌Βͳ͍ະ஌ͷੈքΛܦݧ͍ͯ͠Δ ▸ →ɹָ͍͠
14. ӡ༻ʹ͍ͭͯ ։ൃͱӡ༻ͷڱؒ ▸ ։ൃͷ஌ࣝͰ͸ෆे෼ ▸ αʔϏε͕ͲͷΑ͏ʹӡ༻͞ΕͯՁ஋ ΛੜΉ͔ͷ૝૾ྗ͕଍Βͳ͍ ▸ ࣮ࡍʹࣗ෼Ͱ࢖͏Θ͚Ͱ͸ͳ͍ͨΊɺ ϩάͷઃܭ͕؁͍ ▸ ։ൃͱӡ༻ΛߦͬͨΓདྷͨΓ͍ͯ͠Δ ͱɺ૒ํͷཱ৔͔Β࣮૷΍ରԠΛධՁ ͢Δ͜ͱ͕ग़དྷΔ ▸ ಄ͷContext Switch͸සൟʹ੾Γସ͑Δ
15. ӡ༻ʹ͍ͭͯ ӡ༻Λܦݧͯ͠ॏཁੑΛೝࣝͨ͜͠ͱ ▸ ϩά ▸ ো֐ݕ஌ ▸ ઃܭ ▸ ӡ༻Λࢧ͑ΔͨΊʹ։ൃऀ͕ग़དྷΔ͜ͱ ▸ ίϛϡχέʔγϣϯ
16. AWSΛར༻ͨ͠ γεςϜӡ༻
17. AWSΛར༻ͨ͠γεςϜӡ༻ ୲౰γεςϜ ▸ ECαΠτͷೝূج൫ٴͼϢʔβʔ؅ཧ ▸ Ϣʔβʔ਺300ສʙ ▸ Ωϟϯϖʔϯ࣌ʹ࠷େ෼ؒʙ5ສΞΫηεఔ౓ ▸ ಛ௃తͳAWSαʔϏε ▸ EB docker, DynamoDB Streams, Lambda౳ ▸ Java8+SpringBoot, Scala+Play
18. AWSΛར༻ͨ͠γεςϜӡ༻ ϓϩδΣΫτΛߏ੒͢ΔେྔͷαʔϏε
20. AWSΛར༻ͨ͠γεςϜӡ༻ ͨ͘͞ΜͷϝϦοτ ▸ ϚωʔδυαʔϏεΛར༻͢Δ͜ͱͰϝϯςφϯεϑϦʔ ▸ ࢖͍͍ͨαʔϏεΛʢେମʣ͙͢ར༻Ͱ͖Δ ▸ ͲͷαʔϏε΋ʢ֓Ͷʣ؆୯ʹεέʔϧͰ͖Δ ▸ ෛՙͷن໛ʹԠͯ͡εέʔϧΞ΢τɺεέʔϧΠϯͰ͖Δͨ Ίɺίετ࠷దԽ ▸ ো֐࣌ͷ෮چɾରࡦ͸ૉૣ͘Ͱ͖Δ
21. AWSΛར༻ͨ͠γεςϜӡ༻ AWSಛ༗ͷӡ༻ઃܭ࣌ʹߟྀ͢΂͖ࣄ߲ ▸ AWSϚωʔδυαʔϏεͷϩά͸ݶఆత ▸ ো֐ͷݕ஌͸ϝτϦΫεͱΞϥʔϜͷઃఆ࣍ୈ ▸ ϩά͸શͯߴ৴པੑͷαʔϏε΁ू໿ͤ͞Δ ▸ ϚωʔδυαʔϏεͱͷ伱ؒΛͲͷΑ͏ʹ؂ࢹ͢Δ͔ ▸ 100%Քಇͷ1୆Λ໨ࢦ͢ͷͰ͸ͳ͘ɺ90%Λෳ਺ଋͶͯ τʔλϧͰ100%Λ໨ࢦ͢ͱ͍͏ߟ͑ํ
22. AWSΛར༻ͨ͠γεςϜӡ༻ ΦϯϓϨӡ༻ͱجຊతʹ͸ಉ͡ ▸ ো֐͸ඞͣൃੜ͢Δ ▸ ೗Կʹͦͷো֐ΛίϯτϩʔϧԼʹ͓͚Δ͔͕ͱͯ΋େࣄ ▸ ϩάʂͳʹ͸ͱ΋͋Εϩά͸ࢮकʂʂ
23. ϩάͷॏཁੑ
24. ϩάͷॏཁੑ ϩά͸ݪҼڀ໌ʹඞਢ ▸ ϩά͕ͳ͍ͱݪҼڀ໌͕શ͘ग़དྷͳ͍ ▸ ϩά͕ଘࡏ͠ͳ͍ݱ৅͸ଘࡏ͠ͳ͍΋ͷͱಉ͡ ▸ ͨͩ͠ɺϊΠζͩΒ͚ͷϩά͸ҙຯ͸ͳ͍ɻϩάͱͯ͠ҙຯ ͷ͋Δ৘ใΛग़ྗ͢Δɻ ▸ ϩά͸ઈରʹࢮकʂফͨ͠ΒऴΘΓͱࢥ͏΂͠
25. ϩάͷॏཁੑ ϩά͸શͯߴ৴པੑͷαʔϏε΁ू໿ͤ͞Δ ▸ EC2Πϯελϯε͸͍ͭফࣦ͢Δ͔෼͔Βͳ͍(ઃఆʹΑΔ ͚Ͳ) ▸ ඞཁͳϩά͸ߴ৴པੑͷετϨʔδαʔϏε΁ू໿ͤ͞Δ ▸ EC2Λ͸͡Ίɺ༰қʹScale Out, Scale In͢Δͷ͕ಛ௃ ▸ αʔϏεͷ಺෦ʹσʔλ΍ϩάΛ࢒͓ͯ͘͜͠ͱ͸ɺϩετ ͷةݥੑ͕͋Δ͜ͱΛೝࣝ͢Δ
26. ϩάͷॏཁੑ EC2ʹϩά͕࢒ͬͯ͠·͏ͱϩετ͢Δ ASG EC2 EC2 EC2 ϩά ϩά ϩά ASG EC2 EC2 EC2 ϩά ϩά ϩά
27. ϩάͷॏཁੑ ϩάͷू໿ͷߏ੒ EC2 ELASTIC BEANSTALK FLUENTD + CWLOGS CWLOGS AGENT CLOUDWATCH LOGS EC2 FLUENTD + ES
28. ϩάͷॏཁੑ ར༻͍ͯ͠ΔϩάετϨʔδ ▸ Cloudwatch Logs: ΞϓϦέʔγϣϯϩάΛू໿ɻো֐࣌͸ ਅͬઌʹ͜͜Λ֬ೝ͢Δɻ ▸ Amazon ES: ϩάΠϯཤྺ, ϝʔϧςϯϓϨʔτͳͲͷૢ࡞ ϩάͳͲΛू໿ɻ ▸ Amazon S3: CloudTrailͷϩάͳͲ͕֨ೲɻϑΝΠϧͰͷอ ଘʹͳΔͨΊݕࡧੑ͸௿͍ɻ࠷ऴखஈʂʢ࠷ۙAthena͕ग़ ͨͨΊΫΤϦͰͷݕࡧੑ΋্͕ͬͨʣ
29. ϩάͷॏཁੑ ϩάͰେࣄͳ͜ͱ ▸ ଘࡏͤ͞Δ͜ͱɻద੾ͳϥΠϑαΠΫϧ͕ऴΘͬͨϞϊҎ֎ ͸ઈରࢮकɻ ▸ ݕࡧཁ݅ʹԠͯ͡ετϨʔδઌΛબఆ͢Δ͜ͱɻසൟʹݕ ࡧ͕ඞཁͳϩάΛݕࡧੑͷ௿͍ετϨʔδʹ഑ஔ͢Δͱޙʑ ۤ࿑͢Δɻ ▸ τϨʔαϏϦςΟɻ͜Ε͸ӡ༻ଆ͕ؾΛ͚ͭΔ͜ͱͱ͍͏Α Γ։ൃଆ͕ߟྀ͢΂͖͜ͱɻޙड़
30. ো֐Λ ݕ஌͢Δ
31. AWSΛར༻ͨ͠γεςϜӡ༻ ো֐ͷݕ஌͸ϝτϦΫε࣍ୈ ▸ AWS͸༷ʑͳϝτϦΫεΛఏڙͯ͘͠Ε͍ͯΔ ▸ ͲͷϝτϦΫεΛ؂ࢹ͢Δ͔͸Ϣʔβʔ࣍ୈ ▸ ϝϞϦ༰ྔͳͲҰ෦͸ࣗ෼ͰΧελϜ͠ͳ͍ͱ؂ࢹͰ͖ͳ͍ ▸ ֤αʔϏεʹΑͬͯ؂ࢹ߲໨͸มΘΔʢมΘΒͳ͍߲໨΋͋Δ͚Ͳʣ
32. AWSΛར༻ͨ͠γεςϜӡ༻ ݕ஌ઃఆෆඋʹΑΔࣄނ ▸ EC2ͷΞϓϦέʔγϣϯϩάΛAgentܦ༝ͰCloudwatch Logs΁ϦΞϧλΠϜసૹ͍ͯ͠Δঢ়ଶ
33. AWSΛར༻ͨ͠γεςϜӡ༻ ো֐Ͱసૹ͕ఀࢭ ▸ సૹ͕׬ྃ͠ͳ͍ͨΊɺϩʔΧϧ΁ϩά͕ཷ·Γ࢝ΊΔ ʢ.tmpϑΝΠϧʣ
34. AWSΛར༻ͨ͠γεςϜӡ༻ ͍ͣΕEC2͸σΟεΫϑϧʹ ▸ σΟεΫϑϧͰαʔϏε͕ఀࢭʂʂˠ ൃ֮
35. AWSΛར༻ͨ͠γεςϜӡ༻ ద੾ͳ؂ࢹϝτϦΫεΛઃఆ͢Δ ▸ EC2ͷσΟεΫ࢖༻཰Λܭଌ͢ΔϝτϦΫε͕ඞཁ ▸ ͞Βʹ࢒ྔʹԠͯ͡ΞϥʔϜΛઃఆ͢Δ ▸ σΟεΫϑϧʹΑΔαʔϏεఀࢭͷඃ֐͸͜ΕͰࣄલʹ࡯஌ ͢Δ͜ͱ͕Ͱ͖Δ $ df -H Filesystem Size Used Avail Use% Mounted on /dev/xvda1 11G 11G 0 100% / devtmpfs 4.0G 119k 4.0G 1% /dev tmpfs 4.0G 0 4.0G 0% /dev/shm
36. AWSΛར༻ͨ͠γεςϜӡ༻ ೋ౓ಉ͡ো֐͸ى͜͞ͳ͍ ▸ ಉ͡ো֐͸ى͜͞ͳ͍Α͏ʹɺݪҼڀ໌ͱ؂ࢹͷ໨͸ڧԽ ͢ΔɻKPTେࣄɻ ▸ ࠜຊతղܾʹࢸΒͳͯ͘΋ؾͮ͘͜ͱ͸େࣄ ▸ ଞʹ΋ߟ͑ΒΕΔͷ͸Cloudwatch Logs΁ͷసૹ͕ఀࢭͯ͠ ͍Δ͜ͱΛݕ஌͢Δ͜ͱ͸Ͱ͖ͳ͔ͬͨͷ͔ʁͱ͔ ▸ ͨͩ͜Ε͸໌֬ͳج४ͱͳΔϝτϦΫε͕Θ͔Βͳ͍ʢԿ Λܭଌ͢Ε͹͍͍ͷʁʣ
37. ӡ༻ͷͨΊͷ ։ൃ৺ಘ
38. ։ൃऀ͸Ͳ͏͢Δ͔ ӡ༻Λݟਾ͑ͨઃܭΛ໨ࢦ͢ ▸ ϩάઃܭʢτϨʔαϏϦςΟɺϩάͷཻ౓ɺ৘ใʣ ▸ ϩάϨϕϧ͸ਵ࣌ݟ௚͢ ▸ ϚωʔδυαʔϏεͷར఺͚ͩʹ஫໨͢ΔͷͰ͸ͳ͘ɺΤ ϥʔɺϝϯςφϯε࣌ͷಈ࡞΋ߟྀ͢Δ ▸ ൺֱతݹ͔͘Β͋Δ҆ఆͯ͠ΔαʔϏεΛબͿ͜ͱ΋େ੾ ▸ ϚωʔδυαʔϏεͷ伱ؒΛߟྀͨ͠ઃܭ
39. ։ൃऀ͸Ͳ͏͢Δ͔ ։ൃऀ͕ߟྀ͢΂͖ϩάઃܭࣄ߲ ▸ ϩάͷΈͰૢ࡞ΛτϨʔεͰ͖Δ͔ʢτϨʔαϏϦςΟʣ ▸ ग़ྗ಺༰ɻϚεΫ͢΂͖߲໨ͷ੔ཧ ▸ ϩάϨϕϧͷઃܭ Ұ൪ॏཁͳ͸͕ͣͩɺ։ൃ࣌͸༏ઌ ౓͕௿Ίͳͷ͕࣮৘
40. ։ൃऀ͸Ͳ͏͢Δ͔ ΞϓϦέʔγϣϯϩάΛू໿͢Δ ▸ ෼ࢄ֤ͨ͠αʔόʔ͔ΒϩάΛू໿ͨ࣌͠ʹશ͕ͯόϥόϥʹه࿥͞ΕΔ ▸ ಛఆͷϦΫΤετΛऔΓग़͢ͷ͸ࢸ೉ͷۀ
41. ։ൃऀ͸Ͳ͏͢Δ͔ ղܾɿϦΫΤετ͝ͱʹҰҙͳIDΛੜ੒͢Δ ▸ 1ϦΫΤετʹରͯ͠શͯҰҙͳRequestIDΛ෇༩͢Δ ▸ ։ൃͨ͠APIαʔόʔ͸ɺ΄΅શͯUUIDΛར༻ͯ͠Ұҙͳ RequestIDΛੜ੒ ▸ ೔࣌ʴRequestIDͰ࣮֬ʹಛఆ͕Ͱ͖Δ ▸ Ұ࿈ͷϦΫΤετͷΠϕϯτΛτϨʔεͰ͖ɺCloudwatch Logs͔Β΋༰қʹݕࡧ͕Մೳʹɻ
42. ։ൃऀ͸Ͳ͏͢Δ͔ ϩά͸ৗʹվળ͢Δ ▸ ։ൃ࣌ʹ͸ߟྀ͕࿙Ε͍ͯͨՕॴ͸ΨϯΨϯվળ͢Δ ▸ ग़ྗͯ͠͸͍͚ͳ͍߲໨ͷϚεΫ ▸ ϩάϨϕϧ͸ࡉ͔͘ௐ੔͢Δ ▸ ΑΓਫ਼ີͳΞϥʔϜͱͳΓɺຊ౰ʹਂࠁͳো֐ͷΈใࠂ ͤ͞Δ
43. ϚωʔδυαʔϏ εͷ伱ؒΛߟ͑Δ
44. AWSΛར༻ͨ͠γεςϜӡ༻ ϚωʔδυαʔϏεͱͷ伱ؒΛͲͷΑ͏ʹ؂ࢹ͢Δ͔ ▸ ଟछଟ༷ͳϚωʔδυαʔϏεΛ૊Έ߹ΘͤΔͱ؂ࢹ͕ߦ ͖ಧ͔ͳ͍伱͕ؒੜ·ΕΔ ▸ ͜ͷ伱ؒ͸υΩϡϝϯτΛಡΜͰ΋ॻ͍ͯ͋ΔΘ͚Ͱ͸ͳ͍ ▸ ϚωʔδυαʔϏεͷಛੑΛཧղ͠ɺܦݧΛੵΉଞͳ͍ ▸ ԿΛ΋ࣦͬͯഊ͍ͯ͠Δ͔ͱ͍͏ఆྔతͳ൑அ͕Ͱ͖Δج४ Λ୳͢ʢྫɿ5෼Ҏ্ॻ͖ࠐΈ͕ͳ͍͜ͱ͸͋Γ͑ͳ͍ɺ σʔλ͕24hҎ্ಉظ͞Εͳ͍͜ͱ͸͋Γ͑ͳ͍ɹ౳ʣ
45. AWSΛར༻ͨ͠γεςϜӡ༻ DYNAMODB STREAMSΛ࢖ͬͨಉظॲཧ HTTP STATUSͰ ݕ஌ εςʔλεΛ ؂ࢹ ىಈ͔ͨ͠Ͳ͏ ͔ݕ஌ εςʔλεΛ ؂ࢹ ▸ ֤αʔϏεຖʹΤϥʔ΍ো֐ͷݕ஌͸Մೳ ▸ ͜ͷதͰ؂ࢹͷ伱ؒͱͳͬͯ͠·͏ͷ͸ʁ http://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/CHAP_Monitoring.html DLQ
46. AWSΛར༻ͨ͠γεςϜӡ༻ DYNAMODB STREAMSΛ࢖ͬͨಉظॲཧ ͜͜ ▸ DynamoDB Streamsͷγϟʔυɻ͜Ε͸ʢࠓͷͱ͜Ζʣ୭ ΋؂ࢹͰ͖ͯͳ͍
47. AWSΛར༻ͨ͠γεςϜӡ༻ ઃఆͰ͖ΔϝτϦΫε͕ͳ͍ɾɾʁ σʔλ͕ߋ৽ ▸ ͜ͷγϟʔυΛ؂ࢹ͢ΔϝτϦΫε͕ݟ͔ͭΒͳ͍ ▸ LambdaͰͷ؂ࢹ͸Մೳʁ => ߋ৽͞Εͯͳ͍ͷ͔ͦΕͱ΋ ো֐ͰΩοΫ͞Εͳ͍ͷ͔͸෼͔Βͳ͍ɻ ʁʁʁ ߋ৽͞Εͯͳ͍ʁ ͦΕͱ΋ো֐ʁ
48. AWSΛར༻ͨ͠γεςϜӡ༻ ࣮֬ʹಉظΛͱΔվળࡦ σʔλ͕ߋ৽ WORKER QUEUEΛ؂ࢹɻಉظ׬ྃ ޙϝοηʔδ࡟আ ಉظ֬ೝ ▸ SQSʴWorkerͰಉظΛ֬ೝ͢Δ౳
49. AWSΛར༻ͨ͠γεςϜӡ༻ςΩετ ઃܭΛݕূ͢Δ ▸ ඇಉظͰ࣮ߦ͞ΕΔΠϕϯτͷͨΊɺීஈ͸ͨ·ͨ·0ඵͰಉظ ͞Ε͍ͯΔ͚ͩʢ࠷େ24࣌ؒͷ஗Εʣ ▸ σʔλͷੑ֨ʹΑͬͯ͸࠷ऴతʹ⁋᧒͕߹ͬͯΕ͹ྑ͍΋ͷ΋͋ Δ ▸ γϟʔυ͸ίϯςφͷϥΠϑαΠΫϧʢଟ෼ʣͰ࡞Γ௚͞ΕΔͷ Ͱɺͦͷ͏ͪഁغ͞Ε࣍ͷߋ৽࣌ʹ͸࣮ߦ͞ΕΔՄೳੑ͕ߴ͍ ▸ ઈରʹಉظ͕ͣΕͯ͸͍͚ͳ͍σʔλͩͱվળࡦͷΑ͏ͳνΣο Ϋػೳ͕ඞཁʹͳΔ
50. ·ͱΊ
51. ·ͱΊ ӡ༻Λ΍Δ͜ͱ͸ֶͼ͕͋Δ ▸ αʔϏε͸ӡ༻͢Δ͜ͱͰՁ஋͕ग़Δ͜ͱΛ࣮ײͰ͖Δ ▸ γεςϜΛམͱͣ͞ʹฏԺΛҡ࣋͢Δ͜ͱ͕೗Կʹ೉͘͠େ ੾ͳ͜ͱ͕Α͘෼͔Γɺಈ͚͹͍͍΍Έ͍ͨͳ৺ࠜΛୟ͖ ௚ͤ͞ΒΕΔ ▸ ࣗ෼ͷ୲౰֎ͷ༷ʑͳٕज़ʹ৮ΕΔ͜ͱ͕Ͱ͖Δ ▸ Ϋϥ΢υͷར఺ͱऑ఺Λ਎Λ΋ͬͯ஌Δ͜ͱ͕ग़དྷΔ ▸ ϩά͸ࢮकʂʂʂ
52. WE ARE HIRING!
53. MEET UP COMES BACK 2017/07/த େࡕΦϑΟε COMING SOON!