大規模Webサービス入門 2回目 / Introduction to large scale web service 2

Transcript

1. େن໛αʔϏεٕज़ೖ໳ ୈ2ճ ISUCONରࡦษڧձ 2017/8/4
2. ֓ཁ • શ෦Ͱ15ճ෼͋Γ·͕͢, 1ճ໨͸ύε͠·͢. • ඞཁͦ͏ͳͱ͜ΖΛ͔͍ఠΜͰ঺հ͠·͢. • ίϥϜ͸جຊతʹޙ͔Β΍Γ·͢. • ࢀߟॻɿ
 Web։ൃऀͷͨΊͷ
 େن໛αʔϏεٕज़ೖ໳
3. ୈ2ճ େن໛σʔλॲཧೖ໳ - ϝϞϦͱσΟεΫ, WebΞϓϦέʔγϣϯͱෛՙ -
4. େن໛σʔλಛ༗ͷࣄ৘Λ஌Δ • 2ʙ5ճ͸େن໛σʔλͷѻ͍ํΛ஌Δ. ճ਺ ಺༰ ճ ॲཧͷجຊͱͳΔ஌ࣝ ճ 04ͷΩϟογϡ ճ .Z42-ͷӡ༻ ճ େن໛ΞϓϦ։ൃʹ͍ͭͯ
5. Lesson4 ͸ͯͳϒοΫϚʔΫͷ σʔλن໛
6. Lesson4 • ͸ͯͳϒοΫϚʔΫʹ͸, 3ԯ5000ສ݅ͷσʔ λ͕ೖ͍ͬͯΔΒ͍͠. • ࠷ॳʹΑ͘౤͛Δ͜ͱ͕͋ΔQueryʮSELECT * FROM <table>ʯΛ౤͛Δͱ, ౰ͨΓલ͚ͩ ͲԠ౴͕ฦͬͯ͜ͳ͍.
7. Lesson5 େن໛σʔλॲཧͷ೉ॴ
8. Կ͕೉͍͠ͷ͔ • σʔλ͕େن໛ա͗ͯϝϞϦʹࡌΒͳ͍. • ϝϞϦʹࡌΒͳ͍ͷͰ, σΟεΫঢ়Λݕࡧ͠ ͍ͯ͘͜ͱʹͳΔ. • I/O଎౓͕, σΟεΫ>>>ϝϞϦͳͷͰ͸͍.
9. ϝϞϦͱσΟεΫͷ଎౓ࠩ • ϝϞϦ্Λ୳ࡧ͢ΔͷͱσΟεΫΛ୳ࡧ͢Δ ͷʹͲͷ͘Β͍ͷ଎౓͕ࠩ͋Δͷ͔. • 10^5͔Β10^6͘Β͍ͷ͕ࠩ͋Δ. • ʂʂσΟεΫ͸ϝϞϦͷ10^6ഒ͔͔Δʂʂͱ ͍͏ײ֮Λ࣋ͱ͏.
10. ԿނσΟεΫ͸஗͍ͷ͔ • ͜Ε͸ྲྀੴʹৗࣝͳͷͰলུ. • ϝϞϦͳΒϚΠΫϩඵͷΦʔμʔ͕ͩ, σΟεΫͰ͸ϛϦ ඵͷΦʔμʔͳͷͰ. • ϝϞϦͱCPU͸ૣ͍όεͰͭͳ͕͍ͬͯΔ͕, σΟεΫͱ CPU͸ϝϞϦͱCPUʹൺ΂Δͱ͔ͳΓ஗͍. • ϝϞϦͱσΟεΫͷؾ࣋ͪʹͳͬͯΞϓϦΛ࡞Ζ͏.
11. ԿނσΟεΫ͸஗͍ͷ͔ HDD͸ಡΈग़͢·Ͱͷ޻ఔʹ͕͔͔࣌ؒΔ
12. Lesson6 εέʔϦϯάͷཁॴ
13. εέʔϦϯά, εέʔϥϏϦςΟ • ෛՙ෼ࢄΛ͢Δ࿩. • ڧ͍PCͰԥΔ͜ͱΛʮεέʔϧΞοϓʯ • ҆ՁͰී௨ͷੑೳͷϋʔυ΢ΣΞΛฒྻʹฒ ΂ͯγεςϜશମͷੑೳΛΞοϓͤ͞Δ͜ͱ ΛʮεέʔϧΞ΢τʯ
14. εέʔϦϯάͷཁॴ • HTTPϦΫΤετΛड෇͚, DBαʔόʹ໰͍߹ΘͤΛ͠, Ճ޻ͯ͠ฦ͢Α͏ͳॲཧ͸CPUʹͷΈෛՙ͕͔͔Δ. • ͜ͷΑ͏ͳॲཧΛ͢ΔαʔόΛΞϓϦέʔγϣϯαʔ όʢAPαʔόʣͱ͍͏. • APαʔόʹରͯ͠, DBαʔό͸I/Oෛՙ͕େ͖͔͔ͬ͘ ͯ͘Δ.
15. WebΞϓϦέʔγϣϯͱෛՙ WebΞϓϦέʔγϣϯ3૚ߏ଄ APαʔό ϓϩΩγ DBαʔό ᶃϦΫΤετ ᶄϦΫΤετ ᶅI/Oൃੜ ᶆϨεϙϯε $16ͷॲཧ͸
    جຊతʹσʔλΛ෼ࢄ ͍ͯ࣋ͬͯ͠ΔΘ͚Ͱ͸ͳ͍ͷͰ୆਺ Λ૿΍͚ͩ͢ͰεέʔϦϯάՄೳ
16. WebΞϓϦέʔγϣϯͱෛՙ WebΞϓϦέʔγϣϯ3૚ߏ଄ APαʔό ϓϩΩγ DBαʔό ᶃϦΫΤετ ᶄϦΫΤετ ᶅI/Oൃੜ ᶆϨεϙϯε ۃ୺ͳ࿩
    ୆਺Λ૿΍ͯ͠ϩʔυόϥϯ αʹ͍͍ײ͡ʹৼΓ෼͚ͯ΋Β͏͚ͩ Ͱྑ͍ͱ͜Ζ΋͋Δ
17. WebΞϓϦέʔγϣϯͱෛՙ WebΞϓϦέʔγϣϯ3૚ߏ଄ APαʔό ϓϩΩγ DBαʔό ᶃϦΫΤετ ᶄϦΫΤετ ᶅI/Oൃੜ ᶆϨεϙϯε ͜ͷߏ੒ʹDBΛ1ͭ௥Ճ͢Δ͜ͱΛߟ͑Δ.
18. WebΞϓϦέʔγϣϯͱෛՙ WebΞϓϦέʔγϣϯ3૚ߏ଄ APαʔό ϓϩΩγ DBαʔόᶃ ᶃϦΫΤετ ᶄϦΫΤετ ᶅI/Oൃੜ ᶆϨεϙϯε DBαʔόᶄ %#Λ૿΍ͨ࣌͠
    %#ᶃͱ%#ᶄ ΛͲ͏΍ͬͯಉظΛͱΔͷ͔ ͱ͍͏໰୊͕ग़ͯ͘Δ ॻ͖ࠐΈͷ෼ࢄ͸೉͍͠ ???
19. DBͷεέʔϥϏϦςΟ͸Ϡό͍ • I/O͕ൃੜ͢Δͱ͜ΖͷεέʔϥϏϦςΟΛ֬อ͢Δͷ ͸೉͍͠. • ͦͷ্σΟεΫͷI/O଎౓͕ඇৗʹ஗͍ͷͰ, I/O͕ͨ͘ ͞Μൃੜ͢ΔΑ͏ͳ΋ͷ͸ʢ౰ͨΓલ͕ͩʣ஗͘ͳΔ. • σʔλ͕େ͖͘ͳΕ͹ͳΔ΄ͲσΟεΫ্Ͱͷ୳ࡧ͕ ૿͑ΔͷͰ஗͘ͳ͍ͬͯ͘.
20. DBͷεέʔϥϏϦςΟ͸Ϡό͍ • ҆қʹʮ଎౓͕஗͍͔Βαʔό૿΍ͤΑʯͳ ͲͱӡӦʹݴͬͯ͸͍͚ͳ͍. • ͱʹ͔͘I/O͸͔ͬ͠Γߟ͑Α͏Ͷͱ͍͏͓࿩
21. Lesson7 େن໛σʔλΛѻ͏ͨΊͷ جૅ஌ࣝ
22. 3ͭͷצॴ 1. ·ͣ͸͡ΊʹΦϯϝϞϦͰͰ͖ͳ͍͔ߟ͑Δ. • σʔλ਺͕গͳ͚Ε͹ϝϞϦʹ৐͍ͤͯ͑ͬ ͯ΍Ε͹͍͍. 2. ΞϧΰϦζϜΛֶΜͰѹ౗త଎౓Λग़ͦ͏. 3. σʔλѹॖ΍ݕࡧٕज़Λ͏·͘࢖͓͏.
23. ΦϯϝϞϦʹ͢Δ • σΟεΫ͸஗͍. • γʔΫճ਺ΛͳΔ΂͘ݮΒ͢. • ہॴੑΛ׆͔͢.
24. ΞϧΰϦζϜΛվྑ • શ୳ࡧ, ઢܗ୳ࡧ͢ΔΑΓ΋ར༻ՄೳͳΒೋ෼ ୳ࡧΛ࢖͓͏.(nlog(n)ͷΦʔμʔ) • ΍ͬͺΓͶΞϧΰϦζϜͬͯͷ͸ॏཁ
25. ࡾେલఏ஌ࣝ 1. OSͷΩϟογϡ 2. ෼ࢄΛߟྀͨ͠RDBMSͷӡ༻ 3. ΞϧΰϦζϜͱσʔλߏ଄ΛͲ͏΍ͬͯద༻ ͢Δ͔. ͜ͷ3ͭ͸͜Ε͔Β΍͖ͬͯ·͢
26. ίϥϜ
27. Linux୯Ұϗετͷෛՙ
28. ਪଌ͢Δͳ, ܭଌͤΑ • ਪଌΛͤͣܭଌΛͯ͠ϘτϧωοΫΛ୳ͦ͏. • ISUCONͰ΋ܭଌ͸ඇৗʹॏཁͳςΫχοΫ. • ϘτϧωοΫΛऔΓআ͍ͯຊདྷͷੑೳΛऔΓ ໭ͦ͏.
29. ϘτϧωοΫΛݟۃΊΔྲྀΕ • ϩʔυΞϕϨʔδΛݟΔ • CPU, I/OͷϘτϧωοΫΛݟΔ • ͜ͷ2ͭͷ࡞ۀΛߦ͏.
30. ϩʔυΞϕϨʔδΛݟΔ • ϩʔυΞϕϨʔδΛݟΔ • ϩʔυΞϕϨʔδ͸ʮγεςϜશମͷෛՙঢ় گΛࣔ͢ࢦඪʯ • ϩʔυΞϕϨʔδ͚ͩͰ͸ϘτϧωοΫʹ ͳ͍ͬͯΔՕॴ͸Θ͔Βͳ͍ͷͰ, ख͕͔Γ ʹͯ͠ௐࠪ͢Δ.
31. CPU, I/Oͷ͍ͣΕ͔͕Ϙτϧ ωοΫ͔Λ୳͢ • ϩʔυΞϕϨʔδ͕ߴ͔ͬͨ৔߹, ͦͷݪҼ͕ CPUͳͷ͔I/Oͳͷ͔Λ୳͢. • sar, vmstat౳Λ࢖ͬͯ୳͢.
32. CPUෛՙ͕ߴ͍৔߹ • ϢʔβʔϓϩάϥϜ͕ѱ͍ͷ͔, γεςϜͦͷ ΋ͷ͕ѱ͍ͷ͔Λtop΍sarͰ֬ೝ. • psΛ࢖ͬͯϓϩηεͷঢ়ଶΛݟΔ. • strace΍oprofileͰϓϩϑΝΠϦϯά͍ͯ͘͠. • ϓϩϑΝΠϥ͸৭ʑ͋ΔͷͰ߹͏΋ͷΛ୳͢
33. CPUෛՙ͕ߴ͍৔߹ • ҰൠʹCPUʹෛՙ͕͔͔ͬͯΔͷ͸ • CPUҎ֎͕ϘτϧωοΫʹͳ͍ͬͯͳ͍. • αʔόͷ૿ڧͳͲͰରԠ. • ϓϩάϥϜͷ๫૸ͳͲʹΑΓ, ඞཁҎ্ͷෛՙ͕CPUʹ͔ ͔͍ͬͯΔ. • ϓϩάϥϜΛมߋ.
34. I/Oෛՙ͕ߴ͍৔߹ • ϓϩάϥϜதͷI/O͕ଟ͍ • σΟεΫͷεϫοϓ͕େྔʹൃੜ͍ͯ͠Δ͍ͤ Ͱ஗͍ • sar΍vmstatͰ୳ͦ͏.
35. I/Oෛՙ͕ߴ͍৔߹ • εϫοϓ͕େྔʹൃੜ͍ͯ͠Δ৔߹ • ಛఆͷϓϩηε͕઎༗ͯ͠ͳ͍͔ௐ΂Δ. • ϓϩάϥϜ͕ϝϞϦΛେྔʹফඅ͢ΔΑ͏ ͳ΋ͷͳΒमਖ਼͢Δ. • ϝϞϦΛ૿ઃ͢Δ.
36. ύϑΥʔϚϯενϡʔχϯά • ༩͑ΒΕͨίϯϐϡʔλ͕ͦΕҎ্ͷ଎౓Ͱ ܭࢉΛ͢Δ͜ͱ͸Ͱ͖ͳ͍. • 10ඵ͔͔Δॲཧʹ100ඵඅ΍͍ͯ͠ΔΑ͏ͳ Β, ͦΕΛऔΓআ͘͜ͱ͕ग़དྷΔ͔Ͳ͏͔͕ॏ ཁʹͳͬͯ͘Δ.
37. ೋछྨͷෛՙͱ
 WebΞϓϦέʔγϣϯ
38. ෛՙͷछྨ • ෛՙ͸େ͖͘෼͚ͯ2ͭʹ෼ྨ͞ΕΔ. • CPUෛՙ • I/Oෛՙ
39. CPUෛՙ • CPUෛՙͱ͍͏ͷ͸, ೖग़ྗͰ͸ͳ͘CPU্Ͱ ͷܭࢉʹΑͬͯෛՙ͕͔͔Δ͜ͱ.ʢܭࢉྔ͕ ଟ͍ʣ • CPUό΢ϯυͳϓϩάϥϜͱ΋ݺ͹ΕΔ.
40. I/Oෛՙ • σΟεΫʹେྔͷσʔλ͕༗Γ, ͦͷத͔Β໨ తͱ͢ΔσʔλΛऔΓग़͢ϓϩάϥϜ. • ͜ͷ଎౓͸CPUͷੑೳͰ͸ͳ͘, σΟεΫͷੑ ೳʹґଘ͢Δ. • I/Oό΢ϯυͳϓϩάϥϜͱݺ͹ΕΔ.
41. CPUෛՙͱI/Oෛՙ • APαʔό(ϦΫΤετʹରͯ͠ద౰ͳ݁ՌΛฦ ͢αʔό)͸CPUό΢ϯυͰ͋Δ. • ҰํͰ, DBαʔό͸σΟεΫ͔Βର৅ͷσʔλ ΛऔΓग़͢΋ͷͰ͋Γ, CPUෛՙΑΓ΋I/Oෛ ՙͷํ͕େ͖͘ͳΔͨΊI/Oό΢ϯυͰ͋Δ.
42. ϚϧνλεΫOSͱෛՙ • ϚϧνλεΫͱ͍͏ͷ͸, ෳ਺ͷλεΫΛ୹͍ ִؒͰ੾Γସ͑ͯॲཧ͠, ͔͋ͨ΋ෳ਺͕ฒྻ ʹಈ͍ͯΔΑ͏ʹݟͤΔٕज़. " # $ " ࣌ؒ
43. ϚϧνλεΫOSͱෛՙ • λεΫ͕૿͑Ε͹ͦΕ͚ͩ଴͕ͪ௕͘ͳΔ. • ࣮ߦ଴ͪͷ࣌ؒ͸ϓϩάϥϜͷ࣮ߦ஗Ԇͱ͠ ͯݱΕͯ͘Δ. topίϚϯυΛ࣮ߦ
44. ϩʔυΞϕϨʔδ͕ใࠂ͢Δ
 ෛՙͷਖ਼ମ • ϋʔυ΢ΣΞ͸CPUʹҰఆͷपظͰλΠϚׂΓࠐ ΈΛൃੜ͍ͤͯ͞Δ. • λΠϚׂΓࠐΈ͝ͱʹϩʔυΞϕϨʔδ͕ܭࢉ͞ Ε͍ͯΔ. • λΠϚׂΓࠐΈ͕ൃੜͨ͠ͱ͖ʹI/O଴ͪλεΫΛ ਺͑, ୯Ґ࣌ؒ͋ͨΓͷฏۉΛද͍ࣔͯ͠Δ.
45. ϩʔυΞϕϨʔδ͕ใࠂ͢Δ
 ෛՙͷਖ਼ମ • ϩʔυΞϕϨʔδ͕ใࠂ͢Δෛՙ͸, ҎԼͷ2ͭͰ ͋Δͱߟ͑ΒΕΔ. • CPUͷ࣮ߦݖݶ͕༩͑ΒΕΔͷΛ଴͍ͬͯΔϓ ϩηε. • σΟεΫI/O͕׬ྃ͢ΔͷΛ଴͍ͬͯΔϓϩηε
46. CPU࢖༻཰ͱI/O଴ͪ཰
47. CPU࢖༻཰ͱI/O଴ͪ཰ • աෛՙͰγεςϜͷύϑΥʔϚϯε͕ྼԽ͢Δ ݪҼͱͯ͠͸, ҎԼͷ2ͭͰ͋Δ. 1. CPUෛՙ 2. I/Oෛՙ • ͲͪΒʹݪҼ͕͋Δͷ͔ௐ΂Δඞཁ͕͋Δ.
48. sarίϚϯυΛ࢖͏ • sar(System Activity Reporter)ίϚϯυΛ࢖͏ ͱ, CPU࢖༻཰΍I/O଴ͪ཰Λ֬ೝ͢Δ͜ͱ͕ ग़དྷΔ. • ͳΜ͔macOSʹsar͸ແ͍Β͍͠…൵͍͠… • ksarͱ͍͏άϥϑΟΧϧͳsar΋͋ΔΒ͍͠
49. sarίϚϯυΛ࢖͏(CPUෛՙฤ) • sarͷ͍͍ॴ͸࣌ؒܦաͱͱ΋ʹൺֱ͠ͳ͕Β ෛՙΛݟΔ͜ͱ͕ग़དྷΔ. • %user͸CPUͷϢʔβʔϞʔυͰͷ࢖༻཰ • %system͸γεςϜϞʔυͷ࢖༻཰
50. sarίϚϯυΛ࢖͏(CPUෛՙฤ) • user͕ߴ͚Ε͹ಛఆͷϓϩηε͕େྔফඅ͍ͯ͠Δ Մೳੑ. • system͕ߴ͚Ε͹, ίϯςΩετεΠον͕ଟൃͯ͠ ͍ΔՄೳੑ͕͋Δ. • ϩʔυΞϕϨʔδ͕ߴ͘, ͜ΕΒͷෛՙ͕ଟ͚Ε͹ CPUϦιʔε͕ෆ଍͍ͯ͠Δ.
51. sarίϚϯυΛ࢖͏(I/Oෛՙฤ) • CPUෛՙ͕ߴ͍৔߹͸%user΍%systemͷෛ ՙ͕ߴ͍. • I/Oෛՙ͕ߴ͍৔߹, %iowait͕ߴ͘ͳΔ. • ϩʔυΞϕϨʔδ͕ߴ͘, iowait͕ߴ͍৔߹͸I/ Oෛՙ͕ඇৗʹߴ͘ͳ͍ͬͯΔͱߟ͑ΒΕΔ.
52. ϚϧνCPUͱCPU࢖༻཰ CPUෛՙ͕ߴ͍ྫ I/Oෛՙ͕ߴ͍ྫ
53. ϚϧνCPUͱCPU࢖༻཰ • ෺ཧతʹ͸1ͭͷίΞͰ͋ͬͯ΋, ݟ্͔͚ෳ ਺ͷCPU͕౥ࡌ͞Ε͍ͯΔΑ͏ʹݟ͑Δ෺͕ ͋Δ(ϚϧνίΞ) • LinuxΧʔωϧ͸CPU࢖༻཰ΛͦΕͧΕͷCPU ͝ͱʹอ͍࣋ͯ͠Δ.
54. ϚϧνCPUͱCPU࢖༻཰ • CPU-id͕ৼΒΕͯදࣔ͞ΕΔ. ͜ͷ৔߹͸4ί ΞͷCPUͷsarίϚϯυ(-p͸ίΞ͝ͱʹग़ྗ) • ͜Ε͸CPUෛՙ͕ߴ͍ྫ
55. ϚϧνCPUͱCPU࢖༻཰ • I/Oό΢ϯυ͕ߴ͍γεςϜͩͱͲ͏ͳΔͩΖ ͏͔ʁ • -pΛൈ͍ͯදࣔͯ͠ΈΔ. ฏۉ
56. ϚϧνCPUͱCPU࢖༻཰ • -pΛ෇͚ͯΈΔͱ… ยํͰ଴͕ͪൃੜ͍ͯ͠ Δ͜ͱ͕෼͔Δ 
57. ϚϧνCPUͱCPU࢖༻཰ • CPUͷ਺͕૿͑ͨͱ͜ΖͰ, σΟεΫ͕1͔ͭ͠ ͳ͚Ε͹I/OෛՙΛ෼ࢄ͢Δ͜ͱ͸Ͱ͖ͳ͍. • ϚϧνίΞͳ؀ڥʹ͓͍ͯෛՙΛݟΔ৔߹, ίΞ ͦΕͧΕʹ͍ͭͯݟ͍ͯ͘ඞཁ͕͋Δ.